Lemire 在 C# 库实现 V8 同款 UTF-16 字符串修复算法
lemire · x · 2026-09-27
Daniel Lemire 撰文讨论如何快速修复 C中的非法 UTF-16 字符串。C字符串使用 UTF-16 编码,BMP 之外的字符(包括 emoji)用高低代理对表示,孤立代理或顺序错误的代理对即构成 ill-formed 字符串,不应直接写盘或发送到网络。
- JavaScript 已内置 String.prototype.toWellFormed() 将孤立代理替换为 U+FFFD,以及 isWellFormed() 检查
- 作者在 C库 SimdUnicode 的 PR #54 中实现了同样的两个功能,算法与团队此前贡献给 V8 引擎的方案相同,即 Chrome 修复字符串的方式
- 输入本身合法时,ToWellFormed 可快速直通返回
「研究」频道最新
- 研究者做免费开源站带你精读爱因斯坦 1905 四篇论文 — doodlestein · 2026-09-27
- 统计 11.9 万篇顶会论文:年录用从 968 涨到 19003 — angelaqdai · 2026-09-27
- 3000 人研究：能用 AI 后，敢说「我不知道」的人从 44% 跌到 3% — The Decoder · 2026-09-27
- Bagel 微调版一个模型搞定检测、OCR、深度图与分割 — mostlyired12 · 2026-09-27
- Blanche Minerva 列五步流水线，反驳「LLM 只是下一个词预测」 — BlancheMinerva · 2026-09-27
- 业内推测:模型设计能力零样本跃升源于设计数据与RL管线 — menhguin · 2026-09-27