Albert Gu 谈 H-Net 学中文：字节流训练初期会切错汉字，最终自己学会
niloofar_mire · x · 2026-10-31
H-Net 作者 Albert Gu 补充说明，此前发布的动画和博客未充分展示 CJK 等多字节语言的训练动态。中文大多数字符占 3 个字节，端到端从字节学习时模型能否正确切分出字符并非易事：训练早期 H-Net 会错误细分汉字，但最终自己学会了正确分块。他透露这在原版 H-Net 中曾是一个突出难题，甚至 BPE 在生僻字上也处理不好，博客中附有具体示例。H-Net 主张智能应来自从原始数据中自学抽象的简单通用模块（bitter lesson），新版在受控 scaling law 实验中取得最高 3-5 倍效率提升。
「研究」频道最新
- 在 RNN 单元加入 Tversky 相似度分支，一半深度追平全深度并提速 2 倍 — stanfordnlp · 2026-10-31
- AI 将 NP 问题电路下界从 3.1n 推至 3.5n，UCLA 发起人机协作冲 P≠NP — soumitrashukla9 · 2026-10-31
- Qwenputer：把完整 RISC-V CPU 塞进 Qwen3.5-4B 权重里 — armand_ruiz · 2026-10-31
- AI 时代工作意义何在？跨国调查：81% 的人对工作满意 — soumitrashukla9 · 2026-10-31
- 论文：基准测试难度分布失真，榜单结论需谨慎解读 — Miserable-Dare5090 · 2026-10-31
- AISTATS 2027 workshop 提案截止延至 11 月 6 日 — qberthet · 2026-10-31