语言带宽仅约 56k 调制解调器,模型训练的只是世界的有损残影
yunta_tsai · x · 2026-09-27
作者提出一个关于 AI 训练本质的观点:语言不是现实本身,而是对现实的一种缓慢社会压缩——口语英文每秒只携带几十比特新信息,低于 56k 调制解调器的带宽,文本略密但仍是细管道,神经系统的绝大部分体验从未进入语料。
他认为 token 是人类书写的偶然产物;如果给模型接入未压缩的原始数据流(电磁波与力,而非 token),第一个问题将不再是预测,而是决定什么才是基本单元。一个直接感知原始场的智能会发明自己的压缩方式:事件、不变量、因果结构,以及我们尚未命名的几何。
「漫话AGI」频道最新
- 网友吐槽:有效利他主义并非草根运动,而是高度自上而下的层级组织 — ctjlewis · 2026-11-16
- 开发者驳'失控 AI'论:补贴式订阅撑不起昂贵 AI 集群 — gerardsans · 2026-11-16
- Ben Thompson 撰文:黄仁勋的落幕标志 Nvidia 长期前景与 AI 泡沫终结 — morqon · 2026-11-16
- 博主称再有5-10GW算力与千万级AI科学家即可逼近“魔法” — Dr_Singularity · 2026-11-16
- 法国 AI Overviews 上线后:五个案例拆解 AIO 对点击率的冲击 — gaganghotra_ · 2026-11-16
- lemire:AI 改变编程的不是速度,而是扩大工程师的「认知半径」 — lemire · 2026-11-16