浏览器里跑 15 亿参数小模型,逐层录下注意力与预测过程
techartist_ · x · 2026-11-20
作者在 Mac 本地运行一个 1.5B 参数的开源小模型,记录它生成时的完整行为:每个 token 的下一词概率分布、每一步回看的注意力位置、28 层网络各层的推测,再将这些录像做成交互式课程回放。
其中第 1 课直接在网页里运行真实 tokenizer(与大聊天机器人同款),用户输入会被实时切分:"strawberry" 被切成一个整 token,这正是 AI 数不清其中 r 的一个重要原因。
所属事件:开发者在 Mac 本地跑 1.5B 模型并逐层可视化其推理过程(2 条相关)→
「研究」频道最新
- MLM 头初始化重缩放修复 SPLADE 训练崩溃,GTE-MLM 依旧无敌 — tomaarsen · 2026-11-20
- 研究员评 Forge 评测后弃用现成引擎,自写 MTG 环境做 RL — petrusenko_max · 2026-11-20
- 研究:蛋白质预训练模型学不会 15N 化学位移 — KevinKaichuang · 2026-11-20
- 牛津团队:AI 智能体几乎学不会社会规范,只能靠挨罚自己悟 — ghadfield · 2026-11-20
- Xeophon 对谈 ECI 评测创建者,聊聊评测圈现状 — xeophon · 2026-11-20
- DTMR:让四足机器人模仿人类动作时学会调整时机 — KyleMorgenstein · 2026-11-20