浏览器里跑 15 亿参数小模型,逐层录下注意力与预测过程

techartist_ · x · 2026-11-20

作者在 Mac 本地运行一个 1.5B 参数的开源小模型,记录它生成时的完整行为:每个 token 的下一词概率分布、每一步回看的注意力位置、28 层网络各层的推测,再将这些录像做成交互式课程回放。

其中第 1 课直接在网页里运行真实 tokenizer(与大聊天机器人同款),用户输入会被实时切分:"strawberry" 被切成一个整 token,这正是 AI 数不清其中 r 的一个重要原因。

所属事件:开发者在 Mac 本地跑 1.5B 模型并逐层可视化其推理过程(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →