浏览器里可视化 LLM 注意力：SmolLM2-135M 逐 token 展示注意力流向
Minute-Mountain2665 · reddit · 2026-10-12
开发者发布 Attention Galaxy，一个完全在浏览器中运行（onnxruntime-web + int8 量化、无需服务器、手机可用）的 LLM 注意力可视化工具，用 SmolLM2-135M 演示。
- 输入 prompt 后逐 token 生成，展示每个候选词的概率
- 用带权重标注的连线绘制当前 token 对前文的注意力分布，可点击任意词查看其注意力排名
- 可视化层级并可切换、隐藏 attention sink
作者的最大收获是直观理解了 attention sink 现象：所有 token 都对首 token 有极强注意力，起初误以为是代码 bug。项目开源，附在线 demo。
「编程与Agent」频道最新
- davidfowl：为 agent 构建 CLI 探索工具，让其自主发现并修复系统 bug — mariorod1 · 2026-10-12
- rtoml v0.14 发布：支持 Python 3.15 与 i128 大整数 — samuelcolvin · 2026-10-12
- 逆向工程拆解 ChatGPT Intelligent UI:DIL 语言+服务端编译架构曝光 — rohanpaul_ai · 2026-10-12
- 逆向工程泄露 Grok Bot 三项未发布功能,版本化记忆有望上线 — bfrench · 2026-10-12
- badlogic 实测 durable codemode:让 agent 中断后也能续跑长任务 — max_paperclips · 2026-10-12
- supermemory 把 Agent 上下文打包成一个 API:记忆检索全内置 — julianweisser · 2026-10-12