新型稀疏模型附赠廉价归因方法:max-pooling 可把输出映射回输入词
antoine_chaffin · x · 2026-09-17
thibaultformal 介绍其团队的新模型工具:
- 支持直接「inspect the bags」(检查稀疏激活的 bag),他认为这个能力很酷且被低估
- 新增一种廉价归因方法:用 max-pooling 把每个输出维度映射回产生它的输入词,虽是粗略的重要性估计,但能看清模型是如何运作的
- 回应「这些示例看起来很蠢,我不想用这模型」的质疑:示例蠢正是重点——你能看到模型的 corner cases;稠密模型同样会失败,只是你默认它聪明
更偏向对模型可解释性工具的展示与观点。
「模型」频道最新
- Terminal-Bench 4.0 榜单:GPT-6 Astra 以 57.7% 居首,Claude Opus 5 半价达 51.8% — shensi · 2026-09-17
- 开发者观点:模型已够聪明,该专注减少小规模任务翻车 — rickasaurus · 2026-09-17
- OpenAI 发布模型失准披露框架,附 6 份半年案例报告 — Thom_Wolf · 2026-09-17
- 曝万亿亿级参数模型亮相,Kye Gomez 称达 1 quadrillion 参数 — KyeGomezB · 2026-09-17
- 腾讯开源 Hunyuan HY4 Preview:770B 总参、百万 token 上下文 — anthara_ai · 2026-09-17
- Claude 新版合并 Chat 与 Cowork 后,分支对话功能消失 — ZedKGamingHUN · 2026-09-17