研究发现模型有通用倒计时机制
mlpowered · x · 2026-07-16
这条在说明一项研究发现：作者认为，他们之前靠人工分析找到的机制，在更多任务和模型中都能复现，而且 probing 方法让他们从单个案例扩展到更普遍的理解。
核心结论是，模型里存在一种可泛化的 countdown circuitry：它不仅用于统计推文长度、押韵长度，也能用于处理四舍五入时“剩余位数”等问题。作者进一步指出，这种同一套长度表示还可能出现在更广的场景里，比如 DNA 序列长度或随机字符串长度。
「研究」频道最新
- hash n-gram 值嵌入助力 12×1024 GPT 刷新 30M 纪录至 3.2115 — RobertTLange · 2026-10-27
- MissionReport 基准:前沿模型写政府状态报告平均仅得约60分 — Exp_Mark · 2026-10-27
- TMLR 论文：更强推理不等于更充分披露，Agent 思考越多未必告知越全 — SharonYixuanLi · 2026-10-27
- Diamandis 详解 AI 癌症导航与 $100 基因测序如何缩小抗癌鸿沟 — PeterDiamandis · 2026-10-27
- EMNLP Oral 论文：免训练 KV 缓存驱逐实现 10 倍内存压缩 — yuz9yuz · 2026-10-27
- ICML 2026立场论文:别把中间token叫「思考轨迹」 — rao2z · 2026-10-27