RePo:让语言模型主动重组上下文
SakanaAILabs · x · 2026-07-04
Sakana AI 提出的 RePo 方法将在 ICML 2026 展示。标准语言模型将信息当作刚性线性序列处理,只能靠固定 token 索引判断结构,关键事实被噪声淹没时会浪费有限容量。
RePo 打破这一瓶颈,允许模型主动重组上下文,而非依赖固定索引,从而把容量集中用于深度推理。
「研究」频道最新
- DONIC 双手机器人追踪成功率 86.79%，远超此前 SOTA 的 9.43% — liuziwei7 · 2026-10-27
- 为什么没有更多 10M 上下文模型?研究者抛出注意力机制疑问 — agarwl_ · 2026-10-27
- 研究者吐槽:论文里 PSNR 低于 15dB 基本是用错了指标 — kwangmoo_yi · 2026-10-27
- Ortet 首批医疗评测:34 个开源模型 50 项任务,通用排名不够用 — thegautamkamath · 2026-10-27
- Scaling 拟合之争:Uncheatable 计入输出头 FLOPs,Paloma 剔除,最小档差距高达 65% — dlwh · 2026-10-27
- Marin 作者详解 scaling law 公式：难点在小模型阶段估渐近线 — dlwh · 2026-10-27