Dario Amodei 相关回复提到 harness 无关训练与 Attention Residuals
peterjliu · x · 2026-07-29
这条回复讨论的是 Anthropic 的 post-training 思路，发帖人认为他们没有过拟合到 benchmark harness，而是尽量让模型保持 harness-agnostic。
回复重点提到一个名为 Attention Residuals 的设计：作者认为，attention 之所以比标准 RNN 更有效，关键在于它能访问前几步的状态，而不只是“上一层压缩后的状态”。标准 Transformer 会靠深度方向的 residual connection 去部分弥补这一点。回复者把这视为一种在前沿模型里并不常见的创新。
所属事件:Anthropic 被曝使用 Claude 编写 CUDA 代码(2 条相关)→
「模型」频道最新
- Thrive Holdings 用75家真实企业工作流实测13个模型表现 — samaysham · 2026-10-16
- 微软 MAI 转录模型登顶 OpenRouter,周转录量占比达 61% — mustafasuleyman · 2026-10-16
- Reflection AI 开放 Beam 权重：501B 参数 MoE 用于 Agentic Coding — AWS ML Blog · 2026-10-16
- 开发者用 Meta RL-XAR 方法训出 Qwen 27B 反 slop 模型,EQbench 前 4 — Mysterious_Hearing14 · 2026-10-16
- 热狗基准测试：10 个大模型辨 1000 张图，准确率全挤误差线内 — josh_wills · 2026-10-16
- TabPFN 席卷 Kaggle:10 月已占 17% 公开 Notebook — ph_singer · 2026-10-16