NVIDIA 论文:任务越长模型越马虎,128K 长任务准确率平均降 62.8%
rohanpaul_ai · x · 2026-10-02
NVIDIA 新论文测试 7 个开源模型在简单重复任务(加数字、排序列表)上的长程可靠性,发现即使任务都在上下文窗口内,模型也会随任务变长而变马虎。
关键数据:
- 128K token 任务的平均准确率比 4K token 任务低 62.8%
- 最强的模型在最长任务中也只有 17.1% 的比例做到每一条都全对
- 模型似乎理解任务但会"丢位置",在条目没有编号时尤其严重
对 agent 工程的实操建议:给每个条目编号,把大任务拆成小批次,并对每行输出做校验。
所属事件:NVIDIA 论文:任务越长 AI 越马虎,128K 长任务准确率降 62.8%(2 条相关)→
「编程与Agent」频道最新
- Klaus 分享 AI 测试平台界面:一句话即可生成全站测试 — KlausCodes · 2026-11-19
- 开发者吐槽 GPT「防御式编程」掩盖 bug,官方回应征集案例 — pvncher · 2026-11-19
- Flutter 发布 A2UI 1.0:让 Agent 用真实交互式组件回应而非纯文本 — rseroter · 2026-11-19
- 一张图讲透 Agent 四件套:Skills 定流程、MCP 给访问、RAG 查知识、Memory 存经验 — MaryamMiradi · 2026-11-19
- Anthropic 发文详解 Agent 记忆:用“做梦”整理 Claude 的经验 — daniel_mac8 · 2026-11-19
- 开发者观点:外部记忆系统或比算法突破更能解决持续学习 — daniel_mac8 · 2026-11-19