长上下文 prefill 挑战跑到 5200+ tok/s
gajesh · x · 2026-08-04
这条帖子的核心是一个围绕长上下文 prefill 变慢的挑战，参与者在比拼如何把性能拉起来。
配图里的 leaderboard 显示，多个方案把 prefill 吞吐提升到 5,200+ tok/s，同时 decode 吞吐约 195 tok/s。这类信息更像是在评测面向 coding/agent 工作流的实际性能优化。
「编程与Agent」频道最新
- 转发称 Gary Marcus 看好神经符号 AI 而非反 AI — GaryMarcus · 2026-08-04
- Grok 4.5 Fast 被夸适合日常编程，搭配 GPT 5.6 Sol 做规划 — jonathan_wilke · 2026-08-04
- Kaggle 联合谷歌推出五万美元 AI 智能体农场竞赛 — WalterReade · 2026-08-04
- NVIDIA 开源 NOOA：把 AI agent 写成 Python 对象 — Roger_M_Taylor · 2026-08-04
- 硬核玩家用 AI 结合模拟器内存生成万行 C 代码 — yacineMTB · 2026-08-04
- Copper 推出 39 美元 Mac 应用，专收 ChatGPT 和 Cursor 里的想法 — shadcn · 2026-08-04