hxiao 印证「推理过拟合」:Together Compiler 正是按下游任务实时爬坡 TPS
simran_s_arora · x · 2026-11-05
hxiao 转发 Together Compiler 发布并呼应自己此前的判断:推理过拟合正在发生——可以基于下游任务的 token 分布对 TPS(每秒 token 数)做暴力爬山优化。他称赞 Together 不但认同这一思路,还执行得很漂亮,能做到实时优化推理。
「Infra」频道最新
- FT:微软否决与英国 Nscale 的数十亿美元 AI 交易 — nordicinst · 2026-11-05
- 微软发力端侧编码 AI:128GB 统一内存 RTX Spark PC 免 token 费跑编码模型 — lee_stott · 2026-11-05
- 64GB 内存能跑什么？Reddit 用户求解 Qwen 3.8 27B 之后的本地模型选择 — xdcfret1 · 2026-11-05
- 百度开源 ERNIE 5.5 Flash Base：280B MoE 仅激活 14B，支持百万上下文 — Baidu_Inc · 2026-11-05
- Revolut 自托管 GLM 后编程账单降至 API 的 1/7 — alex_verem · 2026-11-05
- 开发者放话：低于 256GB 显存的 GPU 不值得买，价格将下跌 — AIFlow_ML · 2026-11-05