GRPO 专家 SLERP 合并：小规模自托管 LLM 扛下一半线上流量
t-tech · hf · 2026-09-02
t-tech 发布工作：基于生产真实请求分布，用 GRPO 分别训练多个专用专家模型，再通过 SLERP 权重合并成一个小规模自托管 LLM。
结果显示，该合并模型在指令遵循、函数调用和内部任务上超过大得多的基线模型，同时以更低成本承载了平台约一半的线上流量，展示了「按自有流量分布做后训练」的可行路线。
「Infra」频道最新
- 覆盖 Bedrock/Azure/Vertex 三万条价格，开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元，缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18
- 单卡 9060 XT 16GB 跑 Qwen3 27B：262k 上下文 42.7 tps — Maglcite · 2026-10-18
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18
- vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18