推理服务商从业者：这是门手艺，很多 provider 撑不下去
AccBalanced · x · 2026-11-03
研究者回应关于推理服务的讨论时承认：推理模型不是即插即用的家电，而是一门手艺。他判断大量推理服务商会因此出局，并透露自己团队为把工程映射到财务模型付出了很大努力，中间还有不少秘诀。
「Infra」频道最新
- 硅谷投资人:推理工程是当下最赚钱、杠杆最高的专精技能 — AccBalanced · 2026-11-03
- 苹果高管:内存涨价无尽头,采购义务单季激增330亿美元 — firstadopter · 2026-11-03
- 北大 MAServeBench:把多智能体协作作为可复现 serving 负载基准 — PekingUniversity · 2026-11-03
- ProVe 反转投机解码角色:大模型提块小模型验证,提速 2.5-2.7× — Ziqi Jin · 2026-11-03
- NVFP4 DeepSeek 4×DGX Spark 实测:单用户较 vLLM 快 2.3× — AIFlow_ML · 2026-11-03
- Ubuntu CVE-2026-98432 修复已在 -proposed 仓库，延迟或因数据库回归修复 — bytebot · 2026-11-03