开源模型微调成本大降，瓶颈转向推理与运维
koltregaskes · x · 2026-07-03
作者详细讨论当前开源模型微调成本：在 Together AI、Fireworks 等平台对 7-16B 模型做 LoRA 通常只需 10-50 英镑算力，70B QLoRA 也基本在几百英镑内。真正的难点在于推理与运维——托管端点可按量计费、按基础模型费率（Llama 类约每百万 token 0.2-0.9 英镑）提供微调模型，省去闲置 GPU；而大规模稳定流量下自建 spot H100（约每小时 1-2.5 英镑）更划算。
「Infra」频道最新
- AWS 教程:SageMaker SDK v3 搭建车队级边缘视觉模型流水线 — AWS ML Blog · 2026-10-27
- Embedl 把 Qwen3.8-27B 压进 Jetson Thor:解码 40 tok/s,精度反超 FP16 — No-Dragonfly6246 · 2026-10-27
- Celesto 推出便宜近 90% 的 CI Runner，兼做 Agent 云电脑 — aniketmaurya · 2026-10-27
- Supabase 联创谈 AI 时代后端：为十亿个 AI 生成应用而设计 — Latent Space · 2026-10-27
- AW-0 单卡 RTX 5090 推理 230ms:联合去噪比自回归代码快 2.4 倍 — trevordarrell · 2026-10-27
- 全美市议会话题追踪网站：数据中心热度仅次于匹克球场 — zakkohane · 2026-10-27