234 天后:Opus 级能力被塞进 8GB 显存的 RTX 3060 本地跑
JFPuget · x · 2026-09-18
Ahmad Osman 指出,距 Opus 4.5/4.6 发布 234 天,同等智能水平的模型已经能在单张 8GB 显存的 RTX 3060 上本地运行。其手段是将 Qwen 3.8 27B 压缩 9 倍体积,同时保持约 98% 的性能。他感叹本地 AI 的进步速度之快超出想象。
「Infra」频道最新
- 仅 0.05% 采样就能验证缓存，作者感叹整个系统省下的工作量惊人 — DanielLockyer · 2026-09-18
- TRL 新增异步 GRPO：经 HF Buckets 同步 LoRA 权重，训练耗时 3.5 小时缩至 53 分钟 — _lewtun · 2026-09-18
- 支付公司争抢推理入口：Stripe 携 OpenRouter、Ramp 切入推理链 — xkonjin · 2026-09-18
- Qdrant 四小时直播深挖向量搜索,回放已上线 — qdrant_engine · 2026-09-18
- 投资人：QNX 微内核是 Agent 时代被低估的边缘安全护城河 — pdamodaran · 2026-09-18
- Inception CEO Ermon：扩散模型将在文本推理效率上击败自回归 — No Priors · 2026-09-18