Cohere Labs 推出 Local AI 社区计划,聚焦本地推理与硬件调优
Cohere_Labs · x · 2026-09-21
Cohere Labs 开放科学社区启动新项目 Local AI,面向想在本地运行、评测和构建 AI 而不依赖云端大算力的开发者。
计划涵盖方向:
- 本地推理栈:vLLM、SGLang、llama.cpp
- 硬件权衡、优化与模型质量
- 面向本地峰值性能的真实基准测试与研究
- 实用的本地优先工具与 agentic 工作流
「Infra」频道最新
- 双卡 R9700 本地推理踩坑:从 LGA1700 升级 Threadripper 的 PCIe 通道账 — El_90 · 2026-09-21
- Komlós 猜想被宣布解决,数学家点出其对神经网络量化的隐含意义 — stevenstrogatz · 2026-09-21
- 英伟达点名 5 家用 AI 做清洁能源的公司：电网评估从 45 天缩到 2 分钟 — nordicinst · 2026-09-21
- Mozilla 实测:本地 30B 模型零 API 全程自动开出真实 PR — mozilla-ai · 2026-09-21
- NVIDIA 盘点 5 家 AI 清洁能源公司：电网审核从 45 天缩到 2 分钟 — NVIDIA Blog · 2026-09-21
- Gewell:利用 Gemma 4 结构,KV 缓存省 37.5% 显存的推理引擎 — stoppableDissolution · 2026-09-21