llama.cpp 提交 PR：新增 CPU 卸载密集模型 FFN 层选项
pmttyji · reddit · 2026-08-19
llama.cpp 社区提交了 PR，提议为密集模型添加 --n-cpu-ffn 选项，类似现有 MoE 模型的 --n-cpu-moe。该优化允许将 FFN 层卸载至 CPU，从而在显存受限（如 16GB）的设备上运行更大的密集模型（如 Qwen 3.8 27B）。指南展示了在 Q4KM 量化下运行 27B 模型并保持 130k 上下文和约 20t/s 速度的实测效果。
「Infra」频道最新
- Temporal Serverless Workers 登陆 Cloud Run:按任务队列自动伸缩、可缩至零 — rseroter · 2026-10-16
- LMA day-0 支持扩至四大芯片:TPU 上首次实现模型零日上线 — ying11231 · 2026-10-16
- Semtech 分析师日幻灯片讲透信号完整性：衰减、带宽、非线性、噪声四大损伤 — BenBajarin · 2026-10-16
- Fortytwo Engine 用 Swarm Inference 让 Qwen3.8-27B 准确率升 7%、token 省 25% — rohanpaul_ai · 2026-10-16
- 伯克利学者：芯片供应链高度集中，硬件级暂停前沿 AI 可行且可持续 — wfithian · 2026-10-16
- Khala 研报对比 peaq、THOR、BitRobot、Axis 四家机器人数据代币化项目 — 0xSammy · 2026-10-16