HARNESS：纯 Rust 推理引擎，宣称 8GB 显存跑 70B 模型
9gxa05s8fa8sh · reddit · 2026-10-20
GitHub 上出现的新项目 HARNESS，定位为纯 Rust 编写的 LLM 前沿推理引擎，同时兼具生物启发的脉冲神经网络(SNN)运行时。主要卖点包括：8GB 显存跑 70B 模型、LIF 脉冲注意力机制、模仿海马体的双记忆架构，以及自研的 PagedAttention v3。
项目刚被 Reddit 用户发现，尚无独立验证，夸张的显存压缩比需谨慎看待，建议感兴趣的读者自行测试。
「Infra」频道最新
- NeurIPS 2026 论文 IPW：衡量本地 AI 的「每瓦智能」效率 — HazyResearch · 2026-10-20
- SpaceX 财报周遇上 13 亿股解禁：算力生意年化约 1100 亿美元 — JOBhakdi · 2026-10-20
- AI 多头叙事的经济学漏洞：算力边际成本超过用户获得收益 — SumitGup · 2026-10-20
- 开发者推出 ijah：M5 Max 本地跑 Qwen Flash-Next 的新推理引擎 — SeveralViolins · 2026-10-20
- Shadeform 推六项新功能：算力租赁模式跟不上 Agent 时代 — omarsar0 · 2026-10-20
- 推理服务商版 CAP 定理：可靠性、成本与速度三者难兼得 — AccBalanced · 2026-10-20