墨尔本实验室发布 Sugar Glider:O(1) 推理架构实测至万亿参数
kimmonismus · x · 2026-11-10
墨尔本实验室 i14labs 发布 Sugar Glider LLM 架构家族，宣称可将现有开源权重前沿模型在数小时内改造为常量内存推理：
- O(1) per-token 推理 + 固定大小 KV cache,显存与算力消耗不随上下文增长而增加
- 宣称保持前沿长上下文检索质量，已测试至约 1T 参数的模型
- 10 亿 token 上下文检索：single needle 100%,multikey 1 达 90.5%
团队称方法源自其在人类记忆与语言模型研究上的数十年积累。作者认为，在电力、电网、数据中心建设受阻的背景下，「从现有硬件榨出更多性能」将成为下一波收益的重要来源。已开放 waitlist 早鸟申请。
「Infra」频道最新
- 从 GPU 受限到全网可用:Anthropic 新模型首日登陆 Bedrock — ivan_bezdomny · 2026-11-10
- DeepSeek 比 Claude Fable 5.2 便宜 44 倍,单任务成本 $0.60 vs $26.54 — Yuchenj_UW · 2026-11-10
- 英伟达投资者私下不满仍公开力挺黄仁勋，时机成焦点 — GaryMarcus · 2026-11-10
- 低精度推理已成现实,训练前向/反向/优化器将转向 8-bit 与 4-bit — udmrzn · 2026-11-10
- OpenRSI 让 AI 智能体自我改进推理基建：8 个全模态模型吞吐提升 7.6%–344% — ChengleiSi · 2026-11-10
- Bun AoT 实测:OpenClaw 启动快 3.1 倍,OpenCode 省内存 41% — steipete · 2026-11-10