技术账号拆解某模型 engram 细节：素数表长、4-gram、fp8
stochasticchasm · x · 2026-09-11
stochasticchasm 在分析某模型架构的 engram 部分时指出几个此前未见的细节：
- 表大小选用互不相同的素数，这种设计此前不重要/不常见
- 使用了 4-gram，其他采用类似结构的模型未见
- 查找表疑似以 fp8 存储，推测用于推理
作者还讨论了通过重叠（overlap）来提升查找表效率的可行性。这类技术拆解对关注模型架构细节的研究者是重要一手分析。
所属事件:新模型技术细节引热议：KV 缓存 QAT 与砍掉 MTP(4 条相关)→
「Infra」频道最新
- 微软内部计划曝光：2032 年数据中心容量从 12GW 扩至 38GW — BenBajarin · 2026-09-11
- Oracle Q1 营收 193 亿美元超华尔街预期，AI 云需求持续走高 — Polymarket · 2026-09-11
- Agent 越强，GPU 之外的「普通计算」占比越大 — AccBalanced · 2026-09-11
- 2.78万亿参数 Kimi K3 单 CPU 跑通：仅需 8.24GB 内存、零 GPU — udmrzn · 2026-09-11
- 32GB M4 MacBook Air 上跑出 8-22 tok/s，Cherenkov 引擎刷新 Qwen3.8 极限 — alfredr · 2026-09-11
- Claude Desktop 数据直传大厂?用 Ollama 本地模型保住隐私 — Technovangelist · 2026-09-11