Eureka Machine 架构细节：49 层 256 专家，早期实测 5090 跑 216 tok/s
AIFlow_ML · x · 2026-10-22
对 Eureka Machine 的第三方观察：所有基准与速度数据均为自报，且尚无论文发布。外部早期实测结果不错——@witcheer 报告在 RTX 5090 上达到 216 tok/s，但随上下文填充速度会下降。真正的考验是第二个模型能否更快出炉。
架构方面：49 层，256 个专家（每 token 选 6 个 + 1 个共享专家）。其中 35 层为滑动窗口注意力（窗口 513 token），14 层为全注意力且不使用位置编码。架构搜索从 35B 总参/3B 激活参数出发，最终收敛到 40B/2.5B。
所属事件:Eureka Machine 曝光 40B MoE 架构：激活仅 2.5B，lm_head 4 比特化(3 条相关)→
「模型」频道最新
- Kimi K3.1 对比 Qwen 4:15 分钟生成带爆炸视图的 3D 直升机 — Scobleizer · 2026-10-23
- FreshStack 检索榜单上新：Oten-Embedding-8B 居首，Cohere 与 Perplexity 新模型入榜 — beirmug · 2026-10-23
- Together AI 与斯坦福提出 Next-Concept Modeling：比扩散 LM 快 10-31 倍 — jiqizhixin · 2026-10-23
- 全双工模型的竞争力在交互时机：辅导与编程助手都要能在任务中途接住纠正 — kimmonismus · 2026-10-23
- 中国初创 Telos 做全双工全模态模型，红杉中国与高瓴种子轮加持 — kimmonismus · 2026-10-23
- Telos 技术联创 Bokai Xu 曾主导 MiniCPM-o 双工架构与全模态预训练 — kimmonismus · 2026-10-23