Matryoshka 性能持平标准模型，子模型宽度深度可调
nthngdy · x · 2026-08-19
Matryoshka 套件的性能与使用相同数据训练的标准套件持平，且持续优于 iso-FLOPs 套件（以总套件 FLOPs 衡量）。在该设计中，每个子模型将其输出馈送给对应下一个子模型的层堆栈；与过去的工作不同，这种设计允许每个子模型具有可调节的宽度和深度，为内存和计算占用提供了巨大的设计空间。
所属事件:Matryoshka LM Suites：嵌套一次训练产出整套模型(8 条相关)→
「研究」频道最新
- Cammarata 称大模型绝大多数神经元已可读，学界质疑是炒作 — anshulkundaje · 2026-10-16
- 物理学者视角质疑：ML 社区不该默认模型「不可理解」 — tszzl · 2026-10-16
- AI Agent 评测综述:评估日益真实但仍难测安全与可靠 — burkov · 2026-10-16
- 视觉思维链数据集 COVA-SFT 发布，将亮相 EMNLP 2026 Findings — yoavartzi · 2026-10-16
- 中科大团队提出 Speculative Sampling，交互式视频生成延迟大降 — ustc · 2026-10-16
- 清华 CoTranslator：逆向 CoT 蒸馏让 Qwen3-4B 数学成绩大涨 — Tsinghua · 2026-10-16