帝国理工实验室已原型化潜在 tokenization 与可学习自适应记忆
PontiEdoardo · x · 2026-09-11
Edoardo Ponti 补充介绍其实验室的研究方向:已在 decoder 中原型化潜在 tokenization(latent tokenization)和可学习的自适应大小记忆(adaptive-size memory)。下一步计划是把这些方法规模化并继续改进,同时探索它们在推理时超扩展(hyper-scaling)和长视野世界建模中的应用。该帖是其 AToM 项目招聘线程的一部分,团队已在 Qwen3-8B-DMS-8x 与 Bolmo-7B 上做出改造原型。
所属事件:帝国理工 ERC 项目 AToM 招博士后与博士(2 条相关)→
「研究」频道最新
- Mandelbrot 集拼图结构在 Lean 中完成形式化计算,实拍级图表曝光 — geoffreyirving · 2026-10-28
- Geoffrey Irving 对 CSETH 突破给出 >80% 概率预测 — geoffreyirving · 2026-10-28
- 抗衰研究数据荒：Norn 募资 1500 万美元为 AI 备好训练数据 — juanbenet · 2026-10-28
- 研究员自曝置信度乌龙：把 SETH 当 CSETH，重估 P vs NP 赔率 — geoffreyirving · 2026-10-28
- Google 论文指出 softmax 标准实现藏两个数值 bug，引发形式验证讨论 — srush_nlp · 2026-10-28
- AI 提出的研究题 45/135 获专家认可有趣，覆盖数学物理等 — StanfordAILab · 2026-10-28