长上下文与注意力机制领域研究进展汇总
eliebakouch · x · 2026-08-26
帖子汇总了长上下文（Long Context）与注意力机制领域的若干重要工作，包括：
- MIMO：关于 KV 共享（KV sharing）及 MOPD 的工作。
- Longcat：在 Ngrammer、稀疏注意力（sparse attention）和线性注意力（linear attention）方面的研究。
- Inclusion AI：在技术栈全流程上的工作，包含首个同时实现线性和稀疏注意力的模型。
- MiniCPM：关于稀疏注意力（InfLLM）与 WSD 的工作。
- ByteDance Seed：在 HC 等方面的研究。
「研究」频道最新
- 运行Boltz-2一亿次，尝试模拟细胞生物学 — dom_beaini · 2026-08-26
- RMSNorm 将激活投影到超球面，未解决可解释性难题 — _xjdr · 2026-08-26
- LangChain 开源 WikiBench：量化代码库 Wiki 对编码 agent 的增益 — LangChain · 2026-08-26
- 新研究 LpWM：稀疏表示让世界模型潜在动态更易建模 — randall_balestr · 2026-08-26
- Qwen 与 GLM 新模型实测赶超 Claude Opus — kimmonismus · 2026-08-26
- Perplexity 揭秘 Dream Agents 自改进架构 — perplexity_ai · 2026-08-26