Roundup of Long Context and Attention Mechanism Research
eliebakouch · x · 2026-08-26
帖子汇总了长上下文（Long Context）与注意力机制领域的若干重要工作，包括：
- MIMO：关于 KV 共享（KV sharing）及 MOPD 的工作。
- Longcat：在 Ngrammer、稀疏注意力（sparse attention）和线性注意力（linear attention）方面的研究。
- Inclusion AI：在技术栈全流程上的工作，包含首个同时实现线性和稀疏注意力的模型。
- MiniCPM：关于稀疏注意力（InfLLM）与 WSD 的工作。
- ByteDance Seed：在 HC 等方面的研究。
More from Research
- Ran Boltz-2 100 million times to simulate cell biology — dom_beaini · 2026-08-26
- RMSNorm projects activations to a hypersphere, doesn't solve interpretability — _xjdr · 2026-08-26
- LangChain open-sources WikiBench to measure how much codebase wikis help coding agents — LangChain · 2026-08-26
- LpWM Research: Sparse Representations Make Latent Dynamics Easier to Model — randall_balestr · 2026-08-26
- Perplexity Reveals Dream Agents for Continuous Self-Improvement — perplexity_ai · 2026-08-26
- AWS Paper Reveals the 'Handoff Tax' in AI Agent Model Escalation — omarsar0 · 2026-08-26