KAUST 提出免训练 Periscope:27B 模型单卡 80GB 读 4.5M token 长文
KAUST · hf · 2026-10-06
KAUST 发布 Periscope,一种免训练的推理方法,让冻结的语言模型突破上下文窗口限制做长文问答:
- 方法:将文本的 N 个 chunk 排成 K×K 网格,向冻结模型对 K 个局部连续 span 和 K 个跨步采样 span 提同一问题,读取答案的 log-odds;每个答案取局部与跨步最优分,并由此免费得到一张证据图(evidence map),峰值即支撑答案的 chunk
- 复杂度:窗口为 W tokens 时可覆盖 W²/c tokens,成本 s^1.5;每次调用只需缓存一个 probe
- 效果:LongBench v2 上只读证据图排名最高的 9k tokens,即匹配同一模型 32k–1M 窗口下的最优窗口读取;InfiniteBench(中位上下文 150k)领先 5 分;BRIGHT 长文档检索取得六种方法最佳 NDCG@10
- 落地:27B 模型在单张 80GB GPU 上读 4.5M token 上下文(单次直读需 296GB 缓存)
核心结论:长文读取只需 GPU 装得下模型,不必装得下文本。
所属事件:KAUST 推出免训练方法 Periscope，让冻结模型读超长文(2 条相关)→
「研究」频道最新
- Goertzel 提出新数学框架 d-calculus，论证自改进 AI 如何守住目标 — burny_tech · 2026-10-06
- 在提示词前加「Okay」可让 Olmo-3-7B 的 MATH-500 准确率从 42% 升至 78% — arankomatsuzaki · 2026-10-06
- Schmidhuber 详解 1991 年位置编码：1/t 双曲时间衰减沿用至今 — SchmidhuberAI · 2026-10-06
- GDELT 用 Gemini 3 每日深度分析 75 国 150 语种电视新闻 — rseroter · 2026-10-06
- MIT 学者指出新量子 APSP 改进并未突破平凡 n^2.5 量子界 — aran_nayebi · 2026-10-06
- Meta AI 发 MIRA：拆分元推理器解决长程研究代理决策难题 — dair_ai · 2026-10-06