Lizard 框架：把预训练 Transformer 线性化，近无损且能外推更长序列
burkov · x · 2026-10-13
标准注意力随上下文长度二次增长，是 LLM 处理长序列的算力与内存瓶颈。线性/亚二次架构推理内存恒定、处理高效，但从零训练成本巨大且常损害推理与召回能力；直接线性化现有预训练模型的早期尝试则难以匹配原模型精度，也无法外推到训练长度之外。
burkov 介绍的 Lizard 是一个线性化框架，能把预训练 Transformer LLM 转换为亚二次架构：
- 结合可学习的门控线性注意力机制（gated linear attention）等组件做混合设计
- 实现近无损的性能恢复（near-lossless performance recovery）
- 在长度外推上表现稳健，突破训练时见到的序列长度限制
思路核心是避开从零训练的天价成本，直接改造已有预训练模型，为长上下文部署提供更省的路径。
「Infra」频道最新
- Reddit网友：AI算力建设或重蹈中国高铁式过度建设覆辙 — pman6 · 2026-10-13
- Meta 押注记忆:新模型 Active Memory 让 AI 记住你数月 — BenBajarin · 2026-10-13
- Agent 竞争重心转移:搜索与评测等底层基建正在变得值钱 — FinanceYF5 · 2026-10-13
- Vjeux 发现 swc 压缩器指数级内存 bug:40 个模块吃掉 40GB — Vjeux · 2026-10-13
- 超百万游戏与工作站 GPU 被改用于 AI，中国缺芯缺口或持续至 2030 — zijing_wu · 2026-10-13
- 本地模型何时能自己优化 llama.cpp?开发者激辩开源差距 — Plastic-Stress-6468 · 2026-10-13