Liquid AI LFM3 用 24 层混合架构实现 256K 上下文，推理快 25%
cneuralnetwork · x · 2026-10-28
作者读罢 Liquid AI LFM3 的发布文后判断：混合架构是下一个大方向。
- LFM3 1.7B 不再依赖纯注意力：13 层门控卷积 + 5 层滑动窗口注意力（SWA）+ 仅 6 层全局注意力
- 直觉是并非每个 token 交互都需要昂贵的全局注意力：卷积廉价处理局部模式，SWA 捕捉近距依赖，全局注意力只负责长程信息
- 由此换来 256K 上下文窗口，4bit 量化下权重约 1GB，边缘设备上 8K 上下文推理速度据报道比 LFM2-1.2B 快约 25%
（帖内一条「jio IPO 持有还是卖出」回复为无关干扰。）
「模型」频道最新
- LiquidAI 发布 2B 全模态开源模型，llama.cpp 当天适配 — ilintar · 2026-10-28
- 开源权重模型已占 OpenRouter 72% tokens，企业终将拥有自己的智能 — thursdai_pod · 2026-10-28
- 开发者用 EmbeddingGemma 2 搭实时嵌入端点：文本 20ms，全程只跑 MacBook CPU — generativist · 2026-10-28
- Google Gemma 官方汇总 EmbeddingGemma 2 社区项目：从 WebGPU 图搜到 Apple Silicon 加速 — GlennCameronjr · 2026-10-28
- DeepSeek 对话中自称「我是 ChatGPT」还提到 Claude，蒸馏争议再起 — ResonantFork · 2026-10-28
- LFM3-Audio 发布，开发者实现 100% 本地与台灯语音对话 — ngxson · 2026-10-28