Hacker News 热文：用 INT4 记忆单元为 LLM 注意力引入持久状态机
yusuke_esaka · hn · 2026-08-02
探讨了一种为大型语言模型（LLM）注意力机制引入持久状态的新架构方法。
核心要点：
- 提出在注意力机制中引入INT4 记忆单元，使模型能够跨推理步骤保持持久状态。
- 这种机制类似于持久状态机，有助于改善模型在长上下文或需要状态追踪的任务中的表现。
- 为解决大模型长文本处理中的记忆遗忘问题提供了新的底层架构思路。
「研究」频道最新
- 新架构 RHEA：8GB 显存即可训练 10 亿参数模型 — zemondza · 2026-08-24
- 跳过 LLM 写代码老套路：自训 16M 参数模型做生成式 CAD — debreuil · 2026-08-24
- Claude 助手发现 6 维球复结构，解 60 年数学难题 — Singularitarian · 2026-08-24
- 研究揭示 AI Agent 行为：六成阅读量来自指令与笔记 — dair_ai · 2026-08-24
- Claude 自主验证 43 个数学模块，AI 攻克理论物理难题 — Tkaraletsos · 2026-08-24
- AI 假记忆：为何模型越用越错，真记忆需遗忘 — PrajwalTomar_ · 2026-08-24