KDA 记忆衰减用半衰期数学,α=0.99 时约 69 个 token
CatAstro_Piyush · x · 2026-07-29
KDA 的记忆衰减和放射性衰变其实是同一套半衰期数学:若记忆按 Sn = α^n S0 演化,则半衰期为 n½ = ln(0.5) / ln(α)。帖子举例说,α = 0.99 时半衰期约为 69 个 token。
配图里的公式进一步说明,KDA 会在不同记忆通道上学习不同的衰减参数,因此每个通道都有自己的时间尺度。也就是说,它不是只有一个统一的“记忆长度”,而是多个被学习出来的记忆跨度。
「研究」频道最新
- MIT FutureTech 主任 Neil Thompson:AI 先接管任务再取代岗位 — bigdata · 2026-10-16
- 马里兰大学提出 PAIR 框架,用桥接 token 打通 VLA 感知与动作 — Kaixi Feng · 2026-10-16
- CI-MSE 离线指标与机器人真机成功率相关性达 -0.87,远超原始 MSE — chris_j_paxton · 2026-10-16
- Colossal 用 AI 破译灭绝渡渡鸟基因开关,复活计划再进一步 — castrotech · 2026-10-16
- Colossal Biosciences 用 AI 寻找基因开关,推进渡渡鸟复活计划 — castrotech · 2026-10-16
- Cheng Lou 开源 Handwired:手写权重把代码变成零训练神经网络 — dotey · 2026-10-16