DeepMem:字节级多尺度记忆架构,省 54% 显存提速 37%
Afshin Khadangi · hf · 2026-11-04
卢森堡大学 SnT 的 Afshin Khadangi 发布 DeepMem,一种因果多尺度字节级架构。
- 核心组件:可逆子带变换 + 快速权重记忆(fast weight memory)对序列进行压缩,支持高效推理。
- 通过无损载体(lossless carriers)与基于注意力的超分辨率解码,保证解码后恢复精确的字节级原样,压缩是无损的。
- 论文图表给出的实测数字:相对 Transformer 基线,BPE perplexity 在 Thai 上 -7.7%、在 FineWeb-Edu 上 -3.1%;FastWeight 路径 GPU 显存 -54%、吞吐 +37%。
属于长序列压缩/高效推理架构的独立研究,兼有架构创新与可查的性能数据。
「Infra」频道最新
- SurrealDB 4 发布：多模型数据库瞄准 Agentic 时代 — Scobleizer · 2026-11-04
- 台松新竹多层材料厂凌晨大火爆炸，CCL 供应恐进一步吃紧 — zephyr_z9 · 2026-11-04
- 实测发现同名 Claude 一天走 Bedrock 一天走 Anthropic 直连 — georgos_pappas · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 技嘉推 AI TOP 主板：最高 2TB 内存、可装 9 张 GPU 跑本地 AI — vincent_koc · 2026-11-04
- 攒 7 卡 132GB 显存本地推理机：EPYC 整合还是双平台？ — infectiousstupidity · 2026-11-04