长上下文下 score centering 不友好:要存两个巨型张量还得写定制 kernel
dejavucoder · x · 2026-11-20
dejavucoder 引用一条技术评论指出:score centering 在长上下文场景下对基础设施并不友好——需要存储两个巨大的 [T, K] 张量并做逐元素相乘,还得为此写定制 kernel。属于对注意力/打分实现细节的工程吐槽。
「Infra」频道最新
- 753B 参数 GLM-5.3 在两台 NVIDIA DGX Station 上全显存本地运行 — kuchaev · 2026-11-20
- PolyAI 实时对话模型 Dialog-RSN-1 上架 SageMaker JumpStart — AWS ML Blog · 2026-11-20
- 3 张退役 V100 装 $1042 主机跑 Qwen 3.6:128K 上下文快过 $5399 Mac — bittingthembits · 2026-11-20
- 英伟达新季度业绩亮眼,Rubin 芯片在 MLPerf 训练与推理首秀 — TheKanter · 2026-11-20
- 自研 CUDA 引擎 Halocline:单张 RTX 4090 跑 Qwen4,速度提升 1.4-2.6 倍 — Distinct-Pie2389 · 2026-11-20
- 美收紧芯片出口管控,月之暗面放弃 1.5 亿美元印尼订单 — The Decoder · 2026-11-20