长上下文下 score centering 不友好:要存两个巨型张量还得写定制 kernel

dejavucoder · x · 2026-11-20

dejavucoder 引用一条技术评论指出:score centering 在长上下文场景下对基础设施并不友好——需要存储两个巨大的 [T, K] 张量并做逐元素相乘,还得为此写定制 kernel。属于对注意力/打分实现细节的工程吐槽。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →