Gisting 技术受关注：压缩 Prompt 可降 75% 成本

Shopify 工程博客介绍了 Gisting 技术：通过知识蒸馏将 System Prompt 压缩为特殊的 Gist tokens，实践显示可将 6000 token 指令大幅缩减。有讨论指出该技术实质是 Prompt Tuning / 软提示，通过反向传播学习软提示来调节冻结的模型权重。据称该方法可将 Prompt 压缩至约 25%，在保持行为一致的同时显著提升吞吐量并降低约 75% 成本。

2026-08-21 ~ 2026-08-22 · 3 条相关