微软高管盛赞 Gisting:LLM 延迟大降 40%

微软 CTO Mikhail Parakhin 公开推荐 Gisting 技术,称其为目前最被低估的 LLM 技术之一。该技术在生产环境运行前对提示词进行压缩,压缩后的内容不再人类可读,但体积显著减小。实测数据显示,Gisting 可使端到端延迟降低约 40%,同时吞吐量提升约 15%,且效果反而更好。

2026-08-21 ~ 2026-08-21 · 2 条相关