Token 预算是系统设计问题，非单纯提示词技巧

arpit_bhayani · x · 2026-08-24

Token 预算常被忽视，直到系统崩溃。它本质是系统设计问题，而非简单的超参调整。上下文填充内容（系统提示、历史、检索文档、工具结果）均由架构决定。若 RAG 倾倒未排序切片或历史无限增长，需通过分块策略、历史摘要、分层检索等设计解决，而非修补 Prompt。32k 上下文的优秀设计比 200k 的糟糕设计更省钱且更强。模型在上下文极限处表现会非线性下降，只能靠设计规避。