大上下文不等于高效
const_reborn · x · 2026-07-17
核心观点是：**更大的上下文窗口是好事，但把它塞满低质量信息并不会更好**。 作者认为，随着上下文窗口大约以每年 30 倍的速度增长，问题不在于“能放多少内容”，而在于“这些 token 是否真的有用”。模型依然要处理所有输入，所以垃圾上下文会浪费计算，也降低整体效果。 结论很直接：未来不是“更少上下文”，而是**更少浪费**。
const_reborn · x · 2026-07-17
核心观点是：**更大的上下文窗口是好事，但把它塞满低质量信息并不会更好**。 作者认为，随着上下文窗口大约以每年 30 倍的速度增长，问题不在于“能放多少内容”，而在于“这些 token 是否真的有用”。模型依然要处理所有输入，所以垃圾上下文会浪费计算，也降低整体效果。 结论很直接：未来不是“更少上下文”，而是**更少浪费**。