AI Studio 百万 token 计数是错觉:作者拆解冷缓存与配额真实消耗
Former-Aerie6530 · reddit · 2026-10-25
一位重度 Google AI Studio 用户拆解了长对话的真实 token 成本,发现几件多数人没意识到的事:
- 计数器的「雪球效应」:AI Studio 顶部的数字只是当前上下文的「背包重量」。一个 100k token 的聊天连问 10 个小问题,看似只花 10k,实际服务器重读全对话 10 次,处理超过 100 万 token。
- 「每天喂一点」踩冷缓存:同小时连续消息有约 95% 的隐式缓存折扣;隔天回到一个 500k–1M 的聊天,缓存已失效,当天第一问会全额计费,几乎一次吞掉每日配额——他计算出自己那 6 个 1M token 聊天若走无缓存 API 要花数千雷亚尔。
- 消费级 App 为何「更浅」:Gemini App 等会削减 thinking 预算、限制输出长度并用 RAG/滑动窗口裁剪上下文;AI Studio(及 200k 内的 Claude)则每轮注入全部原文。Claude 在聊天触顶时直接锁死对话而不是偷偷截断,作者称之为「唯一不骗你的消费级 App」。
文末向社区征集:手机端如何替代难用的 AI Studio 移动网页(第三方 API 客户端?)、50k–100k 以上长聊是让 AI 生成「记忆摘要」开新对话还是走 API 付费、以及是否有人把 Pro 计划附带的每月 $10 开发者积分用于 Tier 1 跑 Argon 4 以绕开日限。
「Infra」频道最新
- CMU 团队开源 Quail：SQL 内跑 LLM，平均比 vLLM 快 1.8 倍 — sh_reya · 2026-10-25
- AI 算力生意正在重演比特币挖矿：中间层注定吃下折旧与破产 — sebpaquet · 2026-10-25
- 马斯克：SpaceX 超级智能每月上线约 20 万块 GB300，明年转 Rubin — Beth_Kindig · 2026-10-25
- SGLang 集成 DeepSeek 全套内核，预_fill 吞吐最高达 DeepInfer 1.04 倍 — ying11231 · 2026-10-25
- Epoch AI 估算:2027 年前内存芯片最多可支撑 1.71 亿个前沿 AI Agent — PeterDiamandis · 2026-10-25
- 250 欧捡漏两台魔改 Dell 工作站,配 3090 跑本地大模型值不值 — SlechteConcentratie · 2026-10-25