Cactus 用 Gemma 4 置信度分流，云端调用仅占 15%–55%
GlennCameronjr · x · 2026-07-29
Cactus 的做法是给 Gemma 4 做后训练，让它对每个提示词先输出一个置信度分数。
- 置信度高时，本地直接处理。
- 置信度低时，再路由到更大的云端模型。
- 按不同领域基准，实际触发云端路由的比例只有 15%–55%。
这条帖子更像一个实用的混合模型路由思路摘要，不是完整技术细节。
「模型」频道最新
- 爆料称 GLM 5.5 与 Kimi K3.1 即将发布,或与反蒸馏封锁有关 — zephyr_z9 · 2026-10-16
- 75 家企业真实工作基准:GPT-6 与 Claude 排名随任务反转 — BorisMPower · 2026-10-16
- Google 年付 Gemini AI Plus 用户遭中途降级,11月13日起失去 Pro 模型 — Ray_ProUser · 2026-10-16
- 夸一句就出图：小模型画鹈鹕骑车SVG画质飙升 — Fancy-Snow7 · 2026-10-16
- Rapid-MLX 0.16.2 发布:Apple Silicon 本地跑 Nemotron 3.5 至 120B — kuchaev · 2026-10-16
- 「中国开源末日」说法被质疑：开源模型几乎可自动获得许可证 — eliebakouch · 2026-10-16