开源 hunch：本地小模型蒸馏大模型，CPU 毫秒级判断每百万 token 不到 3 美分
aigclink · x · 2026-11-05
开源项目 hunch（GitHub 347 star）基于谷歌 EmbeddingGemma 2 构建了一套「实时学习的本地语义决策系统」：
- 性能：文本判断约 22ms、图片约 100ms，纯 CPU 运行，每百万 token 成本不到 3 美分
- 架构：EmbeddingGemma 2 + 轻量分类器 + 教师模型蒸馏，大模型先当老师提供判断，本地小模型边用边学，逐渐接管高频、稳定的判断任务，复杂问题仍交还大模型
- 适用场景：工具调用是否失败、日志是否异常、prompt injection 检测、用户意图分类、Agent 任务路由等原本每次都要调用大模型的判断
思路类似「System One」快思考：让 AI 的高频判断形成持续学习、逐步降低成本的闭环。
所属事件:开源 hunch 用 EmbeddingGemma 2 实现毫秒级本地判断(3 条相关)→
「编程与Agent」频道最新
- Anthropic 官方教程:Claude Code 三模型分工,Opus 只当高级顾问 — Arindam_1729 · 2026-11-05
- Laya 0.4.24 发布：0.8B 小模型免微调学习标签，支持 73k 上下文 — NirantK · 2026-11-05
- Qwen3.6-35B 去审查版配 Hermes Agent 提示词实机演示 — EvilEnginer · 2026-11-05
- Ghosthand 为 Grok bot 配真机 iPhone,专解验证码与风控 — ethanniser · 2026-11-05
- MCP 工具 98% 击败 Text2Cypher 与裸 GPT-4o,生物医学问答实测 — JeremyCMorgan · 2026-11-05
- Wise 提出 agent 支付新范式：客户一次性授权，智能体免逐步审批 — AI Engineer · 2026-11-05