微调 Inkling 2 Mini 做工单路由:54% 问题一轮即可出结果,时延降四成
eltokh7 · reddit · 2026-11-23
开发者发布了 Apache 2.0 的 Inkling 2 Mini Decision 微调模型:输入一段文本和若干问题,直接返回各候选答案的概率,不生成 token,让循环 transformer 在简单决策上少花算力。
- 工单路由示例:重复扣费工单经一轮循环即以 98.7% 概率路由到 billing;而「是否升级处理」跑了全部三轮循环仍接近五五开。
- 在 decision-v7/test 上 54.2% 的问题一轮即早退;RTX PRO 6000 上中位批量一时延从 136.8ms 降到 81.4ms,准确率仅从 85.56% 微降至 85.49%。
- 外部 Typed Decisions benchmark 上 89.6% 的问题仍跑满三轮,说明早退出只在分布内任务上有效。
模型权重、评测脚本均已开源在 Hugging Face,作者希望与原版 Inkling 的受限标签输出做对比。
「Infra」频道最新
- Anthropic坐拥2400亿美元现金,分析师称将砸向半导体 — firstadopter · 2026-11-23
- Apple Silicon 本地推理引擎 Splash 1.7.1:ANE prefill 快 23%,共享系统提示新会话提速近 3 倍 — oss-jiiim · 2026-11-23
- 从零手写 Metal 4 引擎跑 Inkling-2-Mini:M5 Ultra 144 tok/s,32GB MBP 塞下 128k 上下文 — DankpawsDev · 2026-11-23
- LFM3-Omni-2B 跑进 iPhone 17 Pro Max:本地 agent 联网搜索并用模型自带能力生成语音 — fuzhongkai · 2026-11-23
- 自研编译器单核 CPU 跑 Qwen3.5-0.8B:峰值内存仅 109MB,作者求业界基线数据 — Maui-The-Magificent · 2026-11-23
- Melt_Dem 预言:推理优化各层将坍缩成实时撮合市场 — const_reborn · 2026-11-23