十一次误判无一来自模型:工程师复盘本地推理栈的测量陷阱

colinmcnamara · x · 2026-10-13

工程师 Colin McNamara 撰写长文,讲述用一台笔记本加一块 GH200、中间架设语义路由器(简单请求走本地小模型、难题交给 27B)的本地推理系统,结果 premise 被测量推翻:栈里十一次让他确信的虚假结论,没有一次来自模型,其中三次还是自己的测量工具骗了他——cache-busting 逻辑本身被缓存,把 24 倍差距误测成接近持平。

系统架构:两种客户端方言(Anthropic messages API 与 OpenAI chat)进路由器,读四个信号做三个决策;一块 GH200 的 95.6 GB HBM3 中用 78 GB 同时跑 27B 模型、语音模型和护栏模型,Grace CPU 侧 573 GB LPDDR5X 经 NVLink-C2C 以 447 GB/s 互联。文中还坦承语音并未真正接入路由器、护栏模型只是测量了没接线,强调图表不应声称超出系统实际的能力。