KVARK Flash 代理:按请求限 DeepSeek 思考量,token 省 30-50%

Ill_Contribution_717 · reddit · 2026-11-19

开发者发布 KVARK Flash 1.0(Apache 2.0):一个不碰权重的 OpenAI 兼容小代理,架在原封不动的 DeepSeek V4.1-Flash 前,按请求决定模型「思考多久」。路由器纯规则、不调模型,按请求的工具和文本选档:general(chat/math/science)effort 0.3;code 档加 budget forcing,思考超 28,672 token 即强制闭嘴作答;docs 档三次检索无佐证页则直接回答 NOT IN DOCUMENTS;用户自带的 reasoningeffort 永远优先。

7 个公开基准(4x H100、SGLang FP8 同机对照)显示:GPQA Diamond 91.2→89.6、AIME 2026 95.8→98.3、LiveCodeBench v6 90.7→92.0、MMLU-Pro 持平,推理 token 减少 29-49%,速度提升 1.4-1.7 倍;混合负载批量测试 263 题正确率 241→242,墙钟 2,033s→1,270s(吞吐 1.6 倍)。2x DGX Spark 上结论一致。

作者也坦诚局限:七个基准里六个不带工具,路由基本落在 general 档,效果接近固定 effort=0.3(未跑该基线);代理真正的价值在 code 上限、docs 停止规则等基准没覆盖的部分;困难竞赛数学可能掉 2 分左右(HMMT −2.4)。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →