KVARK Flash 代理:按请求限 DeepSeek 思考量,token 省 30-50%
Ill_Contribution_717 · reddit · 2026-11-19
开发者发布 KVARK Flash 1.0(Apache 2.0):一个不碰权重的 OpenAI 兼容小代理,架在原封不动的 DeepSeek V4.1-Flash 前,按请求决定模型「思考多久」。路由器纯规则、不调模型,按请求的工具和文本选档:general(chat/math/science)effort 0.3;code 档加 budget forcing,思考超 28,672 token 即强制闭嘴作答;docs 档三次检索无佐证页则直接回答 NOT IN DOCUMENTS;用户自带的 reasoningeffort 永远优先。
7 个公开基准(4x H100、SGLang FP8 同机对照)显示:GPQA Diamond 91.2→89.6、AIME 2026 95.8→98.3、LiveCodeBench v6 90.7→92.0、MMLU-Pro 持平,推理 token 减少 29-49%,速度提升 1.4-1.7 倍;混合负载批量测试 263 题正确率 241→242,墙钟 2,033s→1,270s(吞吐 1.6 倍)。2x DGX Spark 上结论一致。
作者也坦诚局限:七个基准里六个不带工具,路由基本落在 general 档,效果接近固定 effort=0.3(未跑该基线);代理真正的价值在 code 上限、docs 停止规则等基准没覆盖的部分;困难竞赛数学可能掉 2 分左右(HMMT −2.4)。
「Infra」频道最新
- 美限制中企租用海外 Nvidia 芯片,微软却被曝拟向字节增售 OpenAI 模型 — kevinnbass · 2026-11-19
- vikhyatk:行业在 GPU 编译器投入过多,CPU 编译器不足 — mohbibi_ · 2026-11-19
- Polymarket 上线 Anthropic IPO 永续合约,ANT 报约 104 美元 — Polymarket · 2026-11-19
- R9700 降到 160W 跑 llama.cpp:性能仅丢两成,风扇近无声 — LippyBumblebutt · 2026-11-19
- Baseten 实测:DeepSeek v4.1 Flash 在 Vera Rubin 上跑出约 2500 tok/s — baseten · 2026-11-19
- Cloudflare 推出 Spend Management:消费达上限可自动暂停服务 — JeremyCMorgan · 2026-11-19