用 sglang 评分端点微调推理,让开源模型秒变指定风格
BLUECOW009 · x · 2026-09-19
开发者 skeptrune 演示了一个惊人简单的推理工程技巧:不用微调,就能让任意开源模型表现出指定行为。他们甚至上线了一个恶搞性质的端点,叫 deepseek-v4.1-flash-jev 来证明效果。
核心做法:推理引擎 sglang 除了常规生成端点外还提供评分端点 /v1/score。在评分模式下,给定输入和一组候选答案,模型会被强制输出每个选项的概率而非流式文本,例如「abcccde 中最常见的字母」会返回 (c, 0.9) 这样的结构化分布。把 /gen 换成 /v1/score 即可实现。
利用这一机制对输出分布做工程化控制,就能低成本复制特定模型的行为风格。评论区有人戏称后续模型可能干脆自带「jev 选项」。
「Infra」频道最新
- 内罗毕首届 Cafe Compute 聚会演示 Cerebras,呼吁推理层可解释性 — paw_lean · 2026-09-19
- Cerebras 用 Qwen 27B 打造购房理财助手 Money Agent — Alibaba_Qwen · 2026-09-19
- GPU 出租遭租客利用发起攻击，Clore.AI 拒不处理还封号 — anomaly256 · 2026-09-19
- 3M 曾赔 103 亿美元弃产 PFAS，AI 数据中心又把它做成增长市场 — aakashgupta · 2026-09-19
- $250 淘矿卡魔改 30GB 显存,老 i7 主机跑 Qwen 达 30 tok/s — HFq_Dev · 2026-09-19
- 读懂一次预训练:P0/P1/P2 三级指标体系系统梳理训练监控信号 — SonglinYang4 · 2026-09-19