Colibrì 推出 Brio 模式:不生成文本,直接给候选答案打分
Just_Vugg_PolyMCP · reddit · 2026-09-21
Colibrì 创始人 Vincenzo 发布 1.12.0 版本,新增受 TypeSafe 启发的 "Brio mode":不给定问题后生成回复,而是对一组候选答案打分,输出每个选项的概率和分布熵。
- 复用 Colibrì 已支持的本地模型,无需下载或训练新模型,只是换一种推理用法
- 对同一文档的多个问题可通过快照复用共享上下文,每个问题可配不同候选答案集
- 面板为每个选项显示概率条和每题的熵值;不生成输出 token,但仍需处理上下文并打分选项 token
- 作者强调这是候选集上的归一化分数,不是校准置信度,低熵只说明分布偏向某选项,不代表正确
可通过面板、终端或 POST /v1/brio 使用,仓库已开源。
「Infra」频道最新
- lemire 实测:CPU 每个周期到底能处理多少条分支指令 — lemire · 2026-09-21
- Qwen3.8-27B 原生 8 位在 M5 Pro 跑出 37-55 tok/s,破解 4 位量化推理断崖 — SnooPredictions515 · 2026-09-21
- 谷歌提出 Orphaned VMs:主机内核停机更新时虚拟机照常运行 — jedisct1 · 2026-09-21
- 一条 gcloud 命令上云跑 DiffusionGemma,RTX 6000 Blackwell 约 $3/小时 — bodonoghue85 · 2026-09-21
- 16GB 显存才是大多数人的天花板,本地模型生态该围绕它优化 — ECrispy · 2026-09-21
- IDC:2030 年全球算力缺口达 3809 亿美元,堆卡时代结束 — 量子位 · 2026-09-21