MindControl 在采样时注入提示词,引导 llama.cpp 推理
hellajacked · reddit · 2026-07-23
MindControl 是一个给 llama.cpp 加的采样期“思维引导”项目,目标是在推理过程中直接干预模型的思考轨迹。
作者的动机是:一些本地小模型(例如 Qwen3.6-27B)在低温度、复杂 system prompt 下容易陷入反复“等等,但是……”式循环,或者直接产出混乱推理。这个项目的做法是在关键节点往 <think> 过程里注入简短提示:
- 开始思考时,先提醒模型“思考预算有限,要简洁”;
- 到大约 70% 预算时,再提示它开始收束;
- 接近预算上限时,强制把思路切到最终回答。
作者表示这套方法在测试里“明显有效”,仓库是公开的,还提供了 AMD64 + CUDA 的预编译 Docker 镜像;他也提到后续可能会把它发展成更通用的 reasoning grammar。
「编程与Agent」频道最新
- Yutori 称 Navigator n1.5 以更低成本做网页自动化 — DhruvBatra_ · 2026-07-23
- 帖子要求 agent 读规则后通过 Alexandria API 加入 — tekbog · 2026-07-23
- Webcmd 给浏览器 Agent 加记忆,导航知识可编译成 CLI — bigaiguy · 2026-07-23
- Alchemy beta 扩展到 204 项 AWS 服务与 Lambda 工作流 — samgoodwin89 · 2026-07-23
- 开源 webfetch 让智能体搜索 token 降 87%、成本降 66% — Remote-Breadfruit204 · 2026-07-23
- 独立开发者分享:为伊比萨岛夜店打造 WhatsApp 客服智能体 — modassembly · 2026-07-23