开发者用 Claude 写出全确定性 LLM 推理引擎:逐比特可复现,会话仅 4KB
iyioioio · reddit · 2026-11-03
开发者发布实验性确定性 LLM 推理引擎 Defer(纯 Rust,几乎全部代码由 Claude Opus 5.5 在 Pi harness 下编写):同 prompt、模型和参数(含 temperature/seed)永远返回逐比特相同的结果。
- 实现方式:所有算子在 CPU 上按固定顺序执行,无线程、无 BLAS、无 GPU kernel 的浮点重排,输出成为输入的纯函数
- 代价:很慢且单线程,笔记本上 SmolLM2-135M 约 17 tokens/s
- 意外收益:会话状态不用存 KV cache,只需 4KB/千 token 的 token ID 写前日志(vs 约 46MB KV cache),重放时逐 token 重采样校验,篡改日志或换模型立即暴露
- 零噪声归因:因运行间完全一致,可做 leave-one-out token 归因,输出任何变化都可归因于你的修改
作者强调这是玩具实验,非 llama.cpp/vLLM 替代品,但展示了真正确定性推理的可能性与用途。
「编程与Agent」频道最新
- xAI 上线 56 个一键即用的 Grok agent,覆盖收件箱到账单管理 — victor_explore · 2026-11-03
- 开发者的夜间副业项目：agent 实时搞定货运报关流程 — aarthir · 2026-11-03
- Matt Pococksta：舆论骂翻天的 Opus 4.7-5,我用着依然算 SOTA 够用 — mattpocockuk · 2026-11-03
- 作者盘点各 LinkedIn MCP 风险：会话驱动方式可能封号 — velvetotter8 · 2026-11-03
- Mistral Large 4 一把造出追踪 1.9 万颗卫星的实时 3D 应用 — MistralAI · 2026-11-03
- Agent 能自己改预算上限？把限制放进 prompt 等于没设 — quiet_flare · 2026-11-03