开源 neuroformatting v0.2.10:在副作用触发前拦截幻觉工具调用与 [PLACEHOLDER] 泄漏
demirtasfurkan_ · reddit · 2026-11-22
JSON Schema 校验返回 200 OK 并不代表安全。开发者 demirtasfurkan 在 neuroformatting v0.2.10 中扩充到 14 个语义测试用例,并新增一个最小的副作用守卫示例(examples/sideeffectguarddemo.py),在触发外部动作或路由前检查 payload 与风险/接地状态,拦截两类常见失败:
- 跨字段/路由矛盾被静默忽略(如 escalated: true 配 tier: "basic")
- 未填充的占位符、坏的联系字段、幻觉出的动作/工具调用,或外发消息中残留 [PLACEHOLDER]/TBD 文本
仓库:furkandemirtass/neuroformatting。作者同时抛出问题:guardrail 应放在流式过程中、工具副作用调用前,还是部署前的 CI/eval 检查?
「编程与Agent」频道最新
- 用户误用 Astra-6.2 遭骂偷懒,争议焦点竟是没开 goal 模式 — alexisgallagher · 2026-11-22
- David Hoang 预测:2026 假期大家都在折腾本地模型 — davidhoang · 2026-11-22
- 开发者开源 Wiretok:本地只读监控 Antigravity 压缩余量与 API 花费 — phosphorhouse · 2026-11-22
- 微软 Copilot EVP:AI 写码时代,工程师「从没像现在这样费脑」 — petergyang · 2026-11-22
- AI 原生化三段论:从缺人才到缺电脑,卡在哪级看故障 — jacob_posel · 2026-11-22
- 数据表元数据没人读:dbt 成唯一原生方案,云巨头仍是空白 — teodorio · 2026-11-22