金融验证引擎基准测试：确定性部分满分，LLM 接口仅通过 29%
MuhammadMujtaba21 · reddit · 2026-08-21
作者构建了一个用于 AI 生成金融声明的确定性验证引擎，并进行了 66 个案例的基准测试。当引擎接收预定义的结构化声明时，准确率达到 100%（66/66）；但当使用 Azure OpenAI GPT-5.1 实时生成声明并通过同一管道时，通过率骤降至 29%（19/66）。失败主要发生在声明绑定和管道执行阶段，而非确定性计算或规则应用部分。这表明验证架构本身有效，但 LLM 将输出转换为正式系统所需结构化声明的能力仍不足。作者计划增加更细粒度的诊断来对比预期声明、原始输出和标准化声明。
所属事件:金融验证引擎基准：结构化输入满分 LLM 直连仅 29%(2 条相关)→
「研究」频道最新
- WEDGE 论文：把导航失败经历变成可学习的训练环境 — _akhaliq · 2026-10-16
- RExBench 基准:最强编码 Agent 自主完成研究扩展成功率仅 33% — najoungkim · 2026-10-16
- Google 发布 CLASHarness:基准测试多智能体冲突下的计算机操作能力 — google · 2026-10-16
- 清华团队证明:普通 Flow Matching 采样无法突破固定深度模型表达力上限 — SQZ · 2026-10-16
- APEX-Harm 基准:共享工作区中脚本注入攻击对智能体成功率居高不下 — KAUST · 2026-10-16
- USC 研究:智能体 residual stream 状态可预测并拦截越权动作与事后撒谎 — USC · 2026-10-16