Idiap 发布 DialFork：首个度量 LLM 智能体「程序性幻觉」的基准
sergbur · reddit · 2026-11-05
Idiap 研究所与 Logitech 合作发布 DialFork 基准，瞄准一种容易被忽视的智能体失效模式：程序性幻觉（procedural hallucination）——每轮对话都流利、事实正确、工具调用也没错，但智能体偏离了给定流程，比如查完天气却不说结果，反而开始请你给服务打分。
构建方式：模拟智能体执行工作流的对话（24 个任务、12 个领域），然后在选定轮次「分叉」（fork），注入使其以不同方式偏离的指令，产出超过 3.6 万条对话，每条的漂移起点和程度都已知，并由 30 名人工标注者校准的 LLM judge 验证。
三个层级的任务：
- 轮次级（Task 3）：定位漂移从哪一轮开始（支持流式），可作实时 guardrail。
- 对话级（Task 2）：度量对话偏离正确版本的距离，提出「程序性距离」这一新维度，可用于按「进展如何」而非「谈了什么」检索/聚类对话。
- 集合级（Task 1）：输出两个对话集合之间的整体程序性距离，可用于监控智能体（如模型升级后是否漂移）。
论文报告了从嵌入距离、流式检测器到零样本 LLM 的初步结果，提升空间很大。数据、代码、论文全部预测结果和人工判断全部开源，Hugging Face 上有公开排行榜，提交方法只需一份 CSV。
「编程与Agent」频道最新
- vibe coding 应用 Dokki 又出一单,花 25 美元买下排行榜首位 — prasenx · 2026-11-05
- 用 Claude 逆向 GarageBand 格式，做出能开 .band 的 Windows DAW — Sztef_213 · 2026-11-05
- 日本开发者分享幻灯片：如何整治混乱失控的 AI 编程会话 — 4310sy · 2026-11-05
- 政府软件联合创始人自述:vibe coding 产出大量 slop,规范也由 AI 写成 — alex_verem · 2026-11-05
- 欧洲用不上 Dots 和 Duet？这 6 个开源替身最高 7.2K star — femke_plantinga · 2026-11-05
- 开源 ArionTalk 在 Google Web AI 峰会演示：一个标签让网页能语音对话 — jason_mayes · 2026-11-05