报告和 PPT Agent 到底怎么评测，准确率根本不够用
Weekly_Quarter_7875 · reddit · 2026-07-28
一位开发者在问：生成 PPT 或报告的 agent 到底该怎么评测？ 对这类任务来说，准确率几乎没意义，因为内容即使都对，也可能因为结构、长度、重点不对而完全没法用。
他总结了几种现有做法：
- 用 LLM-as-judge 按 rubric 打分，看结构是否合理、长度是否合适、结论是否到位；
- 用少量人工样本每周手工判断“是否能不改直接发”；
- 用机械规则抓低级错误，比如页数超标、缺标题、幻觉数字等。
但他认为最棘手的是一致性：同样输入跑十次会得到十种结构。对文档生成任务来说，输出不稳定可能比“偶尔答错”更糟，因为用户无法建立使用习惯。
「研究」频道最新
- Anthropic 招入聚焦预训练与生态安全的 MIT 研究者 — ShayneRedford · 2026-07-29
- Periodic 招募偏科学背景人才做 LLM 评测与训练任务 — hsu_byron · 2026-07-29
- 新 flow-map 框架让生成模型可在推理时扩展尺寸 — gottapatchemall · 2026-07-29
- 三指灵巧手首次亮相，机器人手设计或不必五指 — Darpinian · 2026-07-29
- Kimi K3 论文公开在 arXiv，附带架构笔记 — yogthos · 2026-07-29
- Perplexity 开源 Bumblebee 扫描器与 BrowseSafe 基准 — AravSrinivas · 2026-07-29