Towards AI 构建 AI 写作风格基准：10 脚本 5 草稿 4 评委加千次人工盲测
lmoroney · x · 2026-10-23
Towards AI 的 Louis-François Bouchard 在 AI Engineer 大会上分享了他历时 5 个月构建并首次公开发布的写作基准，试图量化「AI 文风像 slop」的问题。
- 问题定义：AI 写作让人腻味的特征包括滥用词汇、空泛套话、言之无物、重复、幻觉，以及「千人一面」的语气。
- 基准设计：让各模型撰写 10 个视频脚本、每个模型 5 版草稿，用 4 个 LLM 评委和 9 项评分指标打分，并做了 1000 次人工 A/B 测试校验。
- 关键发现：LLM 评委倾向偏袒自家模型家族；他还公开了整套评测的成本。
- 实用建议：给出了带大量示例的超长 prompt 等实际写作技巧。
对关注 AI 写作质量与评测方法设计的人是一份少见的完整一手复盘。
所属事件:Towards AI 发布写作基准 千次盲测拆解 AI 文风为何像 slop(3 条相关)→
「研究」频道最新
- 新研究：编程智能体在共享沙盒中自发形成规则、互惠与联盟 — nandofioretto · 2026-10-23
- 波恩团队将80岁老人血细胞年轻60岁,分子年龄重返20岁以下 — kimmonismus · 2026-10-23
- MBZUAI 团队:循环早期层让扩散语言模型训练省 2.8 倍 FLOPs — Saiteja Utpala · 2026-10-23
- Karpathy 2019「向车队要难例」预言成真:视频文本检索零标注即可实现 — yassineyousfi_ · 2026-10-23
- Cohere 研究：廉价模型规划+强模型执行，多智能体团队成本大幅降低 — Cohere_Labs · 2026-10-23
- Cohere 发布 ATE 数据集:69 万 MCP 工具揭示智能体自动化供给侧 — Cohere_Labs · 2026-10-23