用LLM做评审靠谱吗：8个月实战经验与踩坑
larabyeol · reddit · 2026-07-07
一个每周处理约5万条LLM输出的团队分享8个月用GPT-4o做自动评审的实战经验：它在捕捉明显回归、格式错误、幻觉实体上表现不错且够快；但跨次一致性差（未锁定prompt和模型版本时，同一输出两周内评分分歧超30%）、存在位置偏差（A/B对比时偏好排前者），且对自家模型输出打分更宽松。建议锁定评审prompt与模型版本、交换位置跑两次等来缓解。
「研究」频道最新
- AlphaFold 背后是五十年实验数据，纯第一性原理仿真仍需实验 — vishalmisra · 2026-10-26
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
- 研究者发现「Forking」现象：训练损失下降验证损失反升 — ZimingLiu11 · 2026-10-26
- DeepMind 试点全球首个双盲 AI 评测，密码学隔离防基准污染 — scychan_brains · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26
- FLASH 仿真框架：单卡 RTX 5090 上分钟级学会布料折叠 — ChongZzZhang · 2026-10-26