学校题库 AI 生成管线实测：约 80% 选择题通过全部校验，理科仍是短板
SnooOpinions9858 · reddit · 2026-10-12
一位开发者为高中学校平台搭建「从本校历年真题生成新题」的题库功能，已跑通原型并征求建议：
- 管线：试卷与评分标准 PDF 交给 LLM 按小题拆分并打上课程目标标签；小模型写新题，另一个模型盲答作交叉校验；选择题答案由代码对照评分标准核验，不信任模型。
- 结果：约 80% 的选择题通过全部检查；结构化/实操题较弱——小模型会在实验设置上编造错误化学细节，换中等规模模型基本解决。
- 求建议的四点：PDF 提取（科学记号/表格被打乱，docling、marker 等是否更准）；目标标签精确检索下是否值得引入 pgvector；batch API 与小模型在千题规模时的质量衰减经验；除人工审校外如何评估 AI 生成试题质量。
- 技术栈：NestJS + Postgres（按租户分 schema），自托管 VPS，试卷留在本地，仅课程文本和题目草稿发给模型。作者同时开放付费咨询。
「编程与Agent」频道最新
- Decisions API 正式 GA,agent 反馈循环全自动剪辑云视频 — dkundel · 2026-10-23
- 50+ 免费 AI Agent 学习资源合集：视频与仓库一站打包 — ifioknkem · 2026-10-23
- 自封「全网最佳」的免费 AI Agent 资源库引围观 — ifioknkem · 2026-10-23
- Vercel 推出免注册部署：拖拽文件到首页即得线上 URL — steren · 2026-10-23
- 5 个 Claude Code 会话经 MCP 互发邮件，组队攻破多品牌网络摄像头 — doodlestein · 2026-10-23
- Vercel 上线 vercel deploy --temporary,可临时部署后自动清理 — cramforce · 2026-10-23