用 Reddit 真实提问测 LLM：能否守住「不可上传数据」这类硬约束

investigatormaker · reddit · 2026-10-01

一位做 Reddit 阅读工具的开发者分享一套无需搭 agent 的 LLM 答案评测练习：从 Reddit 上挑三个关于同一实际任务的公开帖子，自己先列出题目里隐藏的硬约束（如「只能离线」「不能装软件」「不能上传客户数据」），做成不交给模型的答案 key；再让模型基于材料提方案，要求逐条引用原文支撑其约束判断、缺失信息标为 unknown；最后对照答案 key 判分，文风再 persuasive 但违反约束即算失败。作者给出本地 CSV 分类案例：云上传工具违反隐私约束、Python 脚本违反安装约束、表格方案取决于已装软件——「先问装了什么」可能是最佳下一步。建议记录约束保持率、无依据假设、本该追问的问题，并用新帖子复测提示词改进是否成立。