所有模型都将纯噪点表格“一本正经”地胡说
No-Plant-5234 · reddit · 2026-09-02
Schema Labs 工程师测试发现，当向多个模型询问由 rand() 生成的纯随机浮动数表格（20 列 5000 行）的含义时，所有模型都给出了自信且合理的解释（如传感器读数、客户流失数据），尽管数据全无意义。
发现：
- 模型会“完成”描述的任务，无论数据是否有信号。
- 要求置信度得分：模型会编造高分。
- 双模型校验：它们会相互附和。
- 要求“不知道”时：模型只对明显乱码说不知道，对“看起来合理”的噪点依然乱编。
挑战：在流水线中，模型对“无意义数据”和“真实数据”的描述在语气和置信度上完全一致，缺乏区分信号。作者寻求判断模型是否真正“识别”表格而非仅“生成描述”的方法。
所属事件:测试发现 LLM 会自信解读纯噪声数据(2 条相关)→
「研究」频道最新
- Smarter Every Day 博主 Destin 将答辩冲击聚变博士论文 — CatAstro_Piyush · 2026-10-18
- 脑植入物让失语者重新开口，Science 长文综述语音 BCI 产业进展 — EricMTrautmann · 2026-10-18
- 曼彻斯特大学发布 LLM 生成代码形式化验证演讲幻灯片 — CatAstro_Piyush · 2026-10-18
- 数学预印本新仓库 Hexagon 上线，收录 arXiv 不收的研究成果 — tak3sh8 · 2026-10-18
- Periodic 创始人 CoLM 演讲：自训模型终将跨越前沿模型拐点 — heghbalz · 2026-10-18
- PNAS 论文:生物突触可自组装出逼近梯度下降的学习规则 — xuanalogue · 2026-10-18