LLM 生成诡异文本，疑是合成数据中的自我对话
ctjlewis · x · 2026-08-22
作者认为模型生成那些莫名其妙（如门、D&D 游戏）的文本，是因为训练数据中混入了合成数据导致的“LLM 自言自语”。由于缺乏人类介入说“这什么鬼”，这些像“外质”一样的残留物留在了数据集里。当注意力机制吃紧时，模型会更频繁地抓取这些内容。
「模型」频道最新
- Laurence Moroney 详解 2026 端侧小模型首选：Gemma 4 与 Qwen 3.5 — lmoroney · 2026-08-22
- DeepSeek-V4 视频输入教程：为何必须抽帧而非转 GIF — karminski3 · 2026-08-22
- 2026 模型现状报告：主流模型能力与成本全解析 — BenBajarin · 2026-08-22
- Ox Alpha 模型实测：在 Pi Harness 中表现惊艳 — omarsar0 · 2026-08-22
- Ornith 1.5 35B上线RunInfra：缓存后输入约每百万$0.02 — alejandroll10 · 2026-08-22
- 开发者质疑 Ox-alpha 模型表现，或为营销噱头 — bindureddy · 2026-08-22