前苹果工程师与 GPT-2 长聊：模型自编背景故事被 Codex 戳穿

前苹果芯片高管 Mike Frank 用 GPT-2（2019 年发布的 15 亿参数模型）搭建了一个小型聊天应用，并在 10 月初连续多日与该模型展开长对话实验。他的整体结论是：GPT-2 并不完全连贯，时常陷入重复、需要手动重新生成最后一条回复，但其对话的投入程度超出了他的预期，能够在长对话中持续接上话。

已确认

• Mike Frank 早期（10-04）展示的自建 GPT-2 聊天应用中，模型回复基本通顺合理，但常陷入复读，需要手动重新生成。
• 后续系列实验（10-06）中，GPT-2 在长对话里「给自己幻觉出了一段背景故事」，自称既是记者也是软件工程师。
• 他随后用 Codex/Sol-6.1 追问，模型礼貌地反驳了这些幻觉出来的自我描述，他笑称这是「GPT-2 在给自己编故事」。

为什么重要

• 这是一次对早期小模型行为的爱好者向观察：一个 15 亿参数的 2019 年模型在长对话中已能表现出超预期的投入度，也会出现典型的幻觉行为（自造身份设定），为了解大模型能力演进前的基线行为提供了生动案例。

2026-10-04 ~ 2026-10-06 · 5 条相关

• 【源头】前苹果工程师自建 GPT-2 聊天应用:勉强连贯但爱复读 — MikePFrank · 2026-10-04
• 研究者与 GPT-2 连续对话：超出预期地能接上话 — MikePFrank · 2026-10-06
• GPT-2 对话实验续:模型给自己编造背景故事 — MikePFrank · 2026-10-06
• 【源头】GPT-2 自称记者兼工程师，被 Codex 婉转戳穿幻觉 — MikePFrank · 2026-10-06

另有 1 条近重复转述:MikePFrank