Pangram 让文本重复出现两遍，靠前段注意后段实现扩散式生成

Birchlabs · x · 2026-09-08

Birchlabs 引用 chenglou 的观察指出：Pangram（文本检测公司）采用了一个有趣的技巧——把文本重复两遍，使第二份的前部可以注意（attend to）第一份的后部。这种结构让人联想到扩散模型从后向前逐步去噪的方式，评论者感叹「LLM 渴望文本扩散技术」。

这条信息揭示了行业里用自回归架构模拟扩散式文本生成的一种实际工程手段，也呼应了文本扩散路线近年重新受到关注的大趋势。