Pangram-4 技术报告：用 Repeat2 等技巧训练 SOTA AI 文本检测器
RexDouglass · x · 2026-07-31
Pangram-4 技术报告详细介绍了如何训练出当前最优（SOTA）的 AI 文本分类器。
- 模型骨干：基于一个未公开的“热门开源 MoE 模型”，推测规模与 Mistral Small 或 Qwen3.5-122B-A10B 相当。
- 微调策略：使用 LoRA 微调特定的注意力层和密集层，并完全训练分类头。值得注意的是，微调路由专家反而会导致性能下降。
- Repeat2 技巧：由于因果掩码模型只能看到左侧的 token，导致早期的预测缺乏上下文。为此，研究团队将输入文本复制一份（即输入 [text][text]），并只对第二份文本的预测结果进行评分，从而解决上下文缺失问题。
「研究」频道最新
- Deep20Bench用“20个问题”测试大模型，Opus 5与Kimi K3领跑逻辑推理 — wauwau0977 · 2026-07-31
- GitHub 千星新书《实践中的数据结构》:从硬件视角重塑系统开发 — tom_doerr · 2026-07-31
- 论文揭示 Deep Research 漏洞：误导信息致其得出虚假结论 — Pengyu Zhu · 2026-07-31
- 研究揭示简单图像变换即可绕过主流AI内容审核系统 — chaumian · 2026-07-31
- 中科大等提出视觉预训练新范式：仅用 1/4 Token 超越纯文本 — 量子位 · 2026-07-31
- Kimi K3 架构解析：用「主动遗忘」打造 2.8 万亿参数开源模型 — AccBalanced · 2026-07-31