hash n-gram 值嵌入助力 12×1024 GPT 刷新 30M 纪录至 3.2115
RobertTLange · x · 2026-10-27
RobertTLange 向 qlabs-eng/noise 仓库提交 Track 3（30M 数据规模）纪录 PR 并被合并：一个 12 层 × 1024 维的 GPT（总参数 613.9M，其中 402.7M 在查找表里），采用 hashed n-gram value embeddings，由 Cut-lite 配合 input-key probes 训练，seed 0 下损失达到 3.21149，比此前 Track 3 纪录 3.4095 降低 0.198。
- 训练耗时 10604.9 秒（约 2 小时 57 分），含 30 秒的 end merge，仅用一台 8×H100 节点
- 复现命令即仓库默认命令：uv run torchrun --standalone --nprocpernode=8 train/arch/run.py，无需额外 flags
- 作为对比：固定 8×512 模型上反向传播 + Adam 仅到 3.419，ANVIL II 为 3.340（同数据、单 epoch），凸显该方法的差距
「研究」频道最新
- EMNLP 论文：让 LLM 换个问法，「42」变「3」但蝴蝶仍是帝王蝶 — radamihalcea · 2026-10-27
- Datology Curation Studio 线上深潜：少于 20% 算力匹配最强基线 — josh_wills · 2026-10-27
- KANLab 开源：浏览器里可视化玩转 KAN 网络 — Lukas Niehaus · 2026-10-27
- CMU 提出 LLM2Cert：LLM 生成证书，SMT/Lean 自动验证 — CarnegieMellonU · 2026-10-27
- NVIDIA 开源 FLORA：机器人数据引擎，成本仅 GPT-6 Astra 的 1/125 — nvidia · 2026-10-27
- RSNA 2026 深度学习实验室回归:芝加哥四天八节动手 AI 课 — PRouzrokh · 2026-10-27