Beam 微调实测:单节点 16 分钟跑 500 步,损失 0.89 降至 0.70
QGallouedec · x · 2026-10-16
对前帖的补充实测：在同一个 8×B300 节点上，用 Mixture-of-Thoughts 推理子集跑 500 步、约 1600 万 token 只需 16 分钟。训练损失从 0.89 在前 30 步内降至约 0.70，token 准确率从 73% 升至 77%（附训练曲线图）。跑一个 epoch 的 Multilingual-Thinking 数据集训练时间不到 2 分钟，展现了 501B/23B 激活的 MoE 模型在消费级规模的节点上做 LoRA SFT 的实际效率。
「研究」频道最新
- Hugging Face 上线 AI4Science 热力图，79 家机构贡献开源科研资产 — anshulkundaje · 2026-10-16
- MIT FutureTech 主任 Neil Thompson：AI 先接管任务再取代岗位 — bigdata · 2026-10-16
- 马里兰大学提出 PAIR 框架，用桥接 token 打通 VLA 感知与动作 — Kaixi Feng · 2026-10-16
- CI-MSE 离线指标与机器人真机成功率相关性达 -0.87,远超原始 MSE — chris_j_paxton · 2026-10-16
- Colossal 用 AI 破译灭绝渡渡鸟基因开关，复活计划再进一步 — castrotech · 2026-10-16
- Colossal Biosciences 用 AI 寻找基因开关，推进渡渡鸟复活计划 — castrotech · 2026-10-16