训练怪现象:语料倒序排列 loss 反而更高

kalomaze · x · 2026-10-25

kalomaze 分享一张训练日志截图:某模型(Astra)最新 crop 验证 loss 为 1.4730(27.51M tokens),但若把语料按时间倒序排列,loss 会从 1.5124 恶化到 1.5803,暗示该模型对数据时序顺序异常敏感。

原文链接 →

「Fun」频道最新

• Teknium 晒图：醒来 Hermes 已自动干活，Claude 还在通宵跑任务 — Teknium · 2026-10-25
• 博主调侃：想打鸡血就去看 Kurzweil 的过度乐观预言 — burny_tech · 2026-10-25
• 模拟视频展示人类细胞内部运作，视觉效果惊艳 — CurieuxExplorer · 2026-10-25
• 新版 ChatGPT instant 太爱「抬杠」,问天气也要先泼冷水 — gregmushen · 2026-10-25
• AI 重制《海豚 Ecco》:复古游戏变电影级画面 — demondisc · 2026-10-25
• 从 DP 到 AFD：一张帖看尽分布式训练缩写内卷 — cHHillee · 2026-10-25

更多「Fun」频道 AI 资讯 →