当代码全是 AI 写的:内部 PPL 还能当预训练评估金标准吗
josh_wills · x · 2026-10-22
有人提出一个前沿评估问题:预训练评估的金标准一直是内部代码库与文档上的困惑度(PPL),但在所有人代码都被 AI 大量生成的时代,这还是好的 held-out 指标吗?作者进一步猜想:前 AI 时代的代码,其最大价值可能正在转变为评估数据。
「模型」频道最新
- Corridor 发布安全模型 argos-1:Qwen 9B 微调胜过 GPT-6 与 Opus 5.5 — BraceSproul · 2026-10-22
- Recursive 的 Flint MoE 模型登陆 llama.cpp:39.8B 总参、每 token 仅激活 2.5B — jacek2023 · 2026-10-22
- $20 Claude 订阅用 Opus 5.5 比 $100 ChatGPT 套餐还耐用,用户感慨额度诚意 — rudrank · 2026-10-22
- Fireworks 实测 DeepSeek V4.1 Flash 跑出 1521 tok/s,11 秒生成完整 Tetris — nicolechirps · 2026-10-22
- Qwen3.6-35B本地模型工具调用对决GPT-5-mini:更诚实但慢20倍 — Mission-Sir-1614 · 2026-10-22
- Ingot 一周量化 Qwen 27B 到 FP8,多项基准反超阿里官方版本 — const_reborn · 2026-10-22