仅调 0.001% 权重让 Gemma 3 270M 排序正确率从 1% 升至 97%
dejanseo · x · 2026-11-02
dejanseo 复现了 NeurIPS 2025 论文《Quantifying Elicitation of Latent Capabilities in Language Models》的方法，在 Google 最小的 Gemma 3 270M 上验证「少量权重微调即可唤醒模型隐藏技能」：
- 原论文（Anthropic、UC Berkeley、Thinking Machines、Scale AI 等机构）在 Llama 3 与 Qwen 2.5（1B–8B）十个任务上发现：仅训练 10–100 个随机挑选的权重，就能补齐原模型与全量微调模型之间最多 50% 的差距；数千到上万个权重可恢复 95%。
- 作者在 Gemma 3 270M 上实测：20 条提示词里最好的一条，让模型给 5 个数字排序的正确率仅 1%；训练 1,000 个权重（占 1 亿参数的 0.001%）后正确率达 97%。
- 同一方法还能激活词表反转（84%）、干净 JSON 输出（仅 30 个权重达 99%），并提升长加法能力；但乘法始终卡在 30% 左右，即使训练 10 万个权重。
- 论文还发现：模型已有雏形的技能只需数量级更少的权重即可激发，所需权重数可衡量技能的「潜在程度」。
「模型」频道最新
- SemiAnalysis 发布 GDPx 基准：最强模型 Claude Opus 5.5 仅得 12% — zephyr_z9 · 2026-11-02
- Asianometry 深度解析：智谱 AI 与 GLM 如何成为中国企业级 AI 冠军 — wren6991 · 2026-11-02
- 博主实测：Opus 5.5 设计能力远超 astra，堪比天才设计师 — tengyanAI · 2026-11-02
- Investment Arena 实盘赛:72 个 AI 交易员五天淘汰至 9 个,Grok 4.7 +3.9% 夺冠 — my_cat_can_code · 2026-11-02
- 重度用户数小时即触顶：AI 订阅限额引发真实需求之争 — RachelVT42 · 2026-11-02
- 飞美国办卡开 Claude 大会员：花 3 万拿 40 倍 API 额度的套利攻略 — teortaxesTex · 2026-11-02