让模型自写 Skill 再删掉,验证知识是否已在权重里
dexhorthy · x · 2026-10-26
dexhorthy 提出一个检验「某项知识是否已内化到模型权重」的替代方法:
- 用轻量引导让模型为某任务写一个详细的 skill,提示词就是你平时激活该 skill 的自然语言;
- 阅读生成的 skill 内容(主要来自权重,加上 harness 提供的少量上下文,如代码库信息);
- 如果内容看起来正确,直接删掉这个 skill——说明这些步骤已经「在权重里」。
这是针对「如何判断哪些东西模型已经学会、无需外部提示」这一问题的实践性回答。
所属事件:「让模型自写 Skill 再删除」能否验证知识已入权重引争论(2 条相关)→
「编程与Agent」频道最新
- ChatGPT 经 MCP 服务器发出第一封客户传真 — tdhopper · 2026-10-26
- 中国电信开源 Xing4.0-29B-Intent：意图识别加参数抽取一体完成 — FellMentKE · 2026-10-26
- 开发者观察：代码库塞进单一上下文窗口内，agent 表现差距显著 — julianharris · 2026-10-26
- 42分钟视频拆解 AI Agent 为何失败：多数锅不在模型 — JohnSavill · 2026-10-26
- 开源工具 Giraffe：检测 LLM 服务配置变更后负载是否照常扛得住 — ImmediateBig8479 · 2026-10-26
- iPhone 分屏即工作台：Obsidian 常驻左侧对话 agent,右侧跑 YouTube 选题 — evielync · 2026-10-26