Hugging Face 发布 atif-scan 0.8.16,扫描 agent 轨迹中的 reward hacking
yb2698 · x · 2026-11-04
Hugging Face 的 atif-scan 发布 0.8.16 版本,用于检查 benchmark 轨迹中的 reward hacking、时间偏移、awareness 等问题。
- 改进 MCP Server 用于轨迹分析,并增强对 Kimi Code 与 tb4 任务/allowance 的检查与处理。
- 工具以插件式检测器与简单规则分析 ATIF agent 轨迹,分析核心为离线、纯标准库 Python;CLI 额外依赖 huggingfacehub(仅用于 Hub 输入)与 rich。
- 不会执行轨迹中的任何内容,除非传入 --image-model 否则不调用模型。
- 可扫描本地目录,或从 Hugging Face buckets / Harbor 下载并缓存;可读取 Datacurve 公开 DeepSWE 试验的镜像及其 trial index。
- 设计上把发现视为待复核候选而非定论,严重级别代表复核优先级而非作弊概率;未知证据不会被当作干净结果。
「编程与Agent」频道最新
- 重度用户年耗 120 亿 token,排查发现 96% 竟是缓存读取 — peakpirate007 · 2026-11-04
- Alexey Grigorev 免费开放 28 个 prompt:从想法到上线全流程 — Al_Grigor · 2026-11-04
- 印度语混合语音转写没有唯一正解:LLM、CRM、合规各要一种格式 — BEYOND__7 · 2026-11-04
- 开源 Hugging Face Hub MCP Server:让 agent 直接检索模型与数据集元数据 — modelcontextprotocol · 2026-11-04
- 2,000+ MCP 服务器目录上线:awesome-mcp.tools 变成可搜索的 MCP 工具 — modelcontextprotocol · 2026-11-04
- 博主开源 macOS 开发 Skill:npx 一条命令一句话生成 Mac App — vista8 · 2026-11-04