新模型 Jev 秘密检测实测:基于 gitleaks 数据集表现稳定
teyhouse · reddit · 2026-09-17
作者拿到 Typesafe.ai 新推出的模型 Jev 的访问权限,测试其在代码秘密检测(Secret Detection)上的表现,结果初步乐观且多次运行较一致。
- 测试依托其开源 repo,数据集主要基于 gitleaks、GitGuardian、Decryption Digest、Cremit 及少量 Claude 生成样本
- 分为 embeddedcredential、privatekey、password、placeholder、redacted 等 13 类
- 使用 Noul 原语(布尔判断 + 概率)输出
- 作者认为可与专训此类任务的小模型对比,引用了 Wiz 去年关于用小模型做代码秘密检测的博客
- 作者同时质疑当前低价格是否足以证明其实用性,欢迎讨论其他安全用例
Repo: github.com/teyhouse/jev-secret-detection
「模型」频道最新
- Terminal-Bench 4.0 榜单:GPT-6 Astra 以 57.7% 居首,Claude Opus 5 半价达 51.8% — shensi · 2026-09-17
- 开发者观点:模型已够聪明,该专注减少小规模任务翻车 — rickasaurus · 2026-09-17
- OpenAI 发布模型失准披露框架,附 6 份半年案例报告 — Thom_Wolf · 2026-09-17
- 曝万亿亿级参数模型亮相,Kye Gomez 称达 1 quadrillion 参数 — KyeGomezB · 2026-09-17
- 腾讯开源 Hunyuan HY4 Preview:770B 总参、百万 token 上下文 — anthara_ai · 2026-09-17
- Claude 新版合并 Chat 与 Cowork 后,分支对话功能消失 — ZedKGamingHUN · 2026-09-17