Company Knowledge Bench:基于 1000 条真实企业查询的检索评测,7 款检索器实测
CShorten30 · x · 2026-10-03
kapa.ai 团队发布 Company Knowledge Bench,首个基于混乱、真实企业知识的检索 benchmark。
背景与做法:
- 现有公开 benchmark 要么局限于法律/医学等窄域,要么用合成文档和问题;真实企业知识混乱、自相矛盾且过时
- 团队花数月从真实用户和 agent 的 1000 条查询构建 benchmark
7 款检索器实测初步结果:
- grep 意外地能打,但慢 5 倍,且每次查询涌入约 40K token 的上下文
- 优化过的 agentic 检索器表现最好:Kapa Deep 得分 0.65,约 5 秒完成,token 用量仅八分之一
「编程与Agent」频道最新
- Addy Osmani 教你写 Claude Code Mods:会话内运行、可改行为画 UI — daniel_mac8 · 2026-10-03
- 十年程序员用 AI 全流程剪片:一周把乱素材变成完整故事 — john__allard · 2026-10-03
- 本地文本分类实操:用 Apple Create ML 给商品自动分类 — airesearch12 · 2026-10-03
- GPT-6 Astra 驱动 agent-wow,40 分钟零死亡通关魔兽新手村 — petrusenko_max · 2026-10-03
- iPhone 变身 MacBook 外挂 GPU:Qwen 27B 预填充提速最多 44% — StayLameBro · 2026-10-03
- 一张图让 Claude 造出可玩游戏，还能自动生成预告片 — justin_hart · 2026-10-03