100 题预测市场基准:Arise 发布 PiT 搜索,预测 Agent 击败市场共识
CShorten30 · x · 2026-09-12
AriseLabs 发布基于 Arise PiT(point-in-time)网页搜索的预测 Agent 基准:从预测市场选取 100 道已结算题目,Agent 只能用事件发生前 7 天截止的历史网络证据做研究,再与真实结果对账打分。
要点:
- 评测方法:Agent 循环执行搜索、阅读、grep/bash 处理文档,最后输出 P(YES) 概率;PiT 搜索把证据限定在截止日期前,避免用未来信息作弊。
- 结果:Astra 以 74% 准确率、0.181 Brier 分数领先,而预测市场人气选项基线准确率仅 63%。
- 示例:对「NVIDIA 数据中心营收是否超 $85B」一题,Astra 在截止日后做 19 次工具调用(8 搜索、9 阅读、2 grep)给出预测。
- 作者认为预测的核心在于扩展搜索与推理,「未来是 Agent 对 Agent」。
完整结果与端到端预测案例见其博客。
「编程与Agent」频道最新
- 用 Claude 做出弓箭对战游戏，作者和朋友 1v1 还赢了 — invocation02 · 2026-09-12
- 「staff」本义是你的随从：AI 智能体也应忠于个人而非公司 — granawkins · 2026-09-12
- 从零手搓多语言 RAG 文档助手：FastAPI+FAISS+Ollama 全栈开源 — imABDRAOUF · 2026-09-12
- Teknium 谈 Agent 设计哲学:一个 Agent 只配一个技能做一件事 — Teknium · 2026-09-12
- 极简 agent harness Pi 走红：可自扩展、四模式，对比 OMP 引发热议 — HankYeomans · 2026-09-12
- Seroter 每日阅读 #865：安全评测榜、git 替代品与端侧省 10 亿 token — rseroter · 2026-09-12