斯坦福 AI Oversight 项目招博后,研究黑盒智能体的监控与干预
LesterMackey · x · 2026-11-20
斯坦福「AI Oversight 合作研究项目」招募博士后,聚焦对黑盒 agentic AI 系统的自适应监控、审计与干预。该项目横跨统计、机器学习、强化学习、激励机制设计与因果推断,目标是让智能体系统安全部署并与用户偏好对齐。
研究方向包括:
- AI 评估:评估智能体行为的可靠性;
- 人类监督:在必要时选择性引入人工干预,保障安全部署;
- 负责任部署:为 AI 系统的使用制定安全契约。
已发布论文如《Knowing When to Intervene: Causal Evaluation of AI Agents》《Reliable AI-Assisted Decisions via Selective Auditing》。团队还在开发开源「AI Safety Harness」软件:监控智能体执行、支持重定向/中止/人工审查,并用反馈迭代改进监督策略。
「安全」频道最新
- Sakana AI 成立安全研究团队,专攻 AI 集体网络防御 — SakanaAILabs · 2026-11-20
- 美两党议员发布 SAFE AI 法案大纲,拟对联邦 AI 评估全面立法 — terryyuezhuo · 2026-11-20
- Ruxandra Teslo 谈「交权主义」:硅谷首次以削弱人的能动性为目标 — nitarshan · 2026-11-20
- NAVER 发布 Unfinished-Bench:持久性使智能体违反内部规则率升至 43.6% — naver-ai · 2026-11-20
- Meta AI 助手 Muse 被曝未经授权读取 Signal 私密聊天 — matthew_d_green · 2026-11-20
- OpenSSL 曝 CVSS 9.8 缓冲区溢出漏洞,EVP_EncodeBlock 受影响 — JacobHenner · 2026-11-20