Hume 团队为拟人用户模拟模型从零构建安全框架
LukeW · x · 2026-11-21
Hume(humansand)发布会模拟真实人类说话的用户模拟模型时,因公开 API 上几乎没有成熟的用户模型安全实践,团队从零构建了新的安全保障框架:模型听起来像真人,也可能被用于诈骗、刷假评论、冒充他人,因此系统会结合上下文逐条检查消息,并跨会话筛查安全问题。团队成员还专门为用户模拟器建立了安全测试床。
难点在于:在标准助手模型里属于不良行为的东西(操纵、骚扰等),在模拟真实人类行为时反而是需要建模的对象,团队为此重新设计了限制框架,并承诺对误伤的正当用例及时修复。
「模型」频道最新
- 传 Claude 解决广义黎曼猜想:证明超 25 万页 Lean 已开源 — inductionheads · 2026-11-21
- Persimmon v0.1 Pro/Ultra 发布:多轮图灵测试得分翻倍至 48% — Diyi_Yang · 2026-11-21
- Matthew Berman 力荐 Gemini Neon:称其是一个出色的新模型 — MatthewBerman · 2026-11-21
- 微软推 MAI Licensed Weights:可带走前沿模型权重部署到自有环境 — marlene_zw · 2026-11-21
- Fable 额度用光被迫转 Gemini,开发者自嘲 token 富人与穷人之别 — jasondeanlee · 2026-11-21
- Matt Shumer:贵模型常更省钱,便宜模型重试成本反噬 — mattshumer_ · 2026-11-21