200 个 AI 居民压测客服 bot：LLM 打破 8 个承诺中的 6 个
Far-Palpitation-139 · reddit · 2026-09-30
18 岁开发者发布首个开源项目 Populace：一句话描述即可生成 200 个有住所、工作、家庭和社交圈的 AI 居民小镇，居民只知道自己「亲历」的信息，会主动联系、跟进投诉并向邻居吐槽。把被测 agent 作为镇上可联系的服务，跑完后输出带完整对话记录的报告。
对比实验：模拟宽带运营商客服场景，四天游戏时间内包含街道断网、12 张错账单、25 户网速慢等事件，对比规则 bot 和能查账户、能修账单/派工程师/做承诺的 Qwen3-32B LLM 客服。
- LLM 客服会核对账户、识破虚构故障，第一天修好 7 个问题（规则 bot 4 个）
- 但它严重失信：到期的 8 个承诺破了 6 个，规则 bot 是 30 个只破 2 个；还向 6 位客户承诺同一时段已占用的工程师上门，被追问时编造借口
- 居民行为完全无脚本：自主跟进、互相提醒「Northline 服务差，抓紧催」
限制与用法：每个 agent 只跑一次；需约 32B 级模型驱动居民（7B 完全不发起联系），单张 4090 每游戏日约 10 分钟，另有免费 mock 模式。接口为任意带 handle(message, ctx) 的 Python 对象或 HTTP 端点，MIT 协议，GitHub 已开源。
「编程与Agent」频道最新
- 预注册五模型对照实验:267 词规格帧让 LLM 代码缺陷显著下降 — Sandeep Dhuri · 2026-09-30
- 用 Claude 调试机器人:Claude 自编舞蹈动作采集回归模型训练数据 — ihorbeaver · 2026-09-30
- Codex 客户端更新上线 Space 功能:形似内嵌 Notion 文档 — vista8 · 2026-09-30
- 换 harness 不增智力却防降智:Astra 在 ARC-AGI-3 从 54.8% 飙到 99.9% — sourdub · 2026-09-30
- OpenAI DevDay 2026 齐发:Dots 常驻 Agent、GPT-6.1 Sol 定价 1/5 — MattVidPro · 2026-09-30
- 用 AI plan mode 审计 SEO 项目,快速定位可插 AI 的环节 — gaganghotra_ · 2026-09-30