给 4 岁孩子自动生成睡前故事,如何兜住内容安全?

Miserable-Shock3552 · reddit · 2026-10-24

一位独立开发者正在做一款 iOS 应用:为 3-9 岁孩子每晚自动生成并朗读连载睡前故事,孩子已在床上、没有人工审核环节,模型输出什么孩子就听到什么。他目前的方案:

难点是「隐性不合适」:不是脏词,而是角色走丢了没找回来、家长角色「离开了」这类对成人无感、对 4 岁孩子晚上 8 点很糟糕的情节。帖主向同行抛出三个问题:信任分类器还是把生成约束到风险基本消失?如何为「情绪上不对劲」而非「不安全」构建 eval 集?当检查失败又来不及重新生成时,fallback 怎么做?对任何要把 LLM 输出直接送达儿童等敏感受众的开发者都有参考价值。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →