Gricea: An Open Science Platform for Conversational AI Research
Nikhil Sharma, Yunlin Gong, Xinyang Cheng, Ziang Xiao
cs.HC, cs.AI
2026-09-19
约翰霍普金斯的Gricea用Study Flow和Task Flow把对话实验做成可部署工件。CUI 2026合格论文里93%能复现配置,96%仍缺材料;10名研究者都能独立做出可运行实验。
对话式 AI 的对照实验要同时管流程、界面、模型设定、检索上下文和数据采集。这些东西通常散落在问卷工具、自制前端、Prompt 文件和临时脚本里。论文写清了假设,下一家想复现时,被试到底看到了哪套界面、Agent 用了哪条系统提示,常常对不上。商业聊天产品还在改模型和行为,同一句 Prompt 明年已经不是同一个条件。
Gricea 的立场是:研究设计本身就该是一份可运行、可检查、可分叉的工件,而不是论文附录里的一段描述。
先做了一轮形成性分析。用对话、Agent、用户研究等关键词收了 100 篇候选,筛出 57 篇真正以被试面对的对话系统为中心、且写了设计细节的论文。编码后收成六个互相咬合的维度:界面条件、Agent 条件、上下文与接地、任务与模态、领域与人群、实验流程。平台的五条设计要求从这里来:条件要显式、流程和任务要分开又连得上、降低工程门槛、工件可检查可复用、任务类型可扩展。
运行时是两张有向图。Study Flow 管被试怎么走:知情同意、前测、分组、任务入口、后测、分支和随机化。Task Flow 嵌在任务节点里,管这一段交互:模型调用、检索注入、语音、循环、界面更新。变量把分组结果接到任务配置上,改的和保持不变的都留在同一份定义里。研究者在无代码节点画布上编这两张图,预览被试视角,发布时把图、Prompt、材料和绑定锁成不可变的 Study Version。运行时按这个版本执行,后续修改只能开新草稿,不会改已经发出去的条件。
被试侧支持聊天、搜索、语音、人机编程、标注、图像生成和分屏。埋点按配置记录时间戳、点击、焦点、滚动、输入时序,可选语音、脱敏回放、眼动。社区层可以分享整份研究、节点模板、RAG 文档集和去标识数据。
复现实验看的是没有进形成性语料的 CUI 2026 全文。37 篇里 29 篇报告了被试面对的人类实验。27/29 的流程、界面或对话任务能在 Gricea 里做成可执行配置,完整 10 篇、部分 17 篇,对应摘要里的 93%。剩下 2 篇卡在访谈和问卷材料拿不到。28/29、也就是 96% 存在报告缺口:21 篇缺问卷或访谈措辞,15 篇缺完整 Agent Prompt 或接地规则,11 篇缺刺激材料。14 篇依赖机器人、可穿戴、声纹克隆或现场协调,这些被标成外部依赖,只做部分复现。
可用性实验招了 10 人,博士 4、硕士 2、业界 2、教授 1、本科 1,男女各 5,年龄中位 25–34。会期 90 分钟,报酬 30 美元。先带做一道固定题(AI 立场如何影响信任),再独立把本人的研究问题做成可运行研究。10 道开放题都做成了,覆盖工具调用依赖、搜索偶然性、主动/被动编程 Agent、AI 披露惩罚、机械设计人设、有主持人的双语音辩论、事实核查、模型档次与数字鸿沟。
| 指标 | 均值 | 标准误 |
| 向同事推荐 | 6.8 | 0.13 |
| 总体易用 | 6.1 | 0.31 |
| 他人能复现的信心 | 5.9 | 0.37 |
| 能表达预想设计 | 5.5 | 0.40 |
P8 估计能省「至少 3 到 6 个月」和约 2.5 万美元。P9 说自己不会写代码,以前觉得这类实验只能付钱请人搭。摩擦集中在变量和分支,以及从 Study Flow 进到更细的 Task Flow;有人点名学习曲线高,也有人要一个能从研究问题生成初始模板的 AI 助手。
做对话实验的人,缺的往往不是又一个聊天 UI,而是一份把流程和任务绑在一起、发布后还能打开看的记录。Gricea 把「可复现」从写进论文变成跑得起来的版本。CUI 数字说明同行评议过的文章仍然大量缺 Prompt 和问卷原文,光靠方法节不够。无代码画布对不会搭系统的研究者是真门槛下降,对已经会写代码的人,价值在版本冻结和分叉,不在省掉所有工程。
作者样本只有 10 人,不能代表整个人机交互和社科共同体。复现只覆盖 CUI 2026,参与式工作坊、真实设备上的情境观察、具身机器人的物理行为都不在重建范围内。平台能表达的设计空间比这次评测用到的更宽,没测到的组合还很多。推荐分数 6.8 来自刚做完教程的现场问卷,带有新工具光环。P8 的时间和金钱估计是自评,不是对照实验。分支和变量的学习成本写进了结果,早期还没有明确研究问题的人,会被「最好先有 RQ」挡在门外。