EMNLP 两篇论文:用户知识水平会改变 LLM 评测排名
IanArawjo · x · 2026-10-25
研究者 yoonjoole2 将在 EMNLP 2026 展示两篇关于 LLM 用户模拟的论文:
- KnowSim:一个用户模拟器,能在多轮对话中追踪并更新"用户已知什么",用于评估 AI 回答是否与用户知识水平校准。作者指出 AI 助手可以给出正确全面的信息,却仍对用户校准不佳——对新手太难、对专家冗余。跨 9 个 LLM 的实验显示,模型排名会随用户知识水平变化。
- User Role Vector:通过内部表征与 activation steering 研究 LLM 用户模拟器中的助手偏见。
作者同时在找工作,方向为用户模拟、交互式 AI 评估与 agentic 系统监督。
「研究」频道最新
- EMNLP 2026 展出 KnowSim:模拟不同知识水平用户的信息搜寻行为 — tianshi_li · 2026-10-26
- dair-ai 周选论文：对象导向 Agent Harness、Agent 缓存工程等上榜 — dair_ai · 2026-10-26
- CMU EMNLP 论文：检索偏置会诱导 RAG 选中高频但错误的近似答案 — pratyushmaini · 2026-10-26
- OpenAI 曝光 GPT-7 训练细节：打造缓存网页「离线世界」供前沿 RL 使用 — daniel_mac8 · 2026-10-26
- EMNLP 论文:技术文档漂移一年,FreshStack 检索基准依然可靠 — mrdrozdov · 2026-10-26
- EMNLP 论文提出 CAP 指标:8 类语义正确性评估开放式 QA — preslav_nakov · 2026-10-26