LitPivot: Developing Well-Situated Research Ideas Through Dynamic Contextualization and Critique within the Literature Landscape
Hita Kambhamettu, Bhavana Dalvi Mishra, Andrew Head, Jonathan Bragg, Aakanksha Naik, Joseph Chee Chang, Pao Siangliulue
cs.HC, cs.AI
2026-04-03
LitPivot 把研究草稿切成问题、贡献和评估,按当前片段聚类文献并建议改写。17 人对照里,专家给的落地分从 2.59 升到 5.18,基线是对着论文提问。
研究想法要能接上前人,又得跟他们分开。想法一变,相关论文也变。文献工具梳理的是固定的一批论文,创意工具拿用户事先圈好的论文给想法打分。读完就改、改完再换文献,这个来回没人接。
Ai2 与宾夕法尼亚大学把这个来回叫做 literature-initiated pivot(文献触发的转向)。作者所在机构 4 个已完成 CS 项目的会议记录里,2 个 HCI、2 个 NLP,文献平均出现 7.5 次会议(标准差 2.65),共 21 次转向:9 次用来拉开距离,12 次用来对齐做法。5 人预研中,普通搜索只让 2 人改想法,带文献反馈的探针让 5 人全部改了。起草和核对新颖性互相抢时间。文献撞车时,人要的是顺着当前题目的具体改法,系统不要另起一题。
LitPivot 左边是编辑器,右边是文献面板。想法被切成 problem、contribution、evaluation,对应问题、贡献和评估。点中一段,论文按这一段聚类,最相关的簇打星。人选子集后,系统返回对照和一段改写。
检索用 Asta Paper Finder,Ai2 的开源科学搜索,经 Semantic Scholar 取全文,抽出局限、未来工作、贡献、动机、评估和方法,并把这些段落引用到、尚未入库的论文补进来。Sonnet-4 负责聚类,GPT-4o 负责切段和抽取,o3 负责建图、评估和改写,温度均为 0.7。慢的推理模型只放在要比较的步骤。
新不新看一张二分图。一边是选中论文的贡献,另一边是它们写明的局限或未来工作,边表示这条贡献已经处理了那个局限。新贡献只连到已处理的点,就标成增量、复现或扩展。连到还没人接的点,就标成概念上的新。问题陈述至少要对上一条可引用的既有说法。评估要看是否对准问题、是否做得成、指标够不够灵敏。改完一段,对不上的其他段会被标出,缺的核心段也会被要求补上。建议可接受或拒绝。两套检查分开,对应预研里对齐与区分两种需求。
流水线对照是 IdeaSynth。两名专家、5 个想法、15 个片段,盲评 1 到 7 分。改写建议从 3.40 到 5.27、从 3.73 到 5.73,合并高 1.93 分(dz=1.04)。评估质量合并高 1.37 分(dz=0.58),一名评审从 3.60 到 4.40,单独不显著(p=.15)。评审间 α 从 -0.33 到 0.11。
17 名计算机与信息科学研究者做顺序平衡的被试内实验,82% 是博士生,每个条件 30 分钟,发展指定的种子想法。基线是同一批约 100 篇论文上的检索增强问答,不切段,也不做自动评估。
| 指标 | LitPivot | 基线 |
| 选中的不同论文,中位数 | 7 | 3 |
| 文献理解,1–7 分 | 5.71 | 3.88 |
| 新颖性自评变化 | +2.29 | +0.47 |
| 有用性自评变化 | +0.53 | −0.76 |
| 可行性自评变化 | +0.88 | −0.35,校正后不显著 |
| 专家落地分,均值(中位数) | 5.18(5) | 2.59(2) |
| 输出有用性 | 6.24 | 4.12 |
| 对输出的信任 | 6.00 | 3.88 |
专家只评一条,想法是否用相关文献论证扎实。中位数从 2 到 5,均值差 2.59,95% 置信区间 [1.56, 3.62],dz=1.29。可行性校正后 p=.152,没有拉开。建议里 50% 原文采纳,45.6% 改后采纳,4.4% 弃用。13 人在对不上的段落之间来回改,4 人把一段评完再进入下一段。11 人从打星簇往下删,6 人后来越选越多。
另外 5 人用自己的题目再做 30 分钟。2 人检验新想法,3 人给较成熟的想法找位置,4 人表示还会再用。
增量在交互,不在新模型。Scideator 每个想法大约只取 10 篇论文,用户觉得它太常把想法判成新颖,还漏掉重要相关工作。IdeaSynth 的文献多半靠手选,文献理解上的自信没有显著提高。同一批论文上,LitPivot 对照普通的论文问答,文献理解 dz=1.42,专家落地分 dz=1.29。
半成品题目可以把「做没做过」收成一轮修改。将近一半建议改完才采纳,取舍还在人。问题、贡献、评估按 HCI 和 NLP 的实证论文来切,换领域得重做。
论文写明,评估停在 HCI 与 NLP、单人、限时。主实验用指定种子想法,为了控制项目成熟度。可行性自评没有拉开,论文把原因猜在题目不属于参加者。系统只量贴文献和跟文献区分。问题重不重要,想法有没有意思,方案做不做得到,都不测,也不跑实验。二分图把新颖性定义成盖住前人写明的缺口。换一种问法带来的新,以及不写 limitation 的论文,这张图盖不到。范式级想法往往对不上任何一条写明的局限,检查给不出新。
技术评测的 α 低到负值,两名专家对评估质量没有一致的显著偏好。落地分由论文后两位作者打,条件设盲,仍是内部评审。指南调了三轮,α 从 0.389 升到 0.804,余下分歧人工化解。约 100 篇论文事先定好,实验里不能加。开放观察只有 5 人。机制还会把想法往文献中心拉,可能挤掉还没成形的方向。一半建议被改或被拒。