多模态 LLM 调 12 种精油生成气味,盲测识别率 71% 打平调香师

AromaGen: Interactive Generation of Rich Olfactory Experiences with Multimodal Language Models

Awu Chen, Silang Wang, Yunge Wen, Jianing Yu, Zinab Eisa, Ana Julia Santos Lopes, Jas Brooks, Hiroshi Ishii, Paul Pu Liang

cs.HC, cs.AI

2026-04-02

把自然语言映射为 12 种基底气味的配比、由颈戴设备释放;盲测识别率 70.8% 与调香专家无显著差异,语言反馈再提相似度 0.56 分。

这篇在解决什么

HCI 领域想把嗅觉搬进交互系统几十年了:VR 加气味、游戏随剧情喷香、气味做健康干预。设备形态始终没变,预装香氛卡匣加设计师提前写好的释放模式,用户运行时什么也改不了。复现任意现实气味难在结构上:视觉有 RGB 三原色,嗅觉没有「原色」,从有限基底拼出任意气味无章可循。

AI 侧的嗅觉研究集中在分类:电子鼻、GC–MS 化学测量、从分子结构预测气味。生成一侧的「气味记录器」需要传感器实测或分子规格作输入,接受不了日常的自然语言描述。多模态 LLM 储备的嗅觉知识够不够把「芝士汉堡的气味」翻译成可物理实现的配方,此前没有答案。

方法

先从语言里定生成空间。 团队在 29.7 亿词的 UMBC WebBase 语料上抽出 92,120 个嗅觉相关句子、3,558 个候选描述词,Word2Vec 加 PCA 得到两个稳定维度:愉快与否、具体气味源还是抽象评价。317 个最强描述词被人工归成 12 个簇(花香、柑橘、木质、草本、香料、甜食、烘烤烟熏、发酵、腐败、化学溶剂、洁净、鲜味),调香师为每簇选代表精油,内测后 6 个通道改为 2-3 种精油的固定混合,比如烘烤烟熏通道由桦焦油、咖啡、丁香油各 33.3% 组成。体味簇因实验室卫生与安全问题被删,换成鲜味簇。

再让 LLM 出配方。 任务形式化为结构化预测:一段自然语言进,和为 1 的 12 维非负配比向量出,通常激活 2-6 种气味。零样本基线只靠系统提示词描述各基底特性。完整版加 RAG:三位研究者先逐一评赏 50 种基准气味的 AI 配方,闻实物、按 7 分制打相似度、给反馈改到满意,攒成检索库,每条记录目标、配比、评分、反馈。新请求检索最相似的 5 条作上下文,高分当正面范例,低分连反馈当反面教材,库随使用增长。用户闻完再说「别那么甜」,模型在现有向量上做增量修改,形成描述、生成、闻、改的闭环。

硬件上,颈戴 12 通道设备一次只能开一个通道,配比向量被转成 10 轮交错的 0.5 秒气味脉冲,各气味的脉冲数按配比分配。

结果

三位专家(咖啡师兼味觉研究者、行政甜品主厨、调香师)先用同样的 12 种基底独立调配全部 50 种气味,人均 3.33 小时,按 z 分数选出每种气味的最佳配方作人类基线。随后是 60 人被试间实验,每人 12 试次做三选一强制选择:闻过真实目标,从生成目标、生成干扰项、实物干扰项中挑最像的,随机水平 33.3%。

条件3-AFC 识别率反馈前相似度反馈后相似度
AromaGen(RAG+反馈)70.8%4.094.65
人类专家+反馈69.6%3.794.05
AromaGen 零样本63.7%3.77未设反馈

三个条件都显著高于随机(p<.001),两两之间无显著差异。论文自己强调这不能读成 AI 与专家等价,只说明在此范围内换 AI 配方没有降低可识别性。反馈的增益是实的:AromaGen 条件 68% 的试次给了反馈,这些试次从 3.50 涨到 4.32(+0.82);专家条件 48% 给反馈,从 3.48 涨到 4.02(+0.54)。反馈对 AI 帮助是否更大,p=.058 差一点过线。

分簇差距大:化学溶剂类 83% 最易,甜食类 45% 最难;含氟漱口水 17/17 全对,肉桂卷只有 4/14。AI 与专家的配方相去甚远(总变差距离约 40),结果殊途同归。5 人自由生成实验里,32 个被修改的目标从 2.94 升到 4.09(+1.16),无一变差。

为什么重要

预训练多模态 LLM 的嗅觉知识,配上紧凑物理基底和少量人工评赏数据,不训练专门的嗅觉模型就能到专家级配方,这是这篇给出的核心证据。价值不在打赢调香师,在把「配出可识别气味」从几小时手工调试压成一句话加几轮反馈,对按需出味的 VR、零售、叙事体验是实打实的成本差。对模型研究者,它是 LLM 跨模态知识的又一例证:纯文本训练出来的模型,接住了几乎没有训练数据的感官。相对此前语言到混合的范式,这篇属于系统级推进,不是范式跳跃。

局限与存疑

术语

原文与代码

社区讨论

相关论文

全部论文解读