LLM 复活经典 Put-That-There：语音加手势在 XR 里免手放窗口
twi_mar · x · 2026-09-07
- 研究者 Riccardo Bovo 等在 arXiv 发布论文《Revisiting put-that-there》，把 Bolt 上世纪 80 年代的经典 "Put-That-There" 概念带到现代头显：用 LLM 融合语义分割的 3D 环境、实时应用元数据，以及用户的语音、指点手势和头部位移线索，输出 JSON 窗口摆放动作。
- 支持三种交互：显式命令（"把 Google Maps 放到茶几上"）、指示语加手势（"把那个放那儿"）、高层目标（"我要发条消息"），LLM 可自行推断该打开哪些应用与布局，支持一对多动作映射与目标中心推理，免去沉浸式环境中手动整理窗口。
- 该帖引用了 OpenAI 发布的 GPT-6 Astra（可在电脑上代用户执行任务的 agent），暗示这类环境感知交互方向与其相关。
「编程与Agent」频道最新
- OpenAI 内部数据：32 小时级 agent 任务成功者超八成需人工介入 — DataLearnerAI · 2026-09-07
- threepointone：UX 重深度约束，Agent 体验重在拓宽执行空间 — threepointone · 2026-09-07
- dhh 花 20 美分用 Muse Code 完美完成整站框架迁移 — alexandr_wang · 2026-09-07
- 微软开发者博客:构建真正有效的 AX 评测,标量分数常骗人 — lee_stott · 2026-09-07
- UMass AutoIndex 把分块索引交给 AI 写代码,每条假设须验证提升 — CShorten30 · 2026-09-07
- HF 员工开源 vision-intern:多角色 VLM 流水线自动标注数据集 — mervenoyann · 2026-09-07