用 Transkun 转写钢琴 MIDI，再以 Gemini 驱动 3D 可视化
alexanderchen · x · 2026-10-31
Alexander Chen 分享了一个音乐可视化工作流：先用开源工具 Transkun 把钢琴音频转写成 MIDI，再追踪手部位置，并用 three.js 结合 Google Antigravity 里的 Gemini 完成可视化，呈现「在空间中无限下沉」的沉浸式效果，附可交互原型链接（可拖动时间轴探索）。
Transkun 是基于神经半-CRF 的钢琴自动转写系统（ISMIR 2024 / NeurIPS 2021 论文成果），支持 pip 直接安装，GitHub 上已获约 500 星。
所属事件:开发者用 Gemini 将钢琴演奏做成 3D 可漫游可视化(4 条相关)→
「编程与Agent」频道最新
- Web monitors 上线:一句话配置竞品/融资/新模型监控并推送告警 — gaganghotra_ · 2026-10-31
- 深度解析 Decision Models:Perplexity Decider 训练原理与适用场景 — antoine_chaffin · 2026-10-31
- Epic 推出 open.epic MCP,开发者 agent 可直连医疗接口文档 — DesireeCachette · 2026-10-31
- 开源项目 Open Ontologies:给 AI 知识图谱做 Terraform,0.04 秒推演 901 个隐藏后果 — anselm · 2026-10-31
- Supabase 推出 Explorer 与 Notebooks：日志和数据库统一查询 — dshukertjr · 2026-10-31
- 「2026 年做 Eval 入门」:LLM 应用、Agent、训练系统三类评测拆解 — WolframRvnwlf · 2026-10-31