用语音控制MIDI钢琴，Sonnet充当音乐编排大脑

jia_seed · x · 2026-08-31

作者开源了一个用语音控制 MIDI 设备的项目 midi-voice。通过按住麦克风说话，用户可以指挥合成器演奏或做 Loop。技术栈使用 Next.js 16、Web MIDI API、Web Speech API 本地转录，并调用 Claude Sonnet 3.5 (文中误写为4.6) 通过 Tool Use 将语音指令转化为 MIDI 指令，整个过程运行在本地，无需额外的音频服务器。项目初衷是解决合成器 Loop 操作繁琐的问题。