自研 C 语言 LLM 引擎驱动:Gemma 语音对话跑在 Jetson Orin 上

cortexist · reddit · 2026-09-08

开发者展示一套全开源的双机语音对话系统:Gemma 12B 运行在 RTX PRO 4500 Blackwell 上,Gemma E2B 运行在 Jetson Orin NX 16GB 上(作者称 Orin Nano Super 8GB 也可达类似性能)。两台设备均使用 reSpeaker Flex 4 麦克风阵列和 3W 扬声器,推理由作者自研的 Cortexist Little Gemma 引擎完成——一个专为 CUDA 设备编写的 C 语言小型 LLM 引擎。

关键亮点:在 Jetson Orin 上推理速度快于 llama.cpp,且长时间语音输入后无性能退化;流水线支持唇形同步、表情和手势驱动。全部代码开源。