单节点跑通 Inkling Small：500ms 内实现原生语音交互
andimarafioti · x · 2026-07-31
开发者实测了 Thinking Machines 刚发布的 Inkling Small 模型。该模型仅需单节点（8x RTX Pro 6000 Blackwell）即可部署，而旗舰版则需要 2TB 显存。
测试中将其接入 Hugging Face 的语音到语音工作流，模型直接接收原始音频输入（而非转写文本），并使用 faster-Qwen3TTS 输出语音回复，端到端延迟低于 500ms。由于模型能直接“听懂”音频，它可以捕捉用户的语气和情绪，展现出极强的实时多模态交互潜力。
「Infra」频道最新
- 中国AI基建热潮推动国产芯片公司利润暴增，MetaX实现盈利 — pstAsiatech · 2026-10-16
- Qdrant 实测 Perplexity 视觉文档嵌入:1-bit 压缩后体积仅 1/21 — jrxna · 2026-10-16
- Agent 何时需要 API 网关：Reddit 热议直连与统一接口的分界线 — TurbulentStiffness · 2026-10-16
- 台湾拟在德州投40亿美元建AI制造园区，服务英伟达与台积电 — Polymarket · 2026-10-16
- KV 缓存远程读取竟比重算还慢:GLM-5.3 生产系统案例复盘 — MultiverseComputingCAI · 2026-10-16
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16