为 750 Ti 重写 CUDA 运行时:2GB 显存也能本地跑 Parakeet 转写
mgostIH · x · 2026-10-02
开发者为老掉牙的 GTX 750 Ti(2GB 显存)用 agent 辅助重写了 Parakeet 的 CUDA 运行时,开源为 parakeetcuda(Apache-2.0)。项目对 NVIDIA Parakeet TDT 0.6B v3 与 Nemotron 3 说话人分离 GGUF 模型做精确推理、无近似,基于普通 FP32 CUDA kernel 与 cuBLAS:ASR 进程实测仅占 280 MiB,加说话人分离 384 MiB,速度约 20 倍实时,让低配硬件也能本地音频转写。
「Infra」频道最新
- iPhone 上跑通 120B 模型:改 llama.cpp 从闪存流式加载 MoE 权重 — Chance-Resource-4970 · 2026-11-16
- tandem.cpp v0.3.0 让装不进显存的大模型预填充快 2-6 倍 — smflx · 2026-11-16
- 远程 VM 上跑 coding agent 成本几何?开发者征集真实账单 — radim11 · 2026-11-16
- Datadog 新网关在模型预算耗尽时返回 402,暴露 agent 预算上限设计难题 — YvesMulkers · 2026-11-16
- 4090 跑 Minimax H3 最高画质怎么配?社区实测 int8 量化方案 — newaccount47 · 2026-11-16
- 16GB MacBook Air 本地视频换装提速 6.5 倍:从 15.7 分钟到 2.4 分钟 — might_thinker · 2026-11-16