为 750 Ti 重写 CUDA 运行时:2GB 显存也能本地跑 Parakeet 转写
mgostIH · x · 2026-10-02
开发者为老掉牙的 GTX 750 Ti(2GB 显存)用 agent 辅助重写了 Parakeet 的 CUDA 运行时,开源为 parakeetcuda(Apache-2.0)。项目对 NVIDIA Parakeet TDT 0.6B v3 与 Nemotron 3 说话人分离 GGUF 模型做精确推理、无近似,基于普通 FP32 CUDA kernel 与 cuBLAS:ASR 进程实测仅占 280 MiB,加说话人分离 384 MiB,速度约 20 倍实时,让低配硬件也能本地音频转写。
「Infra」频道最新
- 9 月本地模型盘点：27B 塞进 5.9GB、手机级 35B 等数十款发布 — vramkickedin · 2026-10-02
- Liquid AI 决策模型 D1 上线 OpenRouter：返回带概率的结构化答案，输入每百万 token 仅 4 美分 — maximelabonne · 2026-10-02
- 少年流片芯片、挖英伟达高管：又一位低调造芯片的年轻人 — ai · 2026-10-02
- huggingface_hub v2.1.0 发布:下载最高提速 17 倍,Jobs 支持重试与端口暴露 — huggingface · 2026-10-02
- 自托管 LLM 到底值不值？工程师征集团队真实成本账 — One_Mention_5385 · 2026-10-02
- Gemini 4 未发布先遭群嘲，TPU 算力优势被低估 — haider1 · 2026-10-02