浏览器里跑 Whisper + 11M 参数蒸馏 BERT,离线给视频自动加字幕
Pantheon3D · reddit · 2026-11-17
一位 Blender 教程短视频作者做了一款完全在浏览器端运行的字幕工具,不用把渲染结果上传云端:
- 转写用 transformers.js 的 whisper-basetimestamped:真 GPU 走 WebGPU fp32,其余走 WASM + 解码器 q8;发现软件 WebGPU 适配器反而比 WASM 慢,所以也回落 WASM;
- 最有意思的是字幕打标器(决定哪些词加重点、在哪断行、补标点和大小写):从手写规则起步,后来换成从 2B 模型蒸馏出的约 11M 参数 BERT-mini(每 token 8 个标签、约 12MB、q8 跑 WASM);训练数据用 LFM3-Omni-2B 在 llama.cpp 里生成,4070 Ti Super 上 128 并行槽每分钟约 190 段脚本;在留出集上赢了规则才正式替换;
- whisper base 精度有限,嘈杂音频提供云端选项;打标器目前仅支持英语。
作者在找有没有人把 whisper small/turbo 在浏览器里跑到可用速度。
「应用」频道最新
- Higgsfield 推出短剧工作室:输入剧本生成整季短剧 — azed_ai · 2026-11-17
- 开发者展示 AI 剪播客片段的信息流式发现产品 — CedricMakes · 2026-11-17
- Netlify CEO 播客现场演示:自拍加一句话即生成上线页 — thisiskp_ · 2026-11-17
- HyperFrames 开官方 YouTube 频道,首期教用 Claude 复刻任意视频 — toolstelegraph · 2026-11-17
- 开源 Pascal 编辑器在浏览器里实现近原生速度的 3D 建筑设计 — anthara_ai · 2026-11-17
- 老牌共享账号站 BugMeNot 宣布关站 — lode · 2026-11-17