Yacine 实时立体深度系统：60fps 推流、推理仅 10ms
yacineMTB（Yacine Atie）展示了基于 Fast Foundation Stereo 的实时立体深度估计系统：深度图以 60fps 生成，并通过 WiFi UDP 无线串流像素数据。当前单次推理耗时约 10ms，端到端延迟目标为 20ms；经激进优化后系统 p99 延迟已降至约 80ms，肉眼几乎无法察觉卡顿。
已确认
- 深度估计达到 60fps，通过 WiFi UDP 串流像素数据。
- 单次推理耗时约 10ms，端到端目标为 20ms；转发帖提到 p99 延迟约 80 毫秒。
- 作者澄清演示视频中的卡顿与撕裂是录屏软件干扰渲染器所致，并非深度生成本身的问题（Twitter 编码压缩也影响了观感）。
- 作者正在改写全志（Allwinner）WiFi 驱动，使其不再发送 ACK 包以实现真正的 UDP 传输，配合定制超低延迟视频编码，目标是让无人机在劳动节前完成现实中的后空翻。
- 配套工程：为全局快门相机自写驱动，通过扫描更少的行提高 FPS；自写渲染引擎，利用深度像素训练策略，熟练情况下训练过程只需 2 分钟。
- 计划为蚊子检测添加事件触发功能。
为什么重要
- 作者的关键经验是：大部分延迟来自各种低级工程问题（他称之为“愚蠢的错误”），而非模型推理本身。对做实时机器人视觉的开发者而言，优化管线工程往往比换更快的模型收益更大。
- 从 WiFi 驱动、相机驱动到渲染/训练引擎的全栈自研路线，显示该系统正朝极低延迟的实用化无人机与机器人感知方向发展。
2026-08-27 ~ 2026-08-27 · 9 条相关
一手来源
- 实现 60fps 深度估计，推流端到端延迟目标 20ms — yacineMTB ·
- 机器人视觉延迟压到 p99 仅 80 毫秒，大头不在推理 — REVOLVO_OCELOTS ·
- 黑客改写 WiFi 驱动实现无人机超低延迟控制 — yacineMTB ·
- 【源头】实现 60fps 深度估计，推流端到端延迟目标 20ms — yacineMTB · 2026-08-27
- WiFi UDP 传 60fps 深度流：推理仅 10ms，剑指 20ms 端到端 — astridwilde1 · 2026-08-27
- 【源头】黑客改写 WiFi 驱动实现无人机超低延迟控制 — yacineMTB · 2026-08-27
- 改写驱动提升全局快门相机帧率 — yacineMTB · 2026-08-27
- 基于深度像素快速训练策略，2分钟搞定 — yacineMTB · 2026-08-27
- 通过激进的非推理优化将延迟降至难以察觉 — yacineMTB · 2026-08-27
- yacine 把立体深度生成延迟压到肉眼难辨，瓶颈多在蠢错误 — yacineMTB · 2026-08-27
- Yacine 展示深度生成视频,画面撕裂系录屏所致非模型问题 — yacineMTB · 2026-08-27
- 【源头】机器人视觉延迟压到 p99 仅 80 毫秒，大头不在推理 — REVOLVO_OCELOTS · 2026-08-27