Liquid AI 600M 决策模型跑进浏览器，单条评论 45ms
FinancialAd1961 · reddit · 2026-10-08
开发者把 Liquid AI 新发布的 d1-omni-600M 决策模型移植到自己正在做的 WebGPU 推理库 runntime 上，纯 TypeScript 基于 TypeGPU，无 WASM、几乎无导出步骤。模型直接用核心算子（matmul、attention、norm 及少量 elementwise）写出，权重从 HF safetensors 直接加载。
演示是一个假评论流实时审核：每条评论问 4 个问题（是否 toxic、是否 spam、是否在提问、整体语气），toxic 与 spam 的被删除。性能约每条评论 4 个问题共 180ms，单问题约 45ms，作者称针对该模型调优后还会明显更快。
作者还试过让它玩贪吃蛇，结果不太行。d1 移植尚未进 npm 发布，runntime 其余部分（检测、分割、语音转文字、embedding 等）已发布，文档与在线 demo 在 docs.swmansion.com/runntime。
「Infra」频道最新
- Liquid Inference 推出多家推理商聚合的低价智能路由服务 — markjeffrey · 2026-10-08
- GitHub Copilot 可将任务交给本地模型 MAI-Code-1.1 Flash — mariorod1 · 2026-10-08
- 微软联合 Nvidia 推 Surface Spark:128GB 内存售价 6000 美元 — casper_hansen_ · 2026-10-08
- Google 发射首颗搭载 4 颗 TPU 的测试卫星,推进太空算力计划 — CurieuxExplorer · 2026-10-08
- GPU 租赁平台 Lium:出租率创新高,闲置 GPU 也有保底收益 — const_reborn · 2026-10-08
- MRVL 揭与谷歌芯片协议：推理加速器最高 1200 亿美元，TPU 旁的解码芯片成关键 — demian_ai · 2026-10-08