GPU 开发者称需打造轻量可解释性推理引擎,称移植数值差异难解
brandon_xyzw · x · 2026-10-19
brandonxyzw 回应 Sauers 关于「是否需要一个更可靠、更可预测的编译器」的讨论,表示这正是他的结论之一,但做通用推理引擎/编译器并非易事。他决定为自己正在做的事构建一个轻量的、面向可解释性的推理引擎,并坦言这无法解决跨框架移植时出现的细微数值变化问题。他还透露自己很少用 PyTorch 等正统 ML 框架,主要工作集中在 GPU 编程模型本身。
「Infra」频道最新
- AI Toolkit 新增 Qwen 3.8 27B LoRA 训练:5090 上 70-80 tok/s 自动打标仅用 20GB 显存 — ostrisai · 2026-10-19
- RTX 5080 笔记本实测 Qwen 27B:预填 441 tok/s 但解码仅 9.1 tok/s — draginol · 2026-10-19
- vLLM 官宣提速约 2 倍:agent 自动生成融合模型定义改写推理优化 — mohbibi_ · 2026-10-19
- 微软被曝退回 Nscale 约 10% GPU 合约,算力过剩信号显现 — abhiadesai · 2026-10-19
- 光子芯片瓶颈难解:4 英寸晶圆仅能出一颗光引擎 — jwt0625 · 2026-10-19
- Bindu Reddy:NeoClouds 锁定低价长约,或比破产更明智 — bindureddy · 2026-10-19