LLM 编写底层算子实践：解锁复杂优化，但验证成新瓶颈

mike64_t · x · 2026-08-05

作者指出，当前 LLM 在编写底层算子方面已极为强大，这为训练层面的优化（如 Buffer 重命名、环形缓冲区构造、图拓扑与张量生命周期交互及分片策略）解锁了更广阔的搜索空间。LLM 甚至能自主发现这些优化策略，关键在于尽可能以浅层抽象向模型暴露硬件能力。

然而，验证正成为真正的瓶颈。作者强调，由于训练代码缺乏按位确定性，容错成本日益增高。因此目前不应将 LLM 视为完全自主的代理，而应作为随时可能犯错的智能助手，需要人工持续审查其底层逻辑（如质问其加深环形缓冲区的原因）。