工程师用 C 重写 Transformer 引擎，发现难点在周边系统
RelevantShape3963 · reddit · 2026-07-22
一位固件工程师用 C 从零重写 Transformer 引擎
作者是一名固件工程师，从 2022 年开始利用午休时间，用 18 个月 写出一个 约 1.5 万行 的 C 语言 transformer engine，能够跑 Gemma、Llama、GPT-2、PaliGemma。
他最大的收获是：引擎只占一半工作量。真正难的是把 tokenizer、chat template、KV cache 等周边“管线”接起来，让模型能稳定可用。
另外一个有意思的观察是：当模型 每几秒才吐一个 token 时，反而更容易看清它在做什么。这个项目后来被整理成一本“field diary”式的书，作者还开源了引擎和免费章节。
「编程与Agent」频道最新
- 用户称 OpenAI Codex 的界面体验明显优于 Claude Code — jxnlco · 2026-07-22
- 用户称 t3code 是自己用过最好的浏览器自动化工具 — tylerbruno05 · 2026-07-22
- tldraw 在 Old Street 附近新办公室办首场 hack night — max__drake · 2026-07-22
- 开源 multAIplayer Alpha 把 Codex 变成团队协作台 — jxnlco · 2026-07-22
- 一篇完整课程讲透 AI Agent 图式编排 — EXM7777 · 2026-07-22
- Training an Agent 第 2 课补充蒸馏资料、幻灯片和录屏 — SergioPaniego · 2026-07-22