硬核极客用 SystemVerilog 跑通 SmolLM-135M 全推理流程
cneuralnetwork · x · 2026-11-08
开发者 @cneuralnetwork 将 SmolLM-135M 的完整推理路径——tokenizer、30 层 decoder、KV cache、词表投影与文本解码——全部用 SystemVerilog 实现，在 Verilator 仿真器中跑通文本生成，输出与 PyTorch 参考实现一致（如 "The capital of France is" → " Paris"）。
关键细节：
- 单文件 smollm.sv 通过 $readmemh 读取查找表，直接解析 538MB 的 model.safetensors checkpoint（576 维隐状态、30 层、9 个 query 头），将 F32 权重解码为 Verilog real 值并运行 transformer
- Node.js 仅负责启动可执行文件与转发进度的 Prompt Studio 面板，不做分词与选 token
- 作者明确边界：这是 Verilator 中的行为级 SystemVerilog，使用了实数、字符串与文件 I/O，并非可综合的 FPGA/ASIC 逻辑，实验目标是验证整条模型路径能否用 SystemVerilog 表达并执行
「Fun」频道最新
- Robert Miles：别给网站塞官方 AI 客服，我想要我自己的 AI 助手 — AaronBergman18 · 2026-11-08
- 外甥用 Scratch 做游戏翻车,程序员 uncle 一招排查还原现场 — kingslyj · 2026-11-08
- 2030 年职场预言：烧尽已被无聊取代，绩效变成人生之问 — YogeshMalik · 2026-11-08
- 开发者自研渲染+WebAudio 引擎，模拟小世界按状态实时生成音效 — sull · 2026-11-08
- 曝印第安纳Bloomington市议会全票禁止市内存在递归自我改进AI（未证实） — tragictacos · 2026-11-08
- Claude 问答意外爆料：Karpathy 已于 2026 年 5 月加入 Anthropic 预训练团队 — ChrisGPT · 2026-11-08