3MB 纯 C 裸机跑通 Gemma-2B：抓到第 15 层幻觉翻转瞬间
tom_tsai28 · reddit · 2026-10-06
作者的周末实验：在裸机 x86-64 上用纯 C + AVX2 跑 Gemma-2B，无 Python/CUDA，单个二进制约 3.3MB。他在残差流上加了一个简单正交探针（probe）来观察各层在做什么。
测试题是台湾法定增值税率（正确答案 5%）：第 0–14 层保持事实方向为正，到第 15 层真值信号突然塌向负值（+0.0163 → -0.0481），第 17 层时寄存器 RAX 直接吐出 “15%” 的 token——完整捕捉到幻觉在某一层“翻转”的瞬间。
放出物：网页版逐层 trace、6 页技术白皮书 PDF、可运行的发布二进制与 GitHub 仓库（PULSAR-ASM），适合喜欢底层 ML 的读者。
「Infra」频道最新
- CME 推算力期货，BlackRock 称"算力期货是全新资产类别" — Saul_Loveman · 2026-10-06
- 澳洲开源决策模型 Matilda Jev：单卡推理仅 56.8ms，不做文本生成 — Med1_Ai · 2026-10-06
- Nvidia 拟改算力合作模式:租金担保换成云收入分成,涉 360 亿美元 — rohanpaul_ai · 2026-10-06
- N 卡太贵，网友吐槽看英特尔显卡都「眉清目秀」 — lxfater · 2026-10-06
- Agent 工作负载令 KV cache 成存储难题：读写比达 11.7 倍 — AccBalanced · 2026-10-06
- Relace AI 单日经 OpenRouter 服务 2.3T tokens,超过 OpenAI 的 1.8T — stuffyokodraws · 2026-10-06