中学生为自研推理引擎手写 Metal RMSNorm 内核,运行 DeepSeek 蒸馏模型
dosco · x · 2026-10-26
一位中学生发布了自研推理引擎 Artisan(GitHub),用 Metal 手写了 RMSnorm 内核,用于在 Apple Silicon 上运行 DeepSeek-R1-Distill-Qwen-1.5B,目前仍在做 benchmark 和优化。
dosco 感叹:连车都不能合法开的中学生已经在写裸机推理内核了,「算力正在渗透到年轻一代」。
「Infra」频道最新
- vLLM 生产栈跑 K8s 没问题,但 agent 沙箱 Modal 用另一套扩展到百万并发 — NielsRogge · 2026-10-26
- 曝 Anthropic 拟以逾10%高息发90亿美元次级债,押注1.5GW TPU租赁 — Beth_Kindig · 2026-10-26
- 花21美元 API 让 DeepSeek 写引擎:Mac 上跑出 300+ tok/s,快过 mlx-lm — GabGarrett · 2026-10-26
- Hugging Face 工程师主张「90% token 用本地开源模型,10% 留给前沿模型」 — TheZachMueller · 2026-10-26
- 马斯克:SpaceX 完成 400 亿美元 GPU 债务融资,200+ neocloud 将迎洗牌 — XFreeze · 2026-10-26
- Strata 移植 Jetson AGX Orin 64GB:Qwen3.6-35B 解码提速至约 41 tok/s — No-Setting8461 · 2026-10-26