TensorLib 用纯 C 实现深度学习库,在 CPU 上训练小语言模型
Intelligent_Nose_791 · reddit · 2026-07-28
作者从零用 C 语言 做了一个深度学习库 TensorLib,目标是完全不依赖现成 ML 框架,在 CPU 上训练模型。
- 这个库包含张量操作、Autograd、神经网络模块、SGD 和 AdamW 优化器,以及带有 layer norm、MHA、FFN 的 decoder 结构。
- 还实现了基于 AVX2 的快速矩阵乘法来提速。
- 借助这套实现,作者训练了一个约 190 万参数 的 tiny language model,并在 Tiny Shakespeare 上给出了生成示例。
- 项目仓库已开源在 GitHub。
「Infra」频道最新
- Laguna S 2.1 联手 poolsideai 推出 MLX.fast 加速竞赛 — gajesh · 2026-07-28
- 截图显示 Anthropic 爬取量激增,外界猜测 Sonnet 6 正在训练 — marclou · 2026-07-28
- Kimi K3 上线 Modal,输入 $3、输出 $15 每百万 token — ivan_bezdomny · 2026-07-28
- NVIDIA 称 Jetson 可装进包里,却能驱动机器人和边缘 AI — nordicinst · 2026-07-28
- 印度能在古吉拉特组装成品芯片,但核心仍靠进口 — santoshpanda · 2026-07-28
- 公开竞赛瞄准 Laguna XS 2.1 在 Mac 上再提速 36.8% — gajesh · 2026-07-28