Deepity：手写 CUDA/C++ 预测编码库
Important-Home4431 · reddit · 2026-10-27
- 作者发布 Deepity 0.1.0a3，一个从零构建的预测编码（Predictive Coding, PC）引擎：C++20 内核配合 AVX2/AVX-512 SIMD 手写 kernel，Python 层通过 nanobind 绑定，pip install pydeepity 即可使用。
- 算法思路：PC 网络每层维持本地信念并与上层自上而下的预测比较，训练交替进行"沉降"（逐步降低各层预测误差）与仅依赖本层误差的权重更新；无需反向传播图，也不需要其他层权重的转置。
- MNIST 基准（784-512-512-10 sigmoid，T=20，batch 250，100 epochs，AdamW）：Deepity 98.21%/487.5s，jpc(JAX) 97.55%/531.4s，ngc-learn 98%/1707.7s；同一网络 PyTorch 反向传播参考 97.51%/627.8s（单次前向 vs PC 20 次沉降，不完全公平）。训练步 kernel 基准约 690 GFLOPS/s，端到端约 675 GFLOPS/s。
- 支持 plain classic-settling、Direct Kolen-Pollack feedback（沉降步数更少）以及含 µPC scaling、residual connections、incremental PC、error-based PC、momentum settling 的"kitchen sink"网络，各开关默认关闭。
- 现状：CPU 路径成熟已基准化；CUDA 后端（cuBLAS+CUTLASS+CUDA graph capture）可运行但大规模训练仍在调优；卷积路径现为 im2col+cuBLAS 而非 cuDNN。MIT 协议开源，作者寻求 C++/CUDA 性能与 DevOps 方向贡献者。
「研究」频道最新
- AISI:80 美元算力微调即可绕过开放生物模型的数据过滤 — connoraxiotes · 2026-10-27
- RFD4-Proteina 跑在 RTX 3060 上:单次蛋白设计最低约 $0.001 — AllThingsApx · 2026-10-27
- 弗莱堡生成智能实验室通过 ELLIS 项目招收多名全奖博士，10月31日截止 — yuyinzhou_cs · 2026-10-27
- Nature Physics 论文：可重构折射率实现对多模波传播的任意控制 — MarioKrenn6240 · 2026-10-27
- Wakaru 开源 ontologize:用模型激活为数据集自动生成本体标签 — amplifiedamp · 2026-10-27
- EMNLP Oral 论文用跨层转码器揭示 LLM 多语言共享表征机制 — ZhijingJin · 2026-10-27