Project Genesis:CUDA 几何协处理器宣称推理延迟降 16%-30%
ReportProfessional57 · reddit · 2026-11-15
Reddit 用户发布 Project Genesis:一个缓存常驻的 C++/CUDA「几何协处理器」运行时(libgenesiscore.so,约 0.51MB),在推理时以 inline 方式挂到现有因果语言模型上,不改动宿主模型权重,声称可降低延迟、提升 token 吞吐。
作者称在消费级 NVIDIA Blackwell GPU 上,对 Qwen、Gemma、Llama 3.2、Nemotron、Mistral 等多个检查点实测,编译内核让端到端延迟下降 16%-30%,内存开销 O(1);以密封运行时包形式支持 20 种常见 hidden size(dmodel 576-8192),需 64 位 Linux 或 Windows WSL2 + Compute Capability 8.0+ 的 NVIDIA GPU(RTX 30/40/50、A100、L40S、H100),已在 Hugging Face 开放非商业/研究用途下载,并邀请用户开启 enabletelemetry=True 自行复测并回帖分享数据。
「Infra」频道最新
- 分析：黄仁勋靠「人情世故」锁死英伟达亚洲供应链 — _onionesque · 2026-11-15
- 开发者实测：同时跑 3 个 AI Agent,32GB 内存也不够用 — PawelHuryn · 2026-11-15
- 从零学分布式训练:Reddit 网友精选 10 篇入门资源清单 — East-Muffin-6472 · 2026-11-15
- 传 Nvidia 临时 CEO 复查客户融资计划,3000 亿美元 OpenAI 俄亥俄芯片协议或生变 — SumitGup · 2026-11-15
- 跑 Agent 不必买 3 千美元 Mac mini,千美元翻新戴尔微型机够用 — PawelHuryn · 2026-11-15
- Pirate Face 用种子镜像 HuggingFace，已收录 2.8 万个开源模型磁力链 — zainhas · 2026-11-15