基因组模型 Evo 2 适配 vLLM,7B 可在单张 H100 跑 1Mb 上下文
anshulkundaje · x · 2026-10-30
Arc 研究所 Brian Hie 团队宣布基因组基础模型 Evo 2 已兼容 vLLM,并开源了 evo2flash 仓库,提供与 evo2.Evo2 接口兼容的即插即用替代。
- 支持更广泛的 GPU:RTX 3090、L4、A100(后两者见于 Google Colab)等均可运行
- Evo 2 7B 可在单张 H100 上跑满 100 万碱基的完整上下文
- fp8 权重可在 sm89+(L4/L40S/H100/H200)上以 fp8 GEMM 运行,老卡需走 fallback 路径;40B 版本需 H200 或 H100 加载 fp8 权重
- 目标是让基因组 in-context learning 在更多生物系统研究中变得更容易上手
「Infra」频道最新
- 实测 10 款编码 Agent 跑本地 Qwen 27B:Pi 每 task 仅 9.2k tokens 最省 — latent_lurker8587 · 2026-10-30
- Anthropic 德州数据中心 50-70 亿美元垃圾债发售被搁置 — rohanpaul_ai · 2026-10-30
- GPU 上做权重压缩？斯坦福研究者打脸自己的直觉 — realDanFu · 2026-10-30
- 缓存 token 详解：agent 循环为何重复付费，命中可省 50 倍 — Arindam_1729 · 2026-10-30
- GB300 单托盘跑 DeepSeek Flash：每用户近 1000 tok/s，百万 token 仅 7 美分 — bookwormengr · 2026-10-30
- 奥特曼称 AI 机器人自复制数据中心「触手可及」 — Eliv_nurotic · 2026-10-30