1.5M 版编码吞吐 43255 docs/s,达 Qwen3-0.6B 的 300 余倍
tomaarsen · x · 2026-10-26
tomaarsen 公布 MoEdernColBERT 团队在单卡 RTX 6000 Ada(bf16、512-token 文档)上的编码吞吐:1.5M 版 43255 docs/s、27M 版 6708 docs/s、115M 版 1132 docs/s,而 Qwen3-Embedding-0.6B 仅 141 docs/s。模型使用自带 Triton MoE kernel 并按模型调优 batch size,数据不含分词与检索开销。
所属事件:VAGOsolutions 发布 1.5M~115M 超小 MoE 检索模型(10 条相关)→
「Infra」频道最新
- SpaceX 40B 美元 GPU 融资曝光，算力已达 1.7GW — XFreeze · 2026-10-26
- Meta 拟融资最高 950 亿美元，全力押注 AI 扩张 — Polymarket · 2026-10-26
- SpaceX 与 Apollo 达成 400 亿美元 GPU 融资租赁，史上最大规模 — firstadopter · 2026-10-26
- NBIS CEO:上周起债市对 Neocloud 关门,改靠客户预付款续命 — zephyr_z9 · 2026-10-26
- CoreWeave 五年期 CDS 飙至约 1100bps，市场担忧 AI 泡沫以信贷危机开场 — kimmonismus · 2026-10-26
- AI 需求重塑云计算：算力稀缺、长期合约取代按需模式 — DavidLinthicum · 2026-10-26