Inkling 太小难吃满 Tensor Core,加速比随模型规模放大
andrew_n_carr · x · 2026-11-16
Andrew Carr 转赞李彦淳(liyanc98)关于 Inkling 模型 BBBK 优化加速效果的说明:Inkling-small 模型太小,无法吃满 Tensor Core,作者在较小 shape 上几乎没有专门优化 BBBK,因此加速比随模型规模增长;对于假设性的三个月训练任务,整体时间节省会大得多。
「Infra」频道最新
- 4 天 66 条头条:WSJ 数据量化黄仁勋霸屏媒体的程度 — xiaosun86 · 2026-11-16
- SemiAnalysis 算账:让中国租美国算力,美国每兆瓦净赚上千万美元 — xiaosun86 · 2026-11-16
- 路透:中国暂未批准进口,英伟达芯片堆积香港仓库 — _weiping · 2026-11-16
- 朱松纯发起通芯智能融资数亿元,为 AGI 设计新型推理芯片 — 量子位 · 2026-11-16
- CMU测试:Opus 5.5+Claude Code自建AI Infra,性能碾压SGLang,奇点指数1.25 — 新智元 · 2026-11-16
- 双 Mac Studio 张量并行跑 GLM-5.3-Flash 达 140 tokens/s — cryotic · 2026-11-16