Inkling 2 Mini 能效实测:82.3% 准确率仅耗 1.17 kJ,单位能耗智能最佳
simonguozirui · x · 2026-11-21
JonSaadFalcon 获得早期访问权限,在单台 NVIDIA DGX Spark 上用 Intelligence-per-Watt 基准测试 Inkling 2 Mini。低 effort、MXFP8 精度下达到 82.3% 准确率、每次查询仅耗 1.17 kJ(39W 平均功耗),是所测模型中单位能耗智能最高的;medium effort 达 87.2%(配 DSpark 时 87.2%、1.91 kJ)。对比机型:Qwen3.6-35B-A3B 准确率 72.0%(0.43)、Gemma 4 26B-A4B 63.2%(0.16)、Qwen3.5-27B dense 仅 63.8% 但耗电 17.63 kJ(0.04),差距显著。
「Infra」频道最新
- NVFP4 专家权重逼 MoE 上 CPU,重量化后 Metal 推理提速 5.8 倍 — teortaxesTex · 2026-11-21
- 算力过剩论者改口:效率每年 4 倍提升,10 年后 10 亿美元算力工作降至千元 — teortaxesTex · 2026-11-21
- 华为算力平台论文渐多,Jack Clark 提及 AscendGym 值得关注 — willknight · 2026-11-21
- AWS 推出分布式 KV 缓存技能:自托管 LLM 成本降 40%、首 token 延迟降 80% — AWS ML Blog · 2026-11-21
- 博主:数据中心年化回报 80-100%,是地球上最值钱资产 — sudoraohacker · 2026-11-21
- 清华×字节 SMELT 论文:MoE 中层循环两次省 6.8–18% 训练 FLOPs — teortaxesTex · 2026-11-21