ATEST 框架：按 GPU 负载动态省 48 倍推理能耗
Mobina Kashaniyan · hf · 2026-10-22
爱荷华州立大学论文提出 ATEST，一种资源感知的测试时扩展（TTS）框架。核心观察：固定采样预算既忽略题目难度，也忽略 GPU 争用下推理能耗的变化——同样的 4 样本查询，GPU 负载升高时能耗最多增加 4.1 倍。
两种模式
- ATEST-Online（默认）：无需离线校准；逐个生成样本、估计多数答案稳定性、实时监测 GPU 状态，在线学习单步能耗以决定何时停止。
- ATEST-Calibrated：用离线精度与成本模型为每个查询选预算，适合负载稳定的部署。
实验结果：在 A100 上用 Phi-3-mini 于四个推理/QA 数据集评测，并迁移到 L40S 和 Qwen2.5-3B。高负载下的 GSM8K 上，ATEST-Online 达 60.0% 准确率且零延期，而 Calibrated 仅 44.0% 且 42.4% 查询被延期。计入离线剖析，Online 模式在评估负载下比 Calibrated 少用 42 倍 GPU 时间、48 倍能耗。消融显示在线成本学习是负载适应的关键；Online 的代价是短任务尾延迟更高、吞吐更低。
「Infra」频道最新
- Bindu Reddy 试水 Abacus.AI 超算,GPU 跑 3D 飞车游戏 — bindureddy · 2026-10-22
- Seroter 日报：OpenAI 模型登陆 Google Cloud 等要闻 — rseroter · 2026-10-22
- inference.net 占 OpenRouter 第三方托管 14% 份额居首，日处理约 10% 调用量 — Ronangmi · 2026-10-22
- 一条命令把 Vercel Eve agent 部署到 Cloudflare：开源工具 Eden 发布 — ritakozlov · 2026-10-22
- Node.js Brotli 解码器曝高危 RCE 漏洞,波及 22/24/26 版本 — cramforce · 2026-10-22
- PyTorch TorchTitan 大更新:支持 DeepSeek-V4、Kimi K3,新增 TitanRL — PyTorch · 2026-10-22