Apple 研究：7B 模型重试 8 次可比肩 32B，内存省 4 倍速度快 6 倍
CatAstro_Piyush · x · 2026-10-17
研究者 Tomer Galanti 分享了他在 Apple 实习期间的成果（论文《Fewer Bits, More Tries: Recovering Capability Under Memory Constraints》，与 Josh Susskind、Eran Malach 合作），研究如何在小型设备上部署压缩模型而不损失性能。
核心发现：
- 与其用一个大模型，不如让小模型多次生成候选答案并从中筛选（通过公开测试或模型自生成的验证器）。
- 在 4 个代码生成基准上验证：7B Qwen 模型在 MBPP+ 上用 8 次并行尝试基本追平 32B 模型，其余 3 个基准上反超。
- 代价仅约 1/4 的模型内存、最高 6 倍的推理速度和更低能耗（Nvidia GPU 实测）。
- 该权衡在 3B–32B 多种规模、bf16 到 4-bit 各量化等级下均成立，收益大小取决于硬件配置与问题类型。
关键洞察是区分「单次准确率」与「候选覆盖率」：小模型一次生成正确答案的概率低，但多次采样内命中率下降很少，因此验证+重试可回收大部分因压缩损失的能力。
「Infra」频道最新
- Pipecat 语音 Agent 跑上 Cloudflare Python Workers,WebRTC 实现可打断对话 — ritakozlov · 2026-10-17
- cuda.fast 排行榜：投机解码让 Bonsai 2 9B 在 DGX Spark 上快 240.9% — HankYeomans · 2026-10-17
- 开源 Durable PTY：让 AI 编程 Agent 崩溃重启后原地满血复活 — jasonkneen · 2026-10-17
- RTX 5090 停产后 AMD Radeon AI Pro R9700 欧洲涨价超 1000 欧 — BreadUndPeeTears · 2026-10-17
- LeRobot 流式加载 10.7TB 数据集,等数据仅占训练时间 0.52% — RemiCadene · 2026-10-17
- AI agent 云端化或引爆算力需求，云厂商成最大赢家 — Thionne_WTZ · 2026-10-17