ViT 压缩至 6MB：54.5 倍瘦身用于端侧作物病害检测
jm_alexia · x · 2026-09-07
arXiv 论文提出统一的 ViT 压缩框架，结合 Hessian 平衡自适应块剪枝（H-BAC）、量化和基于注意力的知识蒸馏，面向资源受限的农业场景端侧部署。
- 压缩后模型从 327.42MB 缩到 6.01MB（54.5 倍），在跨村庄辣椒病害测试上保持 FP32 精度的 95.13%
- 同尺寸 INT8 学生模型直接训练达 94.87%
- 转发者点评：部署收益明显，但蒸馏带来的增益在论文中未被单独证明
「研究」频道最新
- 研究者吐槽：大量生物 ML 模型仅比朴素线性基线好不到 10% — iskander · 2026-09-08
- Pangram 让文本重复出现两遍，靠前段注意后段实现扩散式生成 — Birchlabs · 2026-09-08
- Sander Dieleman 访谈：扩散模型的演化与生成 AI 背后的概率直觉 — sedielem · 2026-09-08
- 从语言模型到世界行动系统：agent 综述提出按授权程度分配智能体权限框架 — dair_ai · 2026-09-08
- 评测空间「有效秩」太低,研究者呼吁用连续基准提稳健性 — ajratner · 2026-09-08
- LlamaIndex CEO：对抗刷榜不是弃用基准，而是要更多更稳的基准 — ajratner · 2026-09-08