Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍
pmttyji · reddit · 2026-11-16
论文《Mobile AI Factory》(arXiv 2611.13509)提出了一个 agentic 系统:给定任务描述和目标手机,自动产出微调+量化后的端侧小模型(SLM),让用户数据留在本地、离线可用。
工作方式:
- 编排 LLM 决定每一步是调超参、挖掘真实数据还是生成合成样本,固定规则回滚损害准确率的改动。
- 从小到大跨基座模型和量化方案搜索,边搜边调整准确率目标,并用真机的实测数据(跨推理引擎和后端)做依据。
结果:
- 在 10 个任务、4 台 Android 手机上评测:5 个任务上超过两个五样本 frontie 模型(最多高出 0.34),另有 3 个持平。
- 实体抽取任务上,搜索结果与穷举训练全部 27 个变体相差仅 0.03,但 GPU 时间少 19 倍。
- 真机测量不可或缺:没有它,即使给 Claude Opus 5.5 完整硬件与模型规格,在 25% 的简单/中等和 60% 的困难场景下会误判需求。
论文、PDF、GitHub 与 HuggingFace 集合均已公开。
所属事件:华盛顿大学推出 Mobile AI Factory,自动为手机定制端侧小模型(2 条相关)→
「Infra」频道最新
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16
- 博主测算:Colossus 2 的 120 万块 B200 年推理产出可达 4000 亿美元 — bookwormengr · 2026-11-16
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16