Program-as-Weights:0.6B 模型本地性能媲美 32B 提示,内存仅 1/50
yuntiandeng · x · 2026-09-21
Yuntian Deng 团队介绍 Program-as-Weights(PAW)范式:把模糊函数从自然语言规格编译成可本地执行的小型神经产物,论文与 1000 万样本的 FuzzyBench 数据集均已公开。
核心做法:
- 训练一个 4B 编译器,根据英文函数描述直接为冻结的 0.6B Qwen3 解释器生成 LoRA adapter,无需逐任务微调
- 0.6B 解释器执行 PAW 程序的成绩媲美直接提示 Qwen3-32B,推理内存约为其 1/50
- 在 MacBook M3 上以 30 tokens/s 本地运行,调用离线且便宜
适用于日志告警、修复畸形 JSON、按意图排序搜索结果等不适合硬编码规则的任务。该范式把基础模型从「逐输入解题者」重构为「工具构建者」:每个函数定义只调用一次大模型,产出可复用的小型 artifact。数据按任务规格切分,评测用训练未见过的任务描述。
「Infra」频道最新
- Reddit 实操讨论:生产环境如何测试 LLM 提供商故障 — Rama_Surasani_ · 2026-09-21
- 本地跑 Flux 2 Dev 全攻略:30B 模型配显存方案与模型组合玩法 — Altruistic_Heat_9531 · 2026-09-21
- 黄仁勋重申 AI 基础设施市场将达 3-4 万亿美元;Meta 遭生物识别诉讼 — emmanuelvivier · 2026-09-21
- 线上分享:用 d-Matrix 芯片做分解式投机解码与推理引擎调优 — cfregly · 2026-09-21
- 260 万美元 RL 就近 SOTA:数据成本会否超过训练成本? — my_cat_can_code · 2026-09-21
- 个人 Agent 爆发成 NAND 闪存需求激增的最大推手 — zephyr_z9 · 2026-09-21