82.5 万参数模型生成绘图程序,RP2040 上零误差执行
Rozuzo · reddit · 2026-09-13
- 作者训练了一个 825k 参数的自回归 transformer,生成约 100 字节的绘图字节码(而非像素),传输到 Raspberry Pi Pico 上由定点虚拟机执行,几何结果经 UART 回传。
- 执行侧最扎实:12,670/12,670 条生成轨迹与 Python 参考实现完全一致;解释器仅占 1,862 字节 flash、0 字节静态 RAM、492 字节峰值栈;12 MHz 下每幅绘图 7,334 周期(约 0.61 ms),无需浮点硬件或 tensor 运行时。
- 表示法对比结论依赖语料:合成程序语料上 bit 级与 byte 级收敛时基本等价,但真实 QuickDraw 涂鸦上 bit 级每幅约多付 11.6 bit 代价。
- 其他实验:层级笔画规划器未提升似然,但显著改善了终止与生成长度行为;模型在 teacher forcing 下对兼容的关系上下文有强偏好,自由采样时却难以产出精确的兼容续写。
- 后续方向是加入显式 source-span/仿射关系/copy-or-emit 动作,测试显式建模关系能否帮助未见组合上的精确生成。代码与实验细节开源在 GitHub。
「具身」频道最新
- 看机器人 demo 别只看成功:换光照换环境再数失败次数 — paigeinsf · 2026-09-14
- 机器鸭 MicroDuck 学会爬梯,行走只是起点 — econoar · 2026-09-14
- Proxy Policy Steering:不动权重、用残差引导 VLA 学新任务 — weichiuma · 2026-09-14
- 特斯拉中国宣布 9 月 17 日起在上海北京展出 Cybercab — yunta_tsai · 2026-09-14
- MIT HardFlow 算法让生成模型零违规满足硬约束 — MIT News AI · 2026-09-14
- MIT 系公司用 AI 机器人把废塑料造成建材,桁架承重超 4000 磅 — MIT News AI · 2026-09-14