82.5 万参数模型生成绘图程序,RP2040 上零误差执行
Rozuzo · reddit · 2026-09-13
- 作者训练了一个 825k 参数的自回归 transformer,生成约 100 字节的绘图字节码(而非像素),传输到 Raspberry Pi Pico 上由定点虚拟机执行,几何结果经 UART 回传。
- 执行侧最扎实:12,670/12,670 条生成轨迹与 Python 参考实现完全一致;解释器仅占 1,862 字节 flash、0 字节静态 RAM、492 字节峰值栈;12 MHz 下每幅绘图 7,334 周期(约 0.61 ms),无需浮点硬件或 tensor 运行时。
- 表示法对比结论依赖语料:合成程序语料上 bit 级与 byte 级收敛时基本等价,但真实 QuickDraw 涂鸦上 bit 级每幅约多付 11.6 bit 代价。
- 其他实验:层级笔画规划器未提升似然,但显著改善了终止与生成长度行为;模型在 teacher forcing 下对兼容的关系上下文有强偏好,自由采样时却难以产出精确的兼容续写。
- 后续方向是加入显式 source-span/仿射关系/copy-or-emit 动作,测试显式建模关系能否帮助未见组合上的精确生成。代码与实验细节开源在 GitHub。
「具身」频道最新
- 开发者自制 sidequest 实体设备:能听音乐点头、真心才跳舞 — wavefnx · 2026-10-31
- 独立开发者一天内完成自制安全硬件原型:Rust 固件 + 全链路加密 — wavefnx · 2026-10-31
- UCLA 推出 ChairNav:会学习乘客偏好的自主导航轮椅 — zhoubolei · 2026-10-31
- 亚马逊 Echo 取消本地语音存储,3月28日起全部上传云端 — alex_verem · 2026-10-31
- 699 美元 Humane AI Pin 被 HP 收购后 10 天全面变砖 — alex_verem · 2026-10-31
- 800 美元儿童 AI 机器人 Moxie 停服,孩子的好友一夜失声 — alex_verem · 2026-10-31