Cuddler 编译器把 Qwen 模型转成可执行文件，循环输出难题求解
Maui-The-Magificent · reddit · 2026-10-02
一位系统工程师开发名为 Cuddler 的模型优化再表示编译器，目标是把已训练的 transformer 模型编译成非 transformer 表示，并直接生成为自身可执行文件。作者已基本完成架构与运行时结构，在 7800x3D 单核上跑通了转换后的 qwen3.5:0.8b 模型（附演示 gif）。
目前卡在对齐环节：
- 部分提示词下出现循环重复输出的典型问题；
- 部分提示词输出完全乱码；
- 缺少编译时对齐内部拓扑的通用算法，作者猜测与量化时的对齐类似。
作者向社区征集推理对齐与内部拓扑对齐的解决思路，欢迎头脑风暴。
「Infra」频道最新
- AI 基建投入占 GDP 已超当年铁路，但仅 30% 标普 500 量化披露 AI 影响 — FinanceYF5 · 2026-10-02
- 全双工语音推理成本虚高 56 倍，自研引擎实现单卡 H100 并发 56 路 — Ok_boss_labrunz · 2026-10-02
- Cloudflare 推出 SQL API：Workers 日志与追踪可直接用 SQL 查询 — irvinebroque · 2026-10-02
- Cloudflare 推出 AI Gateway Web Search API,统一接入三家搜索商 — michellechen · 2026-10-02
- Zig 从零写的机器浏览器 Lightpanda 1.0 正式发布 — jedisct1 · 2026-10-02
- 24GB 显卡塞下 Qwen3.8-27B 编码模型：262k 上下文仍有 40 t/s — W61k3r · 2026-10-02