单张 4070 Ti 训出 wyat-2：首个循环 Transformer 决策模型
Fit_Strawberry8480 · reddit · 2026-10-28
作者发布了 wyat-2，基于 14 亿参数循环 transformer（looped transformer）Ouro-1.4B 微调而成的决策模型，用于给候选答案选项打分，训练只用了一张 RTX 4070 Ti。作者称据其所知这是第一个基于循环 transformer 的决策模型——性能不是最好的，但是第一个。
他表示要做得更好需要大量数据工程，目前暂不投入，若社区感兴趣后续可能继续。技术报告（PDF）与 Hugging Face 模型权重均已公开。
「模型」频道最新
- 同一开发者补刀:GPT-5.6 terra 若降价 80% 而非 20% 可能成爆款 — JoshPurtell · 2026-10-28
- 开发者质问 OpenAI:GPT-5.6 mini/nano 先涨价又只给 luna 降价,terra 为何不降 — JoshPurtell · 2026-10-28
- LFM3-VL-2B 在浏览器内以 WebGPU 实现实时视频字幕 — xenovatech · 2026-10-28
- Liquid AI LFM3 用 24 层混合架构实现 256K 上下文，推理快 25% — cneuralnetwork · 2026-10-28
- 开发者列出最期待的两款模型：GLM 5.5 Flash 与 Qwen 4 27B — victormustar · 2026-10-28
- Maxime Labonne 演示 d1 模型：一次前向同时问答并框出指定物体 — maximelabonne · 2026-10-28