受 Meta in-fusion 论文启发,开发者实测四种小型 OCR 模型架构
wightmanr · x · 2026-11-21
开发者 wightmanr 在修复旧 OCR 项目 bug 复训模型时,恰好读到 Meta 的 in-fusion 论文,发现其与自己的模型结构天然契合,随即展开实验:
- 以 NaFlexViT 编码器 + 文本解码器为基线,训练了一个 decoder-only 变体,通过重新平衡文本与图像参数宽度引入 in-fusion。受限于训练预算未能超越利用预训练权重的基线,但收敛趋势良好,取得了一定提升。
- 还尝试将视觉参数 fuse 进预训练的 SmolLM2 135M,以对齐其约 225M in-fusion 版本的规模;可行但收敛较慢,推测是超过 2 倍的深度拖累了短周期训练,需对差分学习率做更多消融。
作者还以甜点命名整理了当前四种 NaFlex 兼容架构:Cruller(交叉注意力编码器+解码器,Donut 风格)、Fritter(图像 token 作为前缀的 decoder-only)、Cronut(raw patches+文本的单一原生 decoder-only 主干,可选 in-fusion 视觉权重)、Berliner(Cronut 式但主干为预训练 LLM,如 SmolLM/Qwen3,带 in-fusion 视觉权重)。
所属事件:开发者受 Meta in-fusion 论文启发重训 OCR 模型(2 条相关)→
「多模态」频道最新
- 3DGS 对比点云渲染效果出色,下一步做碰撞表面重建 — jonstephens85 · 2026-11-21
- AI 视频展示 25+ 名人整形前后对比,被称年度最佳 — evisoft · 2026-11-21
- 受《理解漫画》启发的极简到写实人像过渡动画 demo — round · 2026-11-21
- Midjourney 风格码实拍感演示:蜘蛛侠照片级虚化质感 — sergeantsref · 2026-11-21
- Kyutai 开源 AURA:单 GPU 实时生成唇同步语音数字人 — alexcovo_eth · 2026-11-21
- 一张空房照片 $0.01 完成软装布置,KoiX Staging 主打房产场景 — aziz4ai · 2026-11-21