无训练实现实时热力图推理：Viveki 20B 延迟低于 150ms

not-ekalabya · reddit · 2026-10-22

Reddit 用户 not-ekalabya 发布多模态决策模型 Viveki（HF: not-ekalabya/viveki-0.1-20B）的推理方法：可为任意对象或事件生成注意力热力图，单张 A100-80GB 上延迟低于 150ms，可实时处理视频。

作者称 Viveki 完全没有经过训练或微调，而是基于一个机制性洞察——能在生成任何 token 之前预测模型对上下文中任意客观问题的回答。方法细节目前刻意保密，论文将在后续发布。配图显示其在工厂监控视频上实时判断「叉车是否堆叠三层以上货箱」，给出 86.9% 的 YES 置信度和可视化热力图。