LoL 架构性能数据:1B 参数在等 FLOPs 下媲美稠密 Transformer,路由探针 0.95 AUROC
micahgoldblum · x · 2026-11-04
micahgoldblum 长线程第 8-9 推补充 LoL 架构的关键数据:1) 在安全/不安全网络文本混合训练且未给标签的情况下,对路由器输出的线性探针能以最高 0.95 AUROC 分离安全与不安全文本,说明路由选择是模型处理内容的紧凑读出;2) 性能不因灵活性受损——1B 参数在数学数据上以相同 FLOPs 与稠密 Transformer 在 loss 和基准上打平;360M 参数版则在一端对标循环 Transformer、另一端对标 MoE,均不落下风。
所属事件:Library of Layers:让 Transformer 运行时自选层序(14 条相关)→
「模型」频道最新
- DeepSeek 上线「DeepSeek Harness」频道：属于你的 Harness，你来定义 — gnukeith · 2026-11-04
- 求推荐弱机可跑的无审查本地模型，用于检索与批量下载 — Emotional_Orange_279 · 2026-11-04
- DeepSeek 故障约 1 小时 44 分，社区猜测算力正挪给 V4.1 Pro — AccBalanced · 2026-11-04
- Claude 手写权重造出 984 参数神经网络，C 语法高亮跑得比 Pygments 快 — AlpinDale · 2026-11-04
- Fireworks Forge 大会发布 Sovereign 私有化栈与 Ember 下一代，效率再提 30 倍 — AccBalanced · 2026-11-04
- Kimi K3.1 Pro 明日开源权重,2.8T 参数、百万上下文 — togethercompute · 2026-11-04