Latent Space 周报：Meta 开源 816B Muse Spark Open，可解释性迎「网络本就干净」论

Latent Space · rss · 2026-10-16

Latent Space AINews 10/14-10/15 期，头条是可解释性领域的罕见突破，其余为一周模型发布汇总。

可解释性与安全

Goodfire 的 Nick Cammarata 发表重要文章《Neural Networks Are Already Clean》：主张直至万亿参数规模的模型，大多数神经元本就清晰可读；其 2023 年在 OpenAI 的自动可解释性工作只发现约 2% 可读，他认为许多著名的多义性/叠加案例是被误读的，进一步的 agentic 分析可以化解这些「死结」。社区称之为重要时刻，并认为这调低了 P(doom)。

Meta 开源 Muse Spark Open（美国开源榜第一）

816B 总参 / 42B 激活 MoE，1M 上下文，接受文本/图像/视频/音频输入；定位编码、长程 agent 与多步推理
架构：62 层全 MoE，每层 256 专家激活 8 个；46 层 2048-token 滑窗 + 16 层全注意力混合；是唯一不用共享专家的美国主流开源模型
Artificial Analysis 智能指数 39 分，美国开源第一，但落后 GLM-5.3（45）和 Kimi K3（44）——差距几乎全部来自 agentic 评测，Muse 在四项 agent 评测中垫底
定价 $1.25/$4.25 每百万 token（缓存输入 $0.15），单任务成本 $0.84 vs GLM-5.3 的 $2.01
BF16 权重约 1.6TB，NVFP4 量化后约 530GB 可跑在 4× Blackwell Ultra 或两台 512GB M5 Ultra Mac Studio 上；llama.cpp、vLLM（含 TPU、AMD）day-0 支持；TPU 上Megakernels 推理超 650-960 tok/s
Nathan Lambert 称该发布把中美开源差距缩小约一半；也有批评认为参数量下表现平平、注意力设计过时

其他模型

NVIDIA Nemotron 3.5 Super VL：120B/12B 激活 Mamba-Transformer 混合 VLM，1M 上下文，宣称 SWE-bench Pro 51.78%，CoreWeave 定价 $0.25/$1.50
Microsoft MAI-Base-2：约 3T 参数基座（约 80B 激活），用 16000 块 GB200 训 38 天，宣称以 1/12 算力追平 DeepSeek-V4-Pro-Base（对比口径有争议）
Gemini 4 Argon：Epoch 能力指数 165 分，ARC-AGI-3 上 97.5%（provider harness）/49.8%（标准 harness），可靠性与幻觉评测受质疑；已上线 Antigravity
Anthropic：Opus 5.5 fast mode GA（$8/$40），Claude Code Review GA
OpenAI：GPT-Live-1.1 语音更新；图像侧 FLUX 3 Image Klein 开源（5.6B、原生 4K）、Krea 3（8 秒内 2K 编辑、$0.06/图）

「模型」频道最新