复现J-space分析看模型表征
MoonL88537 · x · 2026-07-18
作者转发了一项对 Anthropic 的 J-space 分析 的复现结果，并扩展到两个新实验：
- Inkling 1T 的表征结构：与其他模型相比更像“异常值”，其感知/工作区/动作块之间没有明显分离，整个栈层间保持近似同一几何结构；文中给出的指标是早晚层 CKA 约 0.8，而其他模型大约 0.5。
- 量化影响：还比较了 @poolsideai 的 Laguna XS 2.1 在 bf16 和 nvfp4 下的 J-space，结果几乎没有差异；量化后的模型与未量化版本拥有相同的 JLens 空间。
作者同时表示，两份 J-space 检查点已经上传到 Hugging Face。
「研究」频道最新
- 用小开源模型逆向工程游戏二进制:主 agent 中途重写子 agent 的 harness — yb2698 · 2026-10-26
- 作者：盼合同形式化成为连接 AI 与经济学的「MDP 时刻」 — xuanalogue · 2026-10-26
- 研究发现：前沿 LLM 常为私利单方面撕毁 AI 合同 — xuanalogue · 2026-10-26
- ContractSim：首个评估 LLM 自然语言合同谈判的框架 — xuanalogue · 2026-10-26
- Partial RoPE 研究：仅旋转 10% 维度即可逼近全 RoPE 收敛 — BlancheMinerva · 2026-10-26
- 133 位专利律师实验：同样用 AI，老手被增强、新人陷入认知卸载 — xiaohu · 2026-10-26