研究发现：3亿 Gemma 模型可高保真预测 Gemini 嵌入
dejanseo · x · 2026-08-14
一项研究发现，可以通过一个简单的线性变换（768×768 矩阵），将 Google 开源的 300 万参数 Gemma 嵌入向量映射到付费的 Gemini 嵌入空间。在 5 万个未训练过的 Wikidata 实体上测试，映射后的向量与真实的 Gemini 向量余弦相似度达到 0.83。这意味着用户可以在零 API 成本的情况下，高保真地恢复 Gemini 的实体向量结构。仅旋转即可恢复 0.77，加入拉伸和剪切提升至 0.831，且模型未出现过拟合。
「研究」频道最新
- 12章7500行逐行注释教程，从零手写现代 GPT — tom_doerr · 2026-10-16
- 约翰·纳什 1998 年「层级内省逻辑」手稿再引 AI 圈热议 — fkasummer · 2026-10-16
- OpenAI 前可解释性负责人：绝大多数神经元已可读，可解释性是最重要科学问题 — CatAstro_Piyush · 2026-10-16
- AI 安全研究者自嘲：技术安全话题几乎都能在几十年前统计学里找到影子 — _onionesque · 2026-10-16
- JevAgentHarness 论文：4B 小模型替 LLM 做 Agent 决策，更省更准 — youjiaxuan · 2026-10-16
- Google 团队用序列拍卖构建去中心化 LLM 多智能体工作流 — _onionesque · 2026-10-16