token 本质只是整数索引：逗号就是嵌入矩阵第 28 行
zsakib_ · x · 2026-09-30
作者科普 LLM 中 token 的本质：token 只是整数 ID，对应嵌入矩阵中的某一行，这些 ID 理论上可以是任何东西（甚至 emoji），实际传入模型的只是矩阵的对应行。他举例：逗号「,」对应嵌入矩阵的第 28 行。这是一条简短的机制科普，帮助理解 temperature 工作原理的上下文。
「研究」频道最新
- 新论文：LLM生成的实验报告是“不可靠的转述者” — StellaLisy · 2026-10-01
- Liquid AI 发布 LongevityBench:小型 LFM 在多项衰老任务胜过前沿模型 — JosephJacks_ · 2026-10-01
- 2880 种病毒的蛋白复合物结构预测入 AlphaFold 数据库,约 30% 为全新发现 — AllThingsApx · 2026-10-01
- 微软 AI 预测太空天气风险,可提前 30-60 分钟预警电网 — Microsoft Research · 2026-10-01
- 实测发现：Isolation Forest 的 max_samples 设为 1.0 效果最佳 — Ragno_ · 2026-09-30
- Google 研究为 AI 设计蛋白质加水印,助识别潜在生物威胁 — Ars Technica AI · 2026-09-30