Hyperspherical Semantic Trajectory Analysis: Mapping Technological Diffusion across Academic Preprints, Patent Signals, and Compute Scaling
Muhammad Sukri Bin Ramli
cs.CL, cs.LG
2026-09-25
对 3 万篇 arXiv 与专利做球面聚类:LLM 簇概念漂移 0.332 最高,论文热度预测不了算力增速。
宏观经济学里最常用的技术进步代理是全要素生产率(TFP),它由事后的产出统计和资本调查拼出,一项重大技术突破平均要 3 到 10 年才会体现在官方数字里。想拿更早信号的人去看专利和论文,但传统文献计量依赖引用数或分类号,引用要等积累,专利申请进公开库通常还要 18 到 36 个月。
这篇绕开账目层,直接从原始文本测技术扩散:不依赖人工标注,把 arXiv 预印本和 USPTO 专利申请变成可比较的时间序列指标,顺带检验一个流行假设,论文发表的热度能否预测算力投入。
HSTA 的流水线全部由现成组件拼成:
UMAP 投影里,3 万个点无监督地分成两座岛,左边 arXiv、右边 USPTO,Transformer 嵌入不做微调就能分辨学术与法律两种语域。
| 子领域 | 漂移 Δ | Granger p 值 | 时移(季度) |
| 大语言模型(C6) | 0.332 | 0.81 | −18 |
| AI 系统(C2) | 0.234 | 0.76 | −22 |
| 计算机视觉(C5) | 0.234 | 0.54 | −19 |
| 基础模型设计(C1) | 0.174 | 0.28 | −13 |
| 神经网络层(C4) | 0.138 | 0.45 | −32 |
| 数据工程(C7) | 0.031 | 0.14 | −16 |
| 硬件架构(C0) | 0.015 | 0.68 | −31 |
| 统计机器学习(C3) | 0.012 | 0.33 | −10 |
漂移最高的 LLM 簇有干净的定性验证:2021 年前的高频 n-gram 是 masked language modeling、BERT fine-tuning、contextual embeddings,之后换成 in-context learning、instruction tuning、RLHF、prompt engineering,正好对应范式切换。K 改取 6、10、12 时,两岛分离和漂移排序保持稳定。
Granger 检验全线不过:八个簇的 p 值从 0.14 到 0.81,没有一个低于 0.05。同期前沿训练算力从 10^16 涨到超过 10^27 FLOPs,论文量增速对这场暴涨没有预测增量。
最反直觉的是时移:每个簇的专利峰值都领先论文峰值 10 到 32 个季度,约合 2.5 到 8 年。
对做创新指标和 AI 经济学的人,这条流水线成本极低,嵌入、聚类、计量全是开源库,能把「一个领域的词汇在多快换血」变成可按季度跟踪的数字。漂移指标可以直接搬去监控自己的语料,某个内部主题的 Δ 突然抬头,大概率说明范式在换。
负结果同样有信息量:「论文多,算力就要涨」这个直觉在季度频率上不成立,想用文本信号预判算力投资,必须叠加资本与硬件约束变量。对拿论文热度当领先指标的叙事,这是一盆冷水。
也得诚实:每个组件都是标准工具,贡献在组合与跨数据源连接,属于渐进式工作。
论文自己承认两点:专利从申请到公开要 18 到 36 个月,时移用的申请日与 arXiv 索引窗口口径不同;2026 年发文量暴涨是数据快照的索引边界假象。
负时移(专利领先论文最多 8 年)更可能是数据口径的产物,而非商业真在引领科学,论文也只敢说这是本流式样本内的对齐。
Granger 一侧,十年季度数据只有约 40 个观测点,VAR(2) 在这个样本量下功效很低,不显著推不出「确认无预测力」,论文的措辞却用了 confirm。另外,3 万条相对这些 arXiv 类目十年的真实体量只是零头,抽样规则没有交代;轮廓系数 0.342 本身说明簇结构偏弱;漂移值依赖所选嵌入模型,没有与 LDA 类主题模型的对照,也没有漂移差异的显著性检验。