跨语言公司实体消歧实践
hannune · reddit · 2026-07-18
作者在做跨韩语、日语、中文、英语的企业知识图谱时，发现同一家公司会被拆成多个节点，例如 Samsung Electronics 可能分别出现在四种语言写法下。 他总结了实际有效的做法： - **先音译再比较**：把汉字/假名等先转成统一形式，能在相似度计算前消掉大量重复节点。 - **按语种对做 blocking key**：避免全量两两比较，先把候选集缩小到可处理规模。 - **分语言对设阈值**：韩英、日中等组合的缩写与变体程度不同，不能用一个全局阈值。 难点在于标注数据：Splink 需要不同语言组合的“同实体/不同实体”样本，但韩中等冷门组合几乎没有公开标注集。作者最后通过抽取明显不同公司做负样本，并用韩国财报构造正样本。 跑完后图谱节点数下降了，但这是好事，因为检索精度提升了，查询不再被拆散到多个虚假重复节点上。