供应商名称去重实战：确定性规则为何比相似度分数更可靠

引言：当相似度分数无法回答“91 分意味着什么”

在数据清洗的日常工作中，处理一份包含上万个供应商名称的表格，往往最棘手的不是代码本身，而是如何判断两个名称是否指向同一个实体。例如，“ABC Trading Co., Ltd.” 与 “ABC Trading Limited” 在字符串相似度算法下可能得到 91 分，但这个分数是否足以让我们将它们合并？在 Towards Data Science 的一篇技术文章中，作者指出：与其纠结于相似度阈值的模糊性，不如将去重流程拆解为多个确定性阶段，让每一步都有明确的规则可循。

本文将围绕这一思路，深入探讨如何利用确定性规则（如标准化、精确匹配、规则引擎）替代单一的相似度评分，从而构建更稳健、可解释的供应商去重管道。

为什么相似度分数在实体解析中容易失效

相似度算法（如 Levenshtein 距离、Jaro-Winkler、余弦相似度）在文本匹配任务中应用广泛，但它们存在几个根本性缺陷：

1. 阈值依赖业务场景：对于“IBM”和“International Business Machines”，相似度可能很低，但它们是同一家公司；而“Apple Inc.”和“Apple Fruit Co.”相似度很高，却完全不同。
2. 缺乏可解释性：当算法给出 91 分时，我们无法向业务方解释为什么这个分数意味着“应该合并”或“不应该合并”。
3. 对缩写、后缀、语序不敏感：例如“Co., Ltd.”与“Limited”在语义上等价，但字符串相似度会将其视为差异。

因此，单纯依赖相似度分数会导致大量误判，尤其是在供应商名称这种充满变体的场景中。

确定性阶段：一种更可控的去重框架

Towards Data Science 的文章提出了一种分阶段的方法，核心思想是：先执行一系列确定性规则，将明显相同的记录合并，再对剩余记录进行更复杂的匹配。这些阶段包括：

阶段一：标准化与清洗

• 统一大小写、去除多余空格、标点符号。
• 展开常见缩写：如 “Co.” → “Company”, “Ltd.” → “Limited”。
• 移除法律后缀（如 Inc., LLC, GmbH）并单独存储，以便后续比较。

这一阶段完全基于规则，不涉及模糊匹配，因此结果确定且可重复。

阶段二：精确匹配与分组

• 对标准化后的名称进行精确匹配，将完全相同的记录归为一组。
• 对于名称中仅顺序不同但词集相同的记录（如 “Trading ABC” 与 “ABC Trading”），可以通过排序词元后匹配。

这一阶段能解决大部分重复问题，且不会引入任何误判。

阶段三：规则引擎处理已知变体

• 针对业务中常见的变体模式（如 “&” 与 “and”、“Corp” 与 “Corporation”），编写明确的转换规则。
• 例如，将 “ABC Trading Co., Ltd.” 和 “ABC Trading Limited” 都转换为 “ABC Trading” 后再匹配。

这些规则由领域专家定义，具有高度可解释性。

阶段四：对剩余记录使用相似度算法

• 仅对经过前三阶段后仍未匹配的记录，使用相似度算法进行候选配对。
• 此时，由于大部分噪声已被清除，相似度算法的表现会更好，且可以设置更严格的阈值。

国内视角：中文供应商名称去重的特殊挑战

在中文语境下，供应商名称去重面临额外复杂性：

• 简称与全称：如 “阿里巴巴” 与 “阿里巴巴集团控股有限公司”。
• 地域前缀：如 “北京XX科技” 与 “XX科技（北京）”。
• 中英文混合：如 “华为技术有限公司” 与 “Huawei Technologies Co., Ltd.”。

国内一些数据智能平台（如明略科技、数梦工场）以及开源工具（如 Apache Spark 的 MLlib 中的 StringIndexer）提供了中文分词和标准化组件，但核心思路与上述确定性阶段一致：先规则，后模糊。

如何实施确定性去重管道

以下是一个可操作的步骤指南，适用于 Python 环境（使用 pandas 和 recordlinkage 库）。

步骤 1：数据加载与初步探索

使用 pandas 读取供应商列表，检查名称列的唯一值数量、常见后缀分布。

步骤 2：构建标准化函数

编写函数，依次执行：转小写、去除标点、展开缩写、移除法律后缀。可参考 Python 官方文档 中的正则表达式操作。

步骤 3：应用标准化并精确匹配

将标准化后的名称作为新列，使用 groupby 找出完全相同的组。

步骤 4：定义规则处理变体

创建一个映射字典，将已知变体映射到标准形式。例如 {'ltd': 'limited', 'co': 'company'}。

步骤 5：对剩余记录计算相似度

使用 recordlinkage 库的 Compare 类计算 Jaro-Winkler 相似度，并设置阈值（如 0.85）。

步骤 6：人工审核与反馈

将相似度较高的候选对导出，由业务人员确认。确认结果可反哺规则库。

结论：确定性优先，模糊匹配为辅

在供应商去重这类实体解析任务中，确定性阶段提供了可解释、可重复的基础，而相似度分数仅作为补充手段。通过将问题分解为标准化、精确匹配、规则引擎和模糊匹配四个层次，我们不仅能提高准确率，还能让整个流程更易于维护和审计。

对于数据科学家而言，这提醒我们：不要过早依赖复杂的机器学习模型，简单的规则往往能解决大部分问题。

常见问题

为什么相似度分数在供应商去重中不可靠？

相似度分数缺乏业务语义，无法区分“Apple Inc.”和“Apple Fruit Co.”这类高相似但不同实体的情况，且阈值难以统一。

确定性阶段具体包括哪些步骤？

主要包括：标准化清洗、精确匹配、规则引擎处理已知变体，最后才对剩余记录使用相似度算法。

如何处理中文供应商名称的简称与全称？

可以建立简称-全称映射表，或使用中文分词工具提取核心词进行匹配，同时结合规则移除地域前缀。

这种方法需要多少人工干预？

前期需要领域专家定义规则，后期仅需对模糊匹配的候选对进行审核，整体人工成本可控。

有没有现成的 Python 库推荐？

可以使用 recordlinkage 进行相似度计算，pandas 进行数据操作，re 进行正则清洗。

关于 Bingdada

Bingdada 是一个专注 SEO、GEO（生成式引擎优化）与 AEO（答案引擎优化）的内容平台，由资深内容编辑、SEO 技术工程师与 AI 研究专家组成的团队持续运营。我们追踪搜索引擎与生成式 AI 的最新动态，为读者提供准确、实用、可落地的方法论与行业洞察。

编辑团队：内容策划 · 技术编辑 · AI 研究组
网站：bingdada.com

© 2026 Bingdada. 保留所有权利。