命名实体识别 (NER)

命名实体识别 (NER) 是 自然语言处理 (NLP) 中的一项基本任务，它涉及自动识别非结构化文本中的命名实体并将其分类为预定义的类别。这些实体可以是任何真实世界的对象，例如人、组织、地点、日期、数量或货币价值。NER 的主要目标是从非结构化文本中提取结构化信息，使机器更容易理解和处理人类语言。通过将原始文本转换为机器可读的格式，NER 作为许多更高级别 AI 应用（包括信息检索、问题解答 和内容分析）的基础步骤。

现代 NER 系统通常使用机器学习模型构建，尤其是深度学习架构。 这些模型在大型带注释的数据集上进行训练，在这些数据集中，人类已经标记了实体。 通过此训练数据，模型学习识别与不同实体类型相关的上下文模式和语言特征。 诸如BERT和其他基于 Transformer 的架构之类的高级模型在 NER 方面非常有效，因为它们可以处理句子的整个上下文以做出准确的预测。

实际应用

NER 是一项基石技术，为各个行业的众多应用提供支持。通过构建信息，它可以实现自动化并提供有价值的见解。

• 内容推荐与搜索： 新闻提供商和内容平台使用NER扫描文章，识别关键人物、地点和主题，然后相应地标记内容。这提高了搜索结果的相关性，并为个性化内容推荐引擎提供支持。例如，系统可以将“Apple Inc.”识别为组织，将“Tim Cook”识别为个人，并将两者相关的文章链接起来。这是增强语义搜索能力的关键组成部分。
• 医疗保健中的人工智能： 在医学领域，NER 用于从临床笔记、研究论文和患者记录中提取关键信息。 它可以识别患者姓名、疾病、症状、药物和剂量。 这种结构化数据对于加速 医学图像分析、简化 临床试验匹配 以及构建用于医学研究的综合 知识图谱 至关重要。
• 客户支持自动化： 聊天机器人和支持系统使用 NER 来更有效地理解用户查询。例如，在句子“我的 iPhone 15 屏幕坏了”中，NER 模型会将“iPhone 15”识别为产品，并将“屏幕坏了”识别为问题。这允许系统自动对工单进行分类，并将其路由到正确的支持部门，从而提高效率。

NER 与相关概念

NER 通常与其他 NLP 任务一起使用，但具有独特的侧重点：

• 情感分析: 确定文本中表达的情感基调（正面、负面、中性）。NER 识别正在讨论的内容，而情感分析识别作者对此的感受。
• 关键词提取： 此任务识别文本中的重要术语或短语。虽然某些关键词可以是命名实体，但关键词提取范围更广，结构性更差。NER 专门识别实体并将其分类为预定义的类别，例如 PERSON 或 LOCATION。您可以在以下位置了解更多相关信息 关键词提取来源.
• 目标检测: 这是一项计算机视觉 (CV)任务，它使用边界框等技术来识别和定位图像中的对象。 NER 纯粹对文本数据进行操作，而像Ultralytics YOLO这样的模型对视觉数据执行检测，以用于各种检测任务。
• 自然语言理解 (NLU): 一个更广泛的领域，包括对文本含义的整体理解，包括意图识别和关系提取。NER 被认为是 NLU 中的一个特定子任务，仅专注于实体识别和分类。
• 文本摘要: 此任务旨在创建长文档的简洁摘要。虽然它可能使用 NER 来识别要包含在摘要中的关键实体，但其主要目标是浓缩，而不是提取。

工具和平台

强大的工具和库生态系统支持 NER 模型的开发。

• 库： 像spaCy和NLTK这样的开源库被广泛使用，并提供预训练的模型和工具，用于构建自定义NER系统。这些库处理复杂的任务，如分词和特征提取。
• 平台： Hugging Face Hub 提供了数千个预训练模型，包括许多用于 NER 的模型，可以针对特定用例进行微调。对于管理端到端模型生命周期，像 Ultralytics HUB 这样的平台提供了强大的 MLOps 功能，从训练和验证到最终的模型部署。虽然 Ultralytics 专注于 CV，但 MLOps 的原则在 AI 领域是通用的。您可以在我们的文档中找到更多详细信息。