Nhận dạng thực thể được đặt tên (NER)

Nhận dạng Thực thể Có Tên (NER) là một nhiệm vụ cơ bản trong Xử lý Ngôn ngữ Tự nhiên (NLP), bao gồm việc tự động nhận dạng và phân loại các thực thể có tên trong văn bản phi cấu trúc thành các danh mục được xác định trước. Các thực thể này có thể là bất kỳ đối tượng nào trong thế giới thực, chẳng hạn như người, tổ chức, địa điểm, ngày tháng, số lượng hoặc giá trị tiền tệ. Mục tiêu chính của NER là trích xuất thông tin có cấu trúc từ văn bản phi cấu trúc, giúp máy móc dễ dàng hiểu và xử lý ngôn ngữ của con người hơn. Bằng cách chuyển đổi văn bản thô sang định dạng máy có thể đọc được, NER đóng vai trò là bước nền tảng cho nhiều ứng dụng AI cấp cao hơn, bao gồm truy xuất thông tin, trả lời câu hỏi và phân tích nội dung.

Các hệ thống NER hiện đại thường được xây dựng bằng các mô hình học máy , đặc biệt là các kiến trúc học sâu . Các mô hình này được đào tạo trên các tập dữ liệu lớn, có chú thích, trong đó con người đã gắn nhãn các thực thể. Thông qua dữ liệu đào tạo này, mô hình học cách nhận dạng các mẫu ngữ cảnh và đặc điểm ngôn ngữ liên quan đến các loại thực thể khác nhau. Các mô hình tiên tiến như BERT và các kiến trúc dựa trên Transformer khác rất hiệu quả trong NER vì chúng có thể xử lý toàn bộ ngữ cảnh của một câu để đưa ra dự đoán chính xác.

Ứng dụng trong thế giới thực

NER là công nghệ nền tảng hỗ trợ nhiều ứng dụng trong nhiều ngành công nghiệp khác nhau. Bằng cách cấu trúc thông tin, NER cho phép tự động hóa và cung cấp những hiểu biết giá trị.

• Đề xuất và Tìm kiếm Nội dung: Các nhà cung cấp tin tức và nền tảng nội dung sử dụng NER để quét bài viết, xác định người, địa điểm và chủ đề quan trọng, sau đó gắn thẻ nội dung cho phù hợp. Điều này cải thiện mức độ liên quan của kết quả tìm kiếm và hỗ trợ các công cụ đề xuất nội dung được cá nhân hóa. Ví dụ: một hệ thống có thể xác định "Apple Inc." là một tổ chức và "Tim Cook" là một cá nhân, từ đó liên kết các bài viết về cả hai. Đây là một thành phần quan trọng trong việc nâng cao khả năng tìm kiếm ngữ nghĩa .
• AI trong Chăm sóc Sức khỏe: Trong lĩnh vực y tế, NER được sử dụng để trích xuất thông tin quan trọng từ các ghi chú lâm sàng, bài nghiên cứu và hồ sơ bệnh nhân. Nó có thể xác định tên bệnh nhân, bệnh lý, triệu chứng, thuốc và liều lượng. Dữ liệu có cấu trúc này rất quan trọng để tăng tốc phân tích hình ảnh y tế , hợp lý hóa việc kết hợp thử nghiệm lâm sàng và xây dựng biểu đồ kiến thức toàn diện cho nghiên cứu y tế.
• Tự động hóa Hỗ trợ Khách hàng: Chatbot và hệ thống hỗ trợ sử dụng NER để hiểu các truy vấn của người dùng hiệu quả hơn. Ví dụ, trong câu "Màn hình iPhone 15 của tôi bị nứt", mô hình NER sẽ xác định "iPhone 15" là sản phẩm và "màn hình bị nứt" là sự cố. Điều này cho phép hệ thống tự động phân loại phiếu yêu cầu và chuyển đến bộ phận hỗ trợ phù hợp, giúp cải thiện hiệu quả.

NER so với các khái niệm liên quan

NER thường được sử dụng cùng với các nhiệm vụ NLP khác nhưng có trọng tâm riêng biệt:

• Phân tích tình cảm : Xác định tông cảm xúc (tích cực, tiêu cực, trung tính) được thể hiện trong văn bản. NER xác định nội dung đang được thảo luận, trong khi phân tích tình cảm xác định cảm nhận của tác giả về nội dung đó.
• Trích xuất từ khóa: Nhiệm vụ này xác định các thuật ngữ hoặc cụm từ quan trọng trong văn bản. Mặc dù một số từ khóa có thể được đặt tên là các thực thể, nhưng việc trích xuất từ khóa lại rộng hơn và ít có cấu trúc hơn. NER xác định cụ thể các thực thể và phân loại chúng thành các danh mục được xác định trước như PERSON hoặc LOCATION. Bạn có thể tìm hiểu thêm về điều này tại nguồn về trích xuất từ khóa.
• Phát hiện đối tượng : Đây là tác vụ Thị giác máy tính (CV) xác định và định vị các đối tượng trong hình ảnh bằng các kỹ thuật như hộp giới hạn . NER hoạt động hoàn toàn trên dữ liệu văn bản, trong khi các mô hình như Ultralytics YOLO thực hiện phát hiện trên dữ liệu hình ảnh cho nhiều tác vụ phát hiện khác nhau.
• Hiểu ngôn ngữ tự nhiên (NLU) : Một lĩnh vực rộng hơn bao gồm khả năng hiểu tổng thể ý nghĩa văn bản, bao gồm nhận dạng ý định và trích xuất mối quan hệ. NER được coi là một nhiệm vụ phụ cụ thể trong NLU, tập trung hoàn toàn vào việc nhận dạng và phân loại thực thể.
• Tóm tắt văn bản : Mục đích của việc này là tạo ra một bản tóm tắt ngắn gọn cho một tài liệu dài. Mặc dù có thể sử dụng NER để xác định các thực thể chính cần đưa vào bản tóm tắt, mục tiêu chính của nó là cô đọng, không phải trích xuất.

Công cụ và Nền tảng

Một hệ sinh thái mạnh mẽ gồm các công cụ và thư viện hỗ trợ phát triển các mô hình NER.

• Thư viện: Các thư viện mã nguồn mở như spaCy và NLTK được sử dụng rộng rãi và cung cấp các mô hình và công cụ được đào tạo sẵn để xây dựng các hệ thống NER tùy chỉnh. Các thư viện này xử lý các tác vụ phức tạp như phân tích mã thông báo và trích xuất đặc điểm.
• Nền tảng: Hugging Face Hub cung cấp hàng ngàn mô hình được đào tạo sẵn, bao gồm nhiều mô hình cho NER, có thể được tinh chỉnh cho các trường hợp sử dụng cụ thể. Để quản lý vòng đời mô hình từ đầu đến cuối, các nền tảng như Ultralytics HUB cung cấp các khả năng MLOps mạnh mẽ, từ đào tạo và xác thực đến triển khai mô hình cuối cùng. Mặc dù Ultralytics chuyên về CV, các nguyên tắc của MLOps lại phổ biến trên khắp các lĩnh vực AI. Bạn có thể tìm hiểu thêm chi tiết trong tài liệu của chúng tôi.