Bảng chú giải thuật ngữ

Xử lý Ngôn ngữ Tự nhiên (NLP)

Khám phá Xử lý ngôn ngữ tự nhiên (NLP), công nghệ cho phép máy tính hiểu, diễn giải và thao tác ngôn ngữ của con người.

Xử lý Ngôn ngữ Tự nhiên (NLP) là một nhánh chuyên biệt của Trí tuệ Nhân tạo (AI) và khoa học máy tính , tập trung vào sự tương tác giữa máy tính và con người thông qua ngôn ngữ tự nhiên. Mục tiêu cuối cùng của NLP là đọc, giải mã, hiểu và diễn đạt ngôn ngữ của con người một cách có giá trị. Nó thu hẹp khoảng cách giữa giao tiếp của con người và khả năng hiểu của máy tính, cho phép các hệ thống xử lý khối lượng lớn dữ liệu văn bản và lời nói phi cấu trúc một cách hiệu quả. Từ chatbot đến dịch vụ dịch thuật, NLP hỗ trợ nhiều tương tác kỹ thuật số mà chúng ta trải nghiệm hàng ngày.

NLP hoạt động như thế nào

Các hệ thống NLP chia nhỏ ngôn ngữ thành những phần cơ bản, ngắn gọn hơn để hiểu mối quan hệ giữa chúng và cách chúng phối hợp với nhau để tạo nên ý nghĩa. Quá trình này bao gồm một số giai đoạn và công nghệ chính:

• Phân chia mã thông báo : Bước đầu tiên trong hầu hết các quy trình NLP, trong đó văn bản thô được chia thành các đơn vị nhỏ hơn gọi là mã thông báo (từ, từ phụ hoặc ký tự).
• Mô hình thống kê: NLP ban đầu dựa trên các hệ thống dựa trên quy tắc, nhưng các phương pháp hiện đại sử dụng Học máy (ML) để tìm hiểu các mẫu từ các tập dữ liệu lớn.
• Học sâu (DL) : Mạng nơ-ron tiên tiến, đặc biệt là Mạng nơ-ron hồi quy (RNN) và Bộ biến đổi (Transformers ), đã cách mạng hóa lĩnh vực này. Kiến trúc Transformer, được giới thiệu trong bài báo "Attention Is All You Need" (Chỉ cần chú ý ), cho phép các mô hình xử lý các phụ thuộc tầm xa trong văn bản và là nền tảng của các Mô hình Ngôn ngữ Lớn (LLM) hiện đại như GPT-4 và BERT.

Các Ứng dụng Thực tế

NLP là một phần không thể thiếu của nhiều công nghệ hiện đại. Dưới đây là hai ví dụ cụ thể về ứng dụng của nó:

1. Phân tích cảm xúc trong tài chính và bán lẻ: Các doanh nghiệp và tổ chức tài chính sử dụng NLP để đánh giá dư luận bằng cách phân tích văn bản từ mạng xã hội, tin tức và đánh giá của khách hàng. Bằng cách phân loại giọng điệu cảm xúc của văn bản thành tích cực, tiêu cực hoặc trung tính, các công ty có thể dự đoán xu hướng thị trường chứng khoán hoặc đánh giá uy tín thương hiệu. Các công cụ như bộ Stanford CoreNLP thường được sử dụng cho những nhiệm vụ này.
2. Tài liệu Lâm sàng trong Chăm sóc Sức khỏe : Trong lĩnh vực y tế, NLP tự động trích xuất thông tin quan trọng từ các ghi chú lâm sàng phi cấu trúc, chẳng hạn như triệu chứng, chẩn đoán và thuốc của bệnh nhân. Điều này tự động hóa các quy trình mã hóa (như ICD-10), cải thiện dự đoán rủi ro cho bệnh nhân và hợp lý hóa quy trình làm việc hành chính, như được nhấn mạnh bởi nghiên cứu từ các tổ chức như Viện Y tế Quốc gia (NIH) .

NLP so với các khái niệm liên quan

Mặc dù NLP là một lĩnh vực rộng, nhưng nó thường bị nhầm lẫn với các lĩnh vực phụ cụ thể hoặc các công nghệ liên quan:

• Hiểu Ngôn ngữ Tự nhiên (NLU) : NLU là một tập hợp con của NLP tập trung cụ thể vào khả năng hiểu đọc của máy - xác định ý nghĩa và mục đích đằng sau văn bản. Trong khi NLP bao gồm xử lý và tạo ra, NLU chỉ tập trung vào việc hiểu.
• Thị giác Máy tính (CV) : CV tập trung vào việc diễn giải dữ liệu trực quan (hình ảnh/video), trong khi NLP tập trung vào dữ liệu ngôn ngữ. Tuy nhiên, hai lĩnh vực này ngày càng hội tụ trong các ứng dụng AI đa phương thức , chẳng hạn như chú thích hình ảnh hoặc trả lời câu hỏi trực quan. Ultralytics chuyên về CV với các mô hình như YOLO11 , nhưng tích hợp CV với NLP một cách hiệu quả (ví dụ, thông qua YOLO -World ) cho phép phát hiện từ vựng mở bằng cách sử dụng lời nhắc văn bản.

Ví dụ về mã: Nhận dạng thực thể có tên

Một nhiệm vụ NLP phổ biến là Nhận dạng thực thể có tên (Named Entity Recognition - NER), dùng để xác định và phân loại các thực thể chính trong văn bản. Ví dụ sau sử dụng spaCy thư viện để trích xuất các thực thể, một quy trình làm việc tương tự như cách người ta có thể sử dụng ultralytics để phát hiện vật thể.

# Install spaCy: pip install spacy
# Download model: python -m spacy download en_core_web_sm
import spacy

# Load a pre-trained standard NLP model
nlp = spacy.load("en_core_web_sm")

# Process a text string containing entities
text = "Ultralytics launched YOLO11 in Madrid this year."
doc = nlp(text)

# Iterate over detected entities and print their label
for ent in doc.ents:
    print(f"Entity: '{ent.text}' | Label: {ent.label_}")
# Output: Entity: 'Ultralytics' | Label: ORG, Entity: 'YOLO11' | Label: PRODUCT, ...

Các công cụ và tài nguyên NLP chính

Việc phát triển các ứng dụng NLP đòi hỏi những công cụ mạnh mẽ. Hệ sinh thái Python cung cấp các thư viện tuyệt vời:

• spaCy : Được thiết kế để sử dụng trong sản xuất, cung cấp các mô hình được đào tạo trước nhanh chóng và chính xác cho nhiều ngôn ngữ.
• NLTK (Bộ công cụ ngôn ngữ tự nhiên) : Nền tảng hàng đầu để xây dựng Python các chương trình làm việc với dữ liệu ngôn ngữ của con người, lý tưởng cho việc giảng dạy và nghiên cứu.
• Nền tảng Ultralytics : Mặc dù tập trung vào tầm nhìn, nền tảng này hỗ trợ vòng đời của các mô hình AI và với sự gia tăng của các mô hình đa phương thức, nền tảng này tạo điều kiện thuận lợi cho việc quản lý các hệ thống AI phức tạp.

Để hiểu sâu hơn về cách NLP và Thị giác máy tính kết hợp với nhau, hãy đọc hướng dẫn của chúng tôi về cách kết nối NLP và Thị giác máy tính .