Mô hình hóa ngôn ngữ

Mô hình hóa ngôn ngữ là một nhiệm vụ cơ bản trong Trí tuệ Nhân tạo (AI) và là một thành phần cốt lõi của Xử lý Ngôn ngữ Tự nhiên (NLP). Nó liên quan đến việc phát triển các mô hình có thể dự đoán khả năng xảy ra của một chuỗi các từ. Về cốt lõi, một mô hình ngôn ngữ học các mẫu, ngữ pháp và ngữ cảnh của một ngôn ngữ từ lượng lớn dữ liệu văn bản. Điều này cho phép nó xác định xác suất của một từ nhất định xuất hiện tiếp theo trong một câu. Ví dụ: cho cụm từ "con mèo đang ngồi trên," một mô hình ngôn ngữ được huấn luyện tốt sẽ gán một xác suất cao cho từ "chiếu" và một xác suất rất thấp cho từ "khoai tây." Khả năng dự đoán này là nền tảng cho nhiều ứng dụng AI dựa trên ngôn ngữ.

Mô hình hóa ngôn ngữ hoạt động như thế nào?

Mô hình hóa ngôn ngữ là một nhiệm vụ trong Machine Learning (ML), trong đó một mô hình được huấn luyện để hiểu và tạo ra ngôn ngữ của con người. Quá trình này bắt đầu bằng cách cung cấp cho mô hình các tập dữ liệu văn bản khổng lồ, chẳng hạn như nội dung của Wikipedia hoặc một bộ sưu tập lớn các cuốn sách. Bằng cách phân tích dữ liệu này, mô hình học các mối quan hệ thống kê giữa các từ.

Các mô hình ngôn ngữ hiện đại phụ thuộc nhiều vào Học sâu (DL) và thường được xây dựng bằng các kiến trúc Mạng nơ-ron (NN). Kiến trúc Transformer, được giới thiệu trong bài báo "Attention Is All You Need," đã đặc biệt mang tính cách mạng. Nó sử dụng một cơ chế attention cho phép mô hình cân nhắc tầm quan trọng của các từ khác nhau trong văn bản đầu vào, cho phép nó nắm bắt các phụ thuộc tầm xa phức tạp và hiểu ngữ cảnh hiệu quả hơn. Việc huấn luyện mô hình bao gồm điều chỉnh trọng số mô hình bên trong của nó để giảm thiểu sự khác biệt giữa các dự đoán của nó và các chuỗi văn bản thực tế trong dữ liệu huấn luyện, một quá trình được tối ưu hóa bằng cách sử dụng lan truyền ngược.

Ứng dụng thực tế của mô hình hóa ngôn ngữ

Khả năng của các mô hình ngôn ngữ đã dẫn đến việc tích hợp chúng vào nhiều công nghệ mà chúng ta sử dụng hàng ngày.

• Văn bản dự đoán và Tự động hoàn thành: Khi bàn phím điện thoại thông minh của bạn gợi ý từ tiếp theo khi bạn nhập, nó đang sử dụng mô hình ngôn ngữ. Bằng cách phân tích chuỗi các từ bạn đã viết, nó dự đoán từ có khả năng nhất sẽ theo sau, giúp tăng tốc giao tiếp. Công nghệ này là một tính năng cốt lõi của các hệ thống như Gboard của Google.
• Dịch máy: Các dịch vụ như Google Dịch và DeepL sử dụng các mô hình ngôn ngữ phức tạp để dịch văn bản giữa các ngôn ngữ. Chúng không chỉ thực hiện thay thế từ theo từ; thay vào đó, chúng phân tích ý nghĩa và cấu trúc của văn bản nguồn để tạo ra một bản dịch chính xác về mặt ngữ pháp và phù hợp với ngữ cảnh trong ngôn ngữ đích. Đây là một ứng dụng của mô hình sequence-to-sequence.
• Tóm tắt và tạo nội dung: Các mô hình ngôn ngữ được sử dụng để tạo văn bản, nơi chúng có thể viết bài báo, email hoặc truyện sáng tạo. Chúng cũng cung cấp sức mạnh cho các công cụ tóm tắt văn bản giúp cô đọng các tài liệu dài thành các bản tóm tắt ngắn gọn và là cốt lõi của chatbot tương tác.

Các Khái Niệm Liên Quan

Việc phân biệt mô hình ngôn ngữ với các thuật ngữ liên quan là rất hữu ích:

• Xử lý ngôn ngữ tự nhiên (NLP): Mô hình ngôn ngữ là một lĩnh vực con hoặc nhiệm vụ cốt lõi trong NLP. NLP là lĩnh vực rộng lớn hơn liên quan đến việc cho phép máy tính xử lý, phân tích và hiểu ngôn ngữ của con người nói chung. Xem tổng quan về NLP của chúng tôi.
• Mô hình ngôn ngữ lớn (Large Language Models - LLMs): Về cơ bản, đây là những mô hình ngôn ngữ rất lớn và mạnh mẽ, thường được xây dựng bằng kiến trúc Transformer và được huấn luyện trên các bộ dữ liệu khổng lồ, thường tận dụng các nguyên tắc Dữ liệu lớn (Big Data). Ví dụ bao gồm các mô hình như GPT-4 và BERT. LLM thường được coi là Mô hình nền tảng (Foundation Models), một khái niệm được trình bày chi tiết bởi Trung tâm Nghiên cứu về Mô hình Nền tảng (CRFM) của Stanford.
• Thị giác máy tính (CV): Trong khi các mô hình ngôn ngữ xử lý văn bản, thì CV tập trung vào việc cho phép máy móc diễn giải và hiểu thông tin trực quan từ hình ảnh và video. Các tác vụ bao gồm phát hiện đối tượng, phân loại hình ảnh và phân đoạn hình ảnh, thường được giải quyết bởi các mô hình như Ultralytics YOLO. Sự giao thoa của các lĩnh vực này được khám phá trong Mô hình đa phương thức và Mô hình ngôn ngữ thị giác, xử lý cả dữ liệu văn bản và hình ảnh. Các nền tảng như Ultralytics HUB hợp lý hóa việc huấn luyện và triển khai các mô hình AI khác nhau, bao gồm cả các mô hình cho các tác vụ thị giác. Bạn có thể khám phá nhiều tác vụ CV được Ultralytics hỗ trợ.