Language Modeling

Mô hình hóa ngôn ngữ là kỹ thuật thống kê cốt lõi được sử dụng để huấn luyện máy tính hiểu, tạo và dự đoán ngôn ngữ của con người. Ở cấp độ cơ bản nhất, một model ngôn ngữ xác định xác suất một chuỗi từ cụ thể xuất hiện trong một câu. Khả năng này là nền tảng cho toàn bộ lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP), cho phép máy móc vượt ra ngoài việc khớp từ khóa đơn giản để hiểu ngữ cảnh, ngữ pháp và ý định. Bằng cách phân tích lượng lớn dữ liệu huấn luyện, các hệ thống này học được khả năng thống kê về những từ nào thường theo sau nhau, từ đó cho phép chúng xây dựng các câu mạch lạc hoặc giải mã âm thanh mơ hồ trong các tác vụ nhận dạng giọng nói.

Cơ chế và quá trình phát triển#

Lịch sử của mô hình hóa ngôn ngữ phản ánh quá trình phát triển của chính Trí tuệ nhân tạo (AI). Các phiên bản đầu tiên dựa vào "n-gram", chỉ đơn giản tính xác suất thống kê của một từ dựa trên $n$ từ ngay trước đó. Tuy nhiên, các phương pháp hiện đại sử dụng Học sâu (DL) để nắm bắt những mối quan hệ phức tạp hơn nhiều.

Các model hiện đại tận dụng embeddings, chuyển đổi các từ thành các vector nhiều chiều, cho phép hệ thống hiểu rằng "king" và "queen" có liên quan về mặt ngữ nghĩa. Quá trình phát triển này đạt đến đỉnh cao với kiến trúc Transformer, sử dụng các cơ chế self-attention để xử lý toàn bộ chuỗi văn bản song song. Nhờ đó, model có thể cân nhắc tầm quan trọng của các từ bất kể khoảng cách giữa chúng trong một đoạn văn, một tính năng quan trọng để duy trì ngữ cảnh trong tạo văn bản dạng dài.

Các ứng dụng trong thực tế#

Mô hình hóa ngôn ngữ đã chuyển từ lĩnh vực nghiên cứu học thuật thành một tiện ích hỗ trợ các tương tác số hằng ngày trong nhiều ngành:

• Dịch máy: Các dịch vụ như Google Translate sử dụng các model sequence-to-sequence tiên tiến để chuyển đổi văn bản từ ngôn ngữ này sang ngôn ngữ khác. Model dự đoán xác suất của một chuỗi trong ngôn ngữ đích khi cho trước một chuỗi trong ngôn ngữ nguồn, đảm bảo độ chính xác về ngữ pháp.
• Trợ lý lập trình thông minh: Các công cụ như GitHub Copilot hoạt động như những model ngôn ngữ chuyên biệt được huấn luyện trên các kho mã nguồn. Chúng dự đoán cú pháp và logic để tự động hoàn thiện các khối mã, giúp tăng đáng kể tốc độ phát triển phần mềm.
• Văn bản dự đoán và tự động sửa lỗi: Trên các thiết bị di động, các model nhẹ thực hiện suy luận cục bộ để gợi ý từ tiếp theo trong tin nhắn, dần thích ứng với phong cách gõ cụ thể của người dùng.
• Tích hợp thị giác-ngôn ngữ: Trong lĩnh vực Thị giác máy tính (CV), các model ngôn ngữ được kết hợp với các visual encoder. Điều này cho phép phát hiện "open-vocabulary", trong đó người dùng có thể tìm kiếm đối tượng bằng mô tả ngôn ngữ tự nhiên thay vì các danh mục được định nghĩa trước.

Kết nối văn bản và thị giác#

Mặc dù mô hình hóa ngôn ngữ chủ yếu xử lý văn bản, các nguyên tắc của nó ngày càng được áp dụng vào AI đa phương thức. Các model như YOLO-World tích hợp các khả năng ngôn ngữ, cho phép người dùng xác định động các class phát hiện bằng prompt văn bản. Điều này loại bỏ nhu cầu retrain khi tìm kiếm các đối tượng mới.

Đoạn mã Python sau đây minh họa cách sử dụng package ultralytics để tận dụng các mô tả ngôn ngữ cho việc phát hiện đối tượng:

from ultralytics import YOLOWorld

# Load a model capable of understanding natural language prompts
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes using text descriptions via the language model encoder
# The model uses internal embeddings to map 'text' to 'visual features'
model.set_classes(["person in red shirt", "blue car"])

# Run inference to detect these specific text-defined objects
results = model.predict("street_scene.jpg")

# Display the results
results[0].show()

Phân biệt các khái niệm liên quan#

Việc phân biệt mô hình hóa ngôn ngữ với các thuật ngữ liên quan thường được sử dụng thay thế cho nhau là rất hữu ích:

• Mô hình hóa ngôn ngữ so với Các mô hình ngôn ngữ lớn (LLMs): Mô hình hóa ngôn ngữ là tác vụ hoặc kỹ thuật toán học nền tảng. Một LLM, chẳng hạn như dòng GPT, là một instance cụ thể, có quy mô rất lớn của một model được thiết kế để thực hiện tác vụ này và được huấn luyện trên hàng petabyte dữ liệu với hàng tỷ tham số.
• Mô hình hóa ngôn ngữ so với AI tạo sinh: AI tạo sinh là một nhóm rộng bao quát mọi AI tạo ra nội dung mới (hình ảnh, âm thanh, mã). Mô hình hóa ngôn ngữ là cơ chế cụ thể cho phép thực hiện nhóm AI tạo sinh dựa trên văn bản.
• Mô hình hóa ngôn ngữ so với Phát hiện đối tượng: Các model phát hiện truyền thống như YOLO26 được huấn luyện trên các nhãn hình ảnh cố định. Model ngôn ngữ xử lý xác suất chuỗi trong văn bản. Tuy nhiên, các công nghệ như CLIP thu hẹp khoảng cách này bằng cách học cách liên kết các khái niệm hình ảnh với các mô tả ngôn ngữ.

Thách thức và Triển vọng tương lai#

Dù hữu ích, các model ngôn ngữ vẫn phải đối mặt với những thách thức liên quan đến định kiến trong AI, vì chúng có thể vô tình tái hiện các thành kiến trong tập dữ liệu huấn luyện. Ngoài ra, việc huấn luyện các model này đòi hỏi nguồn lực tính toán rất lớn. Các giải pháp như Ultralytics Platform giúp đơn giản hóa việc quản lý dataset và workflow huấn luyện, tạo điều kiện thuận lợi cho việc fine-tune model cho các ứng dụng cụ thể. Nghiên cứu trong tương lai tập trung vào việc làm cho các model này hiệu quả hơn thông qua lượng tử hóa model, cho phép khả năng hiểu ngôn ngữ mạnh mẽ chạy trực tiếp trên các thiết bị AI biên mà không phụ thuộc vào kết nối cloud.