Language Modeling

Language modeling là kỹ thuật thống kê cốt lõi được sử dụng để huấn luyện máy tính hiểu, tạo và dự đoán ngôn ngữ con người. Ở cấp độ cơ bản nhất, một mô hình ngôn ngữ xác định xác suất của một chuỗi từ cụ thể xuất hiện trong một câu. Khả năng này đóng vai trò là nền tảng cho toàn bộ lĩnh vực Natural Language Processing (NLP), cho phép máy móc vượt xa việc so khớp từ khóa đơn thuần để hiểu ngữ cảnh, ngữ pháp và ý định. Bằng cách phân tích một lượng lớn training data, các hệ thống này học được xác suất thống kê về việc từ nào thường theo sau từ khác, cho phép chúng xây dựng các câu mạch lạc hoặc giải mã âm thanh mơ hồ trong các tác vụ speech recognition.

Link to this sectionCác cơ chế và sự phát triển#

Lịch sử của language modeling phản ánh sự tiến hóa của chính Artificial Intelligence (AI). Các phiên bản sơ khai dựa vào "n-grams", vốn chỉ đơn giản tính toán xác suất thống kê của một từ dựa trên $n$ từ ngay trước nó. Tuy nhiên, các phương pháp hiện đại tận dụng Deep Learning (DL) để nắm bắt các mối quan hệ phức tạp hơn nhiều.

Các mô hình đương đại tận dụng embeddings, vốn chuyển đổi từ ngữ thành các vectơ nhiều chiều, cho phép hệ thống hiểu rằng "king" và "queen" có liên quan về mặt ngữ nghĩa. Sự tiến hóa này lên đến đỉnh điểm với kiến trúc Transformer, sử dụng các cơ chế self-attention để xử lý toàn bộ các chuỗi văn bản song song. Điều này cho phép mô hình cân nhắc tầm quan trọng của các từ bất kể khoảng cách của chúng với nhau trong một đoạn văn, một tính năng quan trọng để duy trì ngữ cảnh trong các tác vụ text generation dài.

Link to this sectionCác ứng dụng trong thực tế#

Language modeling đã chuyển mình từ nghiên cứu học thuật trở thành một tiện ích cung cấp năng lượng cho các tương tác kỹ thuật số hàng ngày trên nhiều ngành công nghiệp:

• Machine Translation: Các dịch vụ như Google Translate sử dụng các mô hình sequence-to-sequence tiên tiến để chuyển đổi văn bản từ ngôn ngữ này sang ngôn ngữ khác. Mô hình dự đoán xác suất của một chuỗi ngôn ngữ mục tiêu dựa trên một chuỗi ngôn ngữ nguồn, đảm bảo tính chính xác về ngữ pháp.
• Trợ lý lập trình thông minh: Các công cụ như GitHub Copilot hoạt động như những mô hình ngôn ngữ chuyên biệt được huấn luyện trên các kho lưu trữ mã nguồn. Chúng dự đoán cú pháp và logic để tự động hoàn thành các khối mã, tăng tốc đáng kể quá trình phát triển phần mềm.
• Dự đoán văn bản và tự động sửa lỗi: Trên các thiết bị di động, các mô hình nhẹ thực hiện inference cục bộ để gợi ý từ tiếp theo trong tin nhắn, thích nghi với phong cách gõ phím cụ thể của người dùng theo thời gian.
• Tích hợp thị giác-ngôn ngữ: Trong lĩnh vực Computer Vision (CV), các mô hình ngôn ngữ được kết hợp với các bộ mã hóa hình ảnh (visual encoders). Điều này cho phép phát hiện "open-vocabulary" (từ vựng mở), nơi người dùng có thể tìm kiếm các đối tượng bằng các mô tả ngôn ngữ tự nhiên thay vì các danh mục được xác định trước.

Link to this sectionKết nối văn bản và thị giác#

Trong khi language modeling chủ yếu xử lý văn bản, các nguyên lý của nó ngày càng được áp dụng vào Multimodal AI. Các mô hình như YOLO-World tích hợp các khả năng ngôn ngữ, cho phép người dùng xác định các lớp phát hiện một cách linh hoạt bằng cách sử dụng các câu lệnh văn bản (text prompts). Điều này loại bỏ nhu cầu huấn luyện lại khi tìm kiếm các đối tượng mới.

Đoạn mã Python sau đây trình bày cách sử dụng gói ultralytics để tận dụng các mô tả ngôn ngữ cho việc phát hiện đối tượng:

from ultralytics import YOLOWorld

# Load a model capable of understanding natural language prompts
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes using text descriptions via the language model encoder
# The model uses internal embeddings to map 'text' to 'visual features'
model.set_classes(["person in red shirt", "blue car"])

# Run inference to detect these specific text-defined objects
results = model.predict("street_scene.jpg")

# Display the results
results[0].show()

Link to this sectionPhân biệt các khái niệm liên quan#

Việc phân biệt language modeling với các thuật ngữ liên quan thường được sử dụng thay thế cho nhau là rất hữu ích:

• Language Modeling so với Large Language Models (LLMs): Language modeling là tác vụ hoặc kỹ thuật toán học cơ bản. Một LLM, chẳng hạn như dòng GPT, là một thể hiện cụ thể, khổng lồ của một mô hình được thiết kế để thực hiện tác vụ này, được huấn luyện trên hàng petabyte dữ liệu với hàng tỷ tham số.
• Language Modeling so với Generative AI: Generative AI là một danh mục rộng bao gồm bất kỳ AI nào tạo ra nội dung mới (hình ảnh, âm thanh, mã nguồn). Language modeling là cơ chế cụ thể cho phép phân khúc dựa trên văn bản của Generative AI.
• Language Modeling so với Object Detection: Các mô hình phát hiện truyền thống như YOLO26 được huấn luyện trên các nhãn hình ảnh cố định. Các mô hình ngôn ngữ xử lý xác suất chuỗi trong văn bản. Tuy nhiên, các công nghệ như CLIP thu hẹp khoảng cách này bằng cách học cách liên kết các khái niệm thị giác với các mô tả ngôn ngữ.

Link to this sectionNhững thách thức và Triển vọng tương lai#

Bất chấp tính hữu dụng, các mô hình ngôn ngữ phải đối mặt với những thách thức liên quan đến bias in AI, vì chúng có thể vô tình tái tạo lại các định kiến có trong tập dữ liệu huấn luyện của chúng. Hơn nữa, việc huấn luyện các mô hình này đòi hỏi nguồn lực tính toán khổng lồ. Các giải pháp như Ultralytics Platform giúp hợp lý hóa việc quản lý tập dữ liệu và các quy trình huấn luyện, giúp việc tinh chỉnh mô hình cho các ứng dụng cụ thể trở nên dễ dàng hơn. Nghiên cứu trong tương lai tập trung vào việc làm cho các mô hình này hiệu quả hơn thông qua model quantization, cho phép khả năng hiểu ngôn ngữ mạnh mẽ chạy trực tiếp trên các thiết bị edge AI mà không cần phụ thuộc vào kết nối đám mây.