Ảo giác (trong LLM)

Trong bối cảnh của Mô hình Ngôn ngữ Lớn (LLM), ảo giác đề cập đến hiện tượng mô hình tạo ra văn bản có vẻ tự tin và hợp lý nhưng lại sai lệch về mặt thực tế, vô nghĩa hoặc không dựa trên dữ liệu nguồn được cung cấp. Các mô hình này, được thiết kế cho việc tạo văn bản nâng cao, đôi khi có thể bịa đặt các sự kiện, nguồn hoặc chi tiết, trình bày chúng như thể chúng là sự thật. Điều này xảy ra bởi vì mục tiêu chính của LLM là dự đoán từ tiếp theo trong một chuỗi để tạo thành các câu mạch lạc, chứ không phải để xác minh tính xác thực của thông tin mà nó tạo ra. Việc hiểu và giảm thiểu ảo giác là một thách thức cốt lõi trong việc làm cho Trí tuệ Nhân tạo (AI) trở nên đáng tin cậy hơn.

Tại sao những người học LLM lại bị ảo giác?

Ảo giác không phải là sự lừa dối cố ý mà là sản phẩm phụ của quá trình xây dựng và đào tạo các LLM. Các nguyên nhân chính bao gồm:

• Dữ liệu huấn luyện không hoàn hảo: Các mô hình như GPT-3 và GPT-4 học từ khối lượng lớn văn bản trên internet, vốn không tránh khỏi việc chứa lỗi, thông tin lỗi thời và sai lệch thuật toán . Mô hình học các mẫu này từ dữ liệu huấn luyện mà không có sự hiểu biết vốn có về sự thật.
• Thiết kế Kiến trúc: Kiến trúc Transformer cơ bản được tối ưu hóa cho việc so khớp mẫu và mô hình hóa ngôn ngữ , chứ không phải cho việc nhớ lại sự kiện hay suy luận logic. Điều này có thể dẫn đến cái mà một số nhà nghiên cứu gọi là " con vẹt ngẫu nhiên ", một thực thể có thể bắt chước ngôn ngữ mà không hiểu nghĩa của nó.
• Sự mơ hồ về thời gian suy luận: Trong quá trình tạo, nếu mô hình không chắc chắn về mã thông báo tốt nhất tiếp theo, nó có thể "lấp đầy khoảng trống" bằng thông tin hợp lý nhưng bịa đặt. Việc điều chỉnh các tham số suy luận như nhiệt độ đôi khi có thể giảm thiểu điều này, nhưng đây vẫn là một thách thức cốt lõi. Để biết tổng quan kỹ thuật, hãy xem khảo sát này về ảo giác LLM từ arXiv .

Ví dụ thực tế về ảo giác

• Nghiên cứu Pháp lý: Một luật sư sử dụng trợ lý AI để nghiên cứu vụ án đã yêu cầu nó tìm kiếm tiền lệ pháp lý. Chatbot đã trích dẫn một số vụ án hoàn toàn bịa đặt, bao gồm tên vụ án và phân tích pháp lý, có vẻ hợp lý nhưng không tồn tại. Sự cố thực tế này đã nêu bật những rủi ro nghiêm trọng khi triển khai chương trình Thạc sĩ Luật (LLM) trong các lĩnh vực rủi ro cao mà không có sự kiểm tra thực tế chặt chẽ.
• Đề xuất sản phẩm: Người dùng yêu cầu chatbot giới thiệu "ba lô đi bộ đường dài tốt nhất có tích hợp tấm pin năng lượng mặt trời". LLM có thể tự tin đề xuất một mẫu cụ thể, mô tả chi tiết các tính năng của nó, ngay cả khi sản phẩm hoặc tính năng cụ thể đó không tồn tại. Mô hình kết hợp các khái niệm từ dữ liệu đào tạo để tạo ra một sản phẩm hợp lý nhưng hư cấu.

Làm thế nào để giảm ảo giác

Các nhà nghiên cứu và nhà phát triển đang tích cực nghiên cứu một số chiến lược giảm thiểu:

• Retrieval-Augmented Generation (RAG): Kỹ thuật này trang bị cho LLM khả năng truy xuất thông tin từ một cơ sở tri thức bên ngoài, có thẩm quyền (như cơ sở dữ liệu vector ) trước khi tạo ra câu trả lời. Bằng cách dựa trên các dữ liệu có thể kiểm chứng, RAG giảm đáng kể việc bịa đặt. Bạn có thể tìm hiểu thêm về cách thức hoạt động của RAG tại IBM Research .
• Kỹ thuật Gợi ý Tốt hơn: Các phương pháp như gợi ý Chuỗi Suy nghĩ khuyến khích mô hình phân tích lý luận theo từng bước, từ đó có thể đưa ra kết quả chính xác hơn. Bài nghiên cứu gốc về Chuỗi Suy nghĩ đã chứng minh tính hiệu quả của nó.
• Học Tăng cường từ Phản hồi của Con người (RLHF): Các mô hình được tinh chỉnh bằng RLHF, trong đó người đánh giá sẽ đánh giá các phản hồi khác nhau của mô hình. Phản hồi này huấn luyện mô hình ưu tiên các câu trả lời trung thực và hữu ích, một quy trình được các tổ chức như OpenAI và Anthropic mô tả chi tiết.
• Lớp Kiểm tra và Xác minh Sự thật: Triển khai một quy trình riêng biệt để kiểm tra chéo các tuyên bố của LLM với các nguồn đáng tin cậy trước khi trình bày kết quả cho người dùng. Điều này bổ sung thêm một lớp phát triển AI có trách nhiệm .
• Bộ dữ liệu chất lượng cao và tinh chỉnh: Việc liên tục cải thiện chất lượng dữ liệu được sử dụng để đào tạo và thực hiện tinh chỉnh trên các bộ dữ liệu cụ thể, chất lượng cao có thể giúp căn chỉnh mô hình nền tảng với độ chính xác thực tế.

Ảo giác so với các lỗi AI khác

• Thiên kiến trong AI: Thiên kiến trong AI đề cập đến các lỗi hệ thống trong đó kết quả đầu ra của mô hình thiên vị một cách không công bằng đối với một số nhóm nhất định, thường phản ánh thiên kiến xã hội hoặc thiên kiến tập dữ liệu . Ảo giác liên quan đến sự không chính xác về mặt thực tế, không nhất thiết là định kiến. Cả hai đều là những vấn đề nghiêm trọng trong đạo đức AI .
• Lỗi Thị giác Máy tính: Khái niệm ảo giác chủ yếu liên quan đến Xử lý Ngôn ngữ Tự nhiên (NLP) . Trong Thị giác Máy tính (CV) , lỗi thường có nghĩa là một mô hình như Ultralytics YOLO mắc lỗi trong việc phát hiện đối tượng (ví dụ: phân loại nhầm mèo thành chó) hoặc không phát hiện được đối tượng, điều này liên quan đến độ chính xác của nó. Đây là lỗi nhận thức, không phải là sự sáng tạo thông tin. Tuy nhiên, khi các mô hình đa phương thức kết hợp thị giác và ngôn ngữ trở nên phổ biến hơn, chúng cũng có thể "ảo giác hóa" các mô tả hình ảnh không chính xác. Việc quản lý cả hai loại mô hình có thể được đơn giản hóa trên các nền tảng như Ultralytics HUB .