Ảo giác (trong LLM)

Trong bối cảnh của Mô hình ngôn ngữ lớn (LLM), ảo giác đề cập đến một hiện tượng trong đó mô hình tạo ra văn bản tự tin và nghe có vẻ правдоподобно, nhưng không chính xác về mặt thực tế, vô nghĩa hoặc không dựa trên dữ liệu nguồn được cung cấp. Các mô hình này, được thiết kế để tạo văn bản nâng cao, đôi khi có thể phát minh ra các sự kiện, nguồn hoặc chi tiết, trình bày chúng như thể chúng là sự thật. Điều này xảy ra vì mục tiêu chính của LLM là dự đoán từ tiếp theo trong một chuỗi để tạo thành các câu mạch lạc, chứ không phải xác minh tính правдивость của thông tin mà nó tạo ra. Hiểu và giảm thiểu ảo giác là một thách thức trung tâm trong việc làm cho AI tạo sinh đáng tin cậy hơn.

Tại sao LLM lại tạo ra ảo giác (Hallucinate)?

Ảo giác không phải là sự lừa dối có chủ ý mà là sản phẩm phụ của cách LLM được xây dựng và đào tạo. Các nguyên nhân chính bao gồm:

• Sự không hoàn hảo của dữ liệu huấn luyện: Các mô hình như GPT-3 và GPT-4 học hỏi từ khối lượng văn bản khổng lồ từ internet, điều này không thể tránh khỏi việc chứa các lỗi, thông tin lỗi thời và thiên kiến thuật toán. Mô hình học các mẫu này từ dữ liệu huấn luyện của nó mà không có sự hiểu biết vốn có về sự thật.
• Thiết kế kiến trúc: Kiến trúc Transformer cơ bản được tối ưu hóa để khớp mẫu và mô hình hóa ngôn ngữ, chứ không phải để nhớ lại dữ kiện hoặc suy luận logic. Điều này có thể dẫn đến điều mà một số nhà nghiên cứu gọi là "con vẹt ngẫu nhiên," một thực thể có thể bắt chước ngôn ngữ mà không hiểu ý nghĩa của nó.
• Tính mơ hồ trong thời gian suy luận: Trong quá trình tạo, nếu mô hình không chắc chắn về token tốt nhất tiếp theo, nó có thể "lấp đầy khoảng trống" bằng thông tin правдоподобный nhưng bịa đặt. Điều chỉnh các tham số suy luận như nhiệt độ đôi khi có thể giảm điều này, nhưng nó vẫn là một thách thức cốt lõi. Để có cái nhìn tổng quan về mặt kỹ thuật, hãy xem khảo sát về ảo giác LLM từ arXiv này.

Các ví dụ thực tế về ảo giác

• Nghiên cứu pháp lý: Một luật sư sử dụng trợ lý AI để nghiên cứu vụ án đã yêu cầu nó tìm các tiền lệ pháp lý. Chatbot này đã trích dẫn một số vụ án tòa án hoàn toàn bịa đặt, bao gồm tên vụ án và phân tích pháp lý, nghe có vẻ hợp lý nhưng không tồn tại. Sự cố có thật này đã làm nổi bật những rủi ro nghiêm trọng khi triển khai LLM trong các lĩnh vực có tính rủi ro cao mà không có kiểm tra thực tế mạnh mẽ.
• Đề xuất Sản phẩm: Người dùng yêu cầu chatbot cho "balo đi bộ đường dài tốt nhất có tích hợp tấm pin mặt trời." LLM có thể tự tin đề xuất một kiểu máy cụ thể, mô tả chi tiết các tính năng của nó, ngay cả khi sự kết hợp tính năng hoặc sản phẩm cụ thể đó không tồn tại. Mô hình kết hợp các khái niệm từ dữ liệu huấn luyện của nó để tạo ra một sản phẩm правдоподобный nhưng hư cấu.

Cách giảm thiểu Hallucination (ảo giác)

Các nhà nghiên cứu và nhà phát triển đang tích cực làm việc trên một số chiến lược giảm thiểu:

• Retrieval-Augmented Generation (RAG): Kỹ thuật này trang bị cho LLM khả năng truy xuất thông tin từ cơ sở tri thức bên ngoài, có thẩm quyền (như vector database (cơ sở dữ liệu vector)) trước khi tạo câu trả lời. Bằng cách neo mô hình vào các sự kiện có thể kiểm chứng, RAG giảm đáng kể các thông tin sai lệch. Bạn có thể tìm hiểu thêm về cách RAG hoạt động từ IBM Research.
• Các kỹ thuật Prompting tốt hơn: Các phương pháp như Chain-of-Thought prompting khuyến khích mô hình chia nhỏ quá trình suy luận theo từng bước, điều này có thể dẫn đến kết quả chính xác hơn. Nghiên cứu gốc về Chain-of-Thought cho thấy hiệu quả của nó.
• Học tăng cường từ phản hồi của con người (Reinforcement Learning from Human Feedback - RLHF): Các mô hình được tinh chỉnh bằng RLHF, trong đó người đánh giá là con người đánh giá các phản hồi khác nhau của mô hình. Phản hồi này huấn luyện mô hình ưu tiên các câu trả lời trung thực và hữu ích, một quy trình được trình bày chi tiết bởi các tổ chức như OpenAI và Anthropic.
• Các lớp kiểm tra và xác minh tính xác thực: Triển khai một quy trình riêng biệt để kiểm tra chéo các tuyên bố do LLM đưa ra so với các nguồn đáng tin cậy trước khi trình bày kết quả cho người dùng. Điều này bổ sung thêm một lớp phát triển AI có trách nhiệm.
• Bộ dữ liệu chất lượng cao và tinh chỉnh: Liên tục cải thiện chất lượng dữ liệu được sử dụng để huấn luyện và thực hiện tinh chỉnh trên các bộ dữ liệu cụ thể, chất lượng cao có thể giúp điều chỉnh một mô hình nền tảng (foundation model) phù hợp với độ chính xác thực tế.

Ảo giác so với các lỗi AI khác

• Độ lệch trong AI: Độ lệch trong AI đề cập đến các lỗi hệ thống, trong đó đầu ra của mô hình ưu ái một cách không công bằng cho các nhóm nhất định, thường phản ánh các độ lệch xã hội hoặc độ lệch tập dữ liệu. Ảo giác là về sự không chính xác thực tế, không nhất thiết là thành kiến. Cả hai đều là những mối quan tâm nghiêm trọng trong đạo đức AI.
• Lỗi thị giác máy tính: Khái niệm ảo giác chủ yếu liên quan đến Xử lý ngôn ngữ tự nhiên (NLP). Trong Thị giác máy tính (CV), một lỗi thường có nghĩa là một mô hình như Ultralytics YOLO mắc lỗi trong nhận diện đối tượng (ví dụ: phân loại sai một con mèo là một con chó) hoặc không phát hiện được một đối tượng, điều này liên quan đến độ chính xác của nó. Đây là một lỗi về nhận thức, không phải là một sự phát minh ra thông tin. Tuy nhiên, khi các mô hình đa phương thức kết hợp thị giác và ngôn ngữ trở nên phổ biến hơn, chúng cũng có thể "tạo ảo giác" các mô tả không chính xác về hình ảnh. Việc quản lý cả hai loại mô hình có thể được hợp lý hóa trên các nền tảng như Ultralytics HUB.