GPT-4

GPT-4 là model thứ tư trong dòng GPT (Transformer được tiền huấn luyện theo phương thức sinh) của OpenAI, một model đa phương thức quy mô lớn phát hành ngày 14 tháng 3 năm 2023, tiếp nhận ảnh và văn bản làm đầu vào rồi tạo văn bản. Model đạt điểm số thuộc khoảng 10% thí sinh đứng đầu trong một kỳ thi luật giả lập, trong khi GPT-3.5 chỉ nằm trong khoảng 10% cuối; model này trở thành nền tảng cho ChatGPT Plus và Bing Chat của Microsoft. Báo cáo kỹ thuật GPT-4 không công bố kiến trúc, kích thước model, phần cứng, lượng tính toán huấn luyện hay cách xây dựng dataset vì lý do cạnh tranh và an toàn; do đó, số lượng tham số của GPT-4 chưa bao giờ được công bố.

Năng lực và benchmark#

GPT-4 đạt 86.4% trên benchmark kiến thức MMLU, so với 70.0% của GPT-3.5; khi OpenAI dịch MMLU sang 26 ngôn ngữ, GPT-4 đạt điểm cao hơn điểm tiếng Anh của các model trước đó ở 24 ngôn ngữ. Phiên bản đầu tiên cung cấp cửa sổ ngữ cảnh 8,192 token, cùng phiên bản 32,768 token, trong khi GPT-3.5 có cửa sổ 4,096 token. OpenAI cũng cho biết có thể dự đoán một phần hiệu suất của GPT-4 trước khi hoàn tất huấn luyện, bằng các model được huấn luyện với lượng tính toán không quá 1/1,000 lượng tính toán của GPT-4; đây là một ứng dụng của quy luật mở rộng quy mô.

Model vẫn ảo giác. Model đạt điểm cao hơn GPT-3.5 19 điểm phần trăm trong các đánh giá nội bộ về tính chính xác trước dữ liệu đối kháng của OpenAI; dữ liệu tiền huấn luyện kết thúc vào tháng 9 năm 2021 nên model không biết về các sự kiện xảy ra sau đó. Năng lực của model cũng không đồng đều: một thử nghiệm thực địa năm 2023 với 758 chuyên gia tư vấn của Boston Consulting Group cho thấy GPT-4 nâng cao chất lượng công việc trong các tác vụ thuộc phạm vi năng lực, nhưng làm giảm độ chính xác ở một tác vụ nằm ngay ngoài phạm vi đó; hiện tượng này được gọi là trí thông minh gồ ghề.

Huấn luyện và căn chỉnh#

GPT-4 được tiền huấn luyện để dự đoán token tiếp theo trên dữ liệu công khai và được cấp phép, sau đó được tinh chỉnh bằng học tăng cường từ phản hồi của con người (RLHF). OpenAI đã dành sáu tháng căn chỉnh model trước khi phát hành và huy động hơn 50 chuyên gia kiểm thử đối kháng, một hình thức red teaming AI. Bên cạnh model phần thưởng thông thường được huấn luyện trên bảng xếp hạng sở thích của con người, OpenAI còn bổ sung các model phần thưởng dựa trên quy tắc: các bộ phân loại GPT-4 zero-shot chấm điểm từng câu trả lời theo bộ tiêu chí do con người viết, thưởng cho việc từ chối các yêu cầu gây hại và trả lời các yêu cầu đã biết là an toàn.

So với GPT-3.5, GPT-4 trả lời các yêu cầu về nội dung bị cấm ít hơn 82% và tuân thủ các chính sách của OpenAI đối với yêu cầu nhạy cảm, chẳng hạn như tư vấn y tế, nhiều hơn 29%.

Đầu vào hình ảnh#

GPT-4 có thể đọc biểu đồ, ảnh chụp màn hình, ghi chú viết tay và ảnh; bản demo ra mắt đã biến bản phác thảo website vẽ tay thành HTML hoạt động. Đầu vào hình ảnh lần đầu được cung cấp thông qua Be My Eyes, với tính năng Be My AI mô tả môi trường xung quanh cho người dùng khiếm thị và thị lực kém; tính năng này có mặt trong ChatGPT vào tháng 9 năm 2023 dưới tên GPT-4V. GPT-4 có khả năng thị giác là một model thị giác-ngôn ngữ (VLM), và các VLM mở như LLaVA đã dùng GPT-4 chỉ nhận văn bản để viết các hội thoại huấn luyện cho tinh chỉnh chỉ dẫn thị giác.

GPT-4 trả lời bằng văn bản và gặp khó khăn với các tác vụ cần định vị không gian chính xác, chẳng hạn như vẽ bounding box chính xác; vì vậy, các pipeline thị giác máy tính kết hợp nó với một model phát hiện đối tượng chuyên biệt. Giao diện LLM của Ultralytics tích hợp cả hai trong cùng một script: YOLO26 tìm và định vị đối tượng trong một frame, còn tham số image của giao diện gửi frame đó cùng prompt đến một model thị giác tương thích với OpenAI khi detection cần được mô tả bằng văn bản. Các model OpenAI ra mắt sau này như GPT-6.1 Sol và GPT-6 Astra có thể tự trả về bounding box; Bảng xếp hạng VLM đo lường độ chính xác khi các model này và những mô hình thị giác-ngôn ngữ khác phát hiện đối tượng trong dataset thực tế.

Các model kế nhiệm và liên quan#

GPT-3, phát hành năm 2020, là model chỉ xử lý văn bản với 175 tỷ tham số và ngữ cảnh 2.048 token. GPT-4 Turbo, được công bố vào tháng 11 năm 2023, tăng ngữ cảnh lên 128.000 token với mức giá thấp hơn. GPT-4o, phát hành tháng 5 năm 2024, xử lý văn bản, âm thanh và hình ảnh trong cùng một mạng, đồng thời phản hồi bằng giọng nói chỉ trong 232 mili giây; GPT-4.1 đưa ngữ cảnh 1 triệu token lên API vào tháng 4 năm 2025. Các model suy luận như o1 đi theo hướng khác, được huấn luyện bằng học tăng cường để viết chuỗi suy nghĩ dài trước khi trả lời; còn GPT-5 kết hợp các model nhanh và model suy luận phía sau một bộ định tuyến vào tháng 8 năm 2025.

OpenAI thay GPT-4 bằng GPT-4o trong ChatGPT vào ngày 30 tháng 4 năm 2025; lịch ngừng hỗ trợ đặt ngày 23 tháng 10 năm 2026 làm ngày đóng API đối với gpt-4 và gpt-4-turbo, với gpt-5.6-sol là lựa chọn thay thế được đề xuất.