Các cập nhật mới nhất của OpenAI: Canvas, tinh chỉnh Vision và hơn thế nữa

Lần gần nhất chúng ta tìm hiểu về các model o1 của OpenAI là vào tháng 9 (các model này được thiết kế để cải thiện khả năng suy luận); kể từ đó, ChatGPT đã được bổ sung nhiều tính năng mới thú vị. Một số bản phát hành hướng đến nhà phát triển, trong khi những bản khác tập trung cải thiện trải nghiệm người dùng. Nhìn chung, mỗi lần nâng cấp đều giúp tương tác với ChatGPT trực quan và hiệu quả hơn.

Các bản cập nhật như Canvas, được thiết kế để hỗ trợ viết và lập trình cộng tác, cùng với tính năng fine-tuning cải thiện khả năng xử lý hình ảnh của ChatGPT, đã thu hút nhiều sự quan tâm và khuyến khích người dùng khám phá thêm các khả năng sáng tạo. Trong khi đó, những nâng cấp kỹ thuật như API mới và báo cáo kiểm thử công bằng giải quyết các khía cạnh như tích hợp model và thực hành AI có đạo đức. Hãy cùng xem xét kỹ hơn các tính năng ChatGPT mới nhất của OpenAI.

Tổng quan về tính năng Canvas của OpenAI#

Canvas là bản cập nhật lớn đầu tiên cho giao diện người dùng (UI) của ChatGPT kể từ khi sản phẩm ra mắt. Đây là giao diện mới với bố cục hai màn hình, prompt ở thanh bên trái và câu trả lời trong cửa sổ bên phải. UI mới thay thế quy trình làm việc thông thường với cấu trúc trò chuyện trên một màn hình bằng bố cục hai màn hình phù hợp cho đa nhiệm, giúp tăng năng suất.

Hình 1. Canvas mang đến các cập nhật UI cho ChatGPT.

Trước khi Canvas được giới thiệu, làm việc với tài liệu dài trên ChatGPT đồng nghĩa với việc phải cuộn lên xuống khá nhiều. Trong bố cục mới, prompt hiển thị ở thanh bên trái, còn tài liệu văn bản hoặc đoạn code chiếm phần lớn màn hình. Nếu cần, bạn thậm chí có thể tùy chỉnh kích thước thanh bên trái và vùng hiển thị đầu ra. Ngoài ra, bạn có thể chọn một phần văn bản hoặc đoạn code rồi chỉnh sửa riêng phần đó mà không làm thay đổi toàn bộ tài liệu.

Hình 2. Chỉnh sửa các phần văn bản cụ thể bằng Canvas.

Nếu sử dụng Canvas, bạn sẽ nhận thấy giao diện ChatGPT không có nút hoặc công tắc riêng để mở tính năng này. Thay vào đó, khi làm việc với model GPT-4o, Canvas sẽ tự động mở nếu phát hiện bạn đang chỉnh sửa, viết hoặc lập trình. Với các prompt đơn giản hơn, Canvas sẽ không hoạt động. Nếu muốn mở thủ công, bạn có thể dùng prompt như "Open the Canvas" hoặc "Get me the Canvas layout."

Hiện tại, Canvas đang ở giai đoạn beta và chỉ khả dụng với GPT-4o. Tuy nhiên, OpenAI cho biết Canvas sẽ khả dụng với tất cả người dùng miễn phí khi kết thúc giai đoạn beta.

Các bản cập nhật API của ChatGPT#

OpenAI đã phát hành ba bản cập nhật API ChatGPT mới nhằm cải thiện hiệu suất, khả năng mở rộng và tính linh hoạt. Hãy cùng xem xét kỹ hơn từng bản cập nhật.

Chưng cất model#

Thông qua tính năng Model Distillation trên API của OpenAI, nhà phát triển có thể dùng đầu ra từ các model tiên tiến như GPT-4o hoặc o1-preview để cải thiện hiệu suất của các model nhỏ hơn, tiết kiệm chi phí hơn như GPT-4o mini. Chưng cất model là quá trình huấn luyện các model nhỏ hơn bắt chước hành vi của model tiên tiến hơn, giúp chúng hoạt động hiệu quả hơn với các tác vụ cụ thể.

Trước khi tính năng này được giới thiệu, nhà phát triển phải phối hợp thủ công nhiều tác vụ bằng các công cụ khác nhau. Các tác vụ này bao gồm tạo dataset, đo lường hiệu suất model và tinh chỉnh model, khiến quy trình thường phức tạp và dễ xảy ra lỗi. Bản cập nhật Model Distillation cho phép nhà phát triển sử dụng Stored Completions, công cụ tự động tạo dataset bằng cách thu thập và lưu trữ các cặp đầu vào-đầu ra do model tiên tiến tạo ra thông qua API.

Một tính năng khác của Model Distillation là Evals (hiện ở giai đoạn beta), giúp đo lường hiệu suất của model trên các tác vụ cụ thể mà không cần tạo script đánh giá tùy chỉnh hoặc dùng công cụ riêng. Bằng cách sử dụng dataset được tạo bằng Stored Completions và đánh giá hiệu suất bằng Evals, nhà phát triển có thể tinh chỉnh các model GPT tùy chỉnh của riêng mình.

Hình 3. Bạn có thể sử dụng Evals để đo lường hiệu suất model.

Lưu bộ nhớ đệm prompt#

Khi xây dựng ứng dụng AI, đặc biệt là chatbot, cùng một ngữ cảnh (thông tin nền hoặc lịch sử hội thoại trước đó cần thiết để hiểu yêu cầu hiện tại) thường được sử dụng lặp lại trong nhiều lệnh gọi API. Lưu bộ nhớ đệm prompt cho phép nhà phát triển tái sử dụng token đầu vào được dùng gần đây (các đoạn văn bản mà model xử lý để hiểu prompt và tạo phản hồi), giúp giảm chi phí và độ trễ.

Kể từ ngày 1 tháng 10, OpenAI đã tự động áp dụng Prompt Caching cho các model như GPT-4o, GPT-4o mini, o1-preview và o1-mini. Điều này có nghĩa là khi nhà phát triển dùng API để tương tác với một model bằng prompt dài (trên 1.024 token), hệ thống sẽ lưu các phần đã xử lý.

Nhờ đó, nếu sử dụng lại prompt giống hoặc tương tự, hệ thống có thể bỏ qua việc tính toán lại những phần đó. Hệ thống tự động lưu vào bộ nhớ đệm phần dài nhất của prompt mà trước đó đã gặp, bắt đầu với 1.024 token và thêm từng khối 128 token khi prompt dài hơn.

Realtime API#

Việc tạo trợ lý giọng nói thường đòi hỏi chuyển âm thanh thành văn bản, xử lý văn bản rồi chuyển văn bản trở lại thành âm thanh để phát phản hồi. Realtime API của OpenAI hướng đến xử lý toàn bộ quy trình này bằng một yêu cầu API duy nhất. Bằng cách đơn giản hóa quy trình, API cho phép trò chuyện với AI theo thời gian thực.

Ví dụ, trợ lý giọng nói tích hợp Realtime API có thể thực hiện các hành động cụ thể như đặt hàng hoặc tìm thông tin dựa trên yêu cầu của người dùng. API giúp trợ lý giọng nói phản hồi nhanh hơn và thích ứng nhanh với nhu cầu của người dùng. Realtime API được cung cấp dưới dạng beta công khai vào ngày 1 tháng 10 với sáu giọng nói. Ngày 30 tháng 10, năm giọng nói nữa được bổ sung, nâng tổng số giọng nói hiện có lên mười một.

Hình 4. Ví dụ sử dụng Realtime API để luyện hội thoại bằng ngôn ngữ mới.

Fine-tuning ChatGPT cho các tác vụ thị giác#

Ban đầu, mô hình ngôn ngữ-thị giác GPT-4o chỉ có thể được tinh chỉnh và tùy chỉnh bằng dataset chỉ chứa văn bản. Giờ đây, với sự ra mắt của API fine-tuning thị giác, nhà phát triển có thể huấn luyện và tùy chỉnh GPT-4o bằng dataset hình ảnh. Kể từ khi ra mắt, fine-tuning thị giác đã trở thành chủ đề được nhiều nhà phát triển và kỹ sư thị giác máy tính quan tâm.

Để fine-tune năng lực thị giác của GPT-4o, nhà phát triển có thể sử dụng dataset hình ảnh có quy mô từ 100 đến 50.000 ảnh. Sau khi đảm bảo dataset đáp ứng định dạng mà OpenAI yêu cầu, bạn có thể tải dataset lên nền tảng OpenAI và fine-tune model cho các ứng dụng cụ thể.

Ví dụ, công ty tự động hóa Automat đã sử dụng một bộ dữ liệu ảnh chụp màn hình để huấn luyện GPT-4o nhận diện các thành phần UI trên màn hình dựa trên mô tả. Điều này giúp tinh giản Tự động hóa Quy trình Robot (RPA) bằng cách giúp bot tương tác với giao diện người dùng dễ dàng hơn. Thay vì dựa vào tọa độ cố định hoặc quy tắc bộ chọn phức tạp, model có thể nhận diện các thành phần UI dựa trên mô tả đơn giản, giúp thiết lập tự động hóa thích ứng tốt hơn và dễ bảo trì hơn khi giao diện thay đổi. Các model OpenAI mới hơn như GPT-6.1 Sol có thể phát hiện đối tượng mà không cần tinh chỉnh, còn kết quả benchmark VLM cho thấy chúng so sánh với các model thị giác-ngôn ngữ khác như thế nào trên bộ dữ liệu thực tế.

Hình 5. Sử dụng phiên bản model GPT-4o đã fine-tune để phát hiện các thành phần UI.

Phát hiện tính công bằng và thiên kiến trong ChatGPT#

Các vấn đề đạo đức xoay quanh ứng dụng AI đang là chủ đề được thảo luận nhiều khi AI ngày càng tiên tiến. Vì phản hồi của ChatGPT dựa trên prompt do người dùng cung cấp và dữ liệu có sẵn trên Internet, việc tinh chỉnh ngôn ngữ của ChatGPT để luôn có trách nhiệm có thể là một thách thức. Các báo cáo cho biết câu trả lời của ChatGPT có thiên kiến về tên, giới tính và chủng tộc. Để giải quyết vấn đề này, nhóm nội bộ của OpenAI đã tiến hành một bài kiểm tra công bằng ngôi thứ nhất.

Tên thường mang những dấu hiệu tinh tế về văn hóa và địa lý. Trong hầu hết trường hợp, ChatGPT bỏ qua các dấu hiệu tinh tế trong tên. Tuy nhiên, đôi khi những tên phản ánh chủng tộc hoặc văn hóa dẫn đến phản hồi khác nhau từ ChatGPT, trong đó khoảng 1% phản hồi chứa ngôn từ có hại. Loại bỏ thiên kiến và ngôn từ có hại là một thách thức đối với mô hình ngôn ngữ. Tuy nhiên, bằng cách công khai chia sẻ những phát hiện này và thừa nhận hạn chế của model, OpenAI giúp người dùng tinh chỉnh prompt để nhận được câu trả lời trung lập và ít thiên kiến hơn.

Hình 6. Ví dụ về các câu trả lời khác nhau do tên người dùng.

Tìm hiểu về tính năng tìm kiếm của ChatGPT#

Khi ChatGPT mới ra mắt, cộng đồng AI đã thảo luận về khả năng thay thế hoạt động duyệt web truyền thống của công cụ này. Hiện nay, nhiều người dùng ChatGPT thay cho Google Search.

Bản cập nhật mới của OpenAI, tính năng Search, đưa khả năng này tiến xa hơn. Với Search, ChatGPT tạo ra câu trả lời cập nhật và đính kèm liên kết đến các nguồn liên quan. Tính đến ngày 31 tháng 10, tính năng Search đã khả dụng với tất cả người dùng ChatGPT Plus và Team, giúp ChatGPT hoạt động giống một công cụ tìm kiếm chạy bằng AI hơn.

Hình 7. Ví dụ sử dụng tính năng Search mới của ChatGPT.

Chặng đường phía trước#

Các bản cập nhật gần đây của ChatGPT tập trung giúp AI hữu ích, linh hoạt và công bằng hơn. Tính năng Canvas mới giúp người dùng làm việc hiệu quả hơn, trong khi fine-tuning thị giác cho phép nhà phát triển tùy chỉnh model để xử lý tốt hơn các tác vụ thị giác. Giải quyết vấn đề công bằng và giảm thiên kiến cũng là những ưu tiên then chốt, đảm bảo AI hoạt động hiệu quả với tất cả mọi người, bất kể họ là ai. Dù bạn là nhà phát triển đang fine-tune model hay chỉ sử dụng các tính năng mới nhất, ChatGPT đang phát triển để đáp ứng nhiều nhu cầu khác nhau. Với năng lực theo thời gian thực, khả năng tích hợp hình ảnh và trọng tâm sử dụng có trách nhiệm, những bản cập nhật này đang xây dựng trải nghiệm AI đáng tin cậy và vững chắc hơn cho mọi người.

Khám phá thêm về AI bằng cách truy cập repository GitHub và tham gia cộng đồng của chúng tôi. Tìm hiểu thêm về các ứng dụng AI trong lĩnh vực xe tự lái và y tế.