Kết nối xử lý ngôn ngữ tự nhiên và thị giác máy tính

Xử lý ngôn ngữ tự nhiên (NLP) và thị giác máy tính (CV) là hai nhánh riêng biệt của trí tuệ nhân tạo (AI), trở nên rất phổ biến trong những năm gần đây. Nhờ những tiến bộ trong AI, hai nhánh này hiện gắn kết với nhau hơn bao giờ hết.

Một ví dụ tiêu biểu là tạo chú thích hình ảnh tự động. Thị giác máy tính có thể được dùng để phân tích và hiểu nội dung của hình ảnh, trong khi xử lý ngôn ngữ tự nhiên có thể tạo chú thích mô tả hình ảnh đó. Tính năng tạo chú thích hình ảnh tự động thường được dùng trên các nền tảng mạng xã hội để cải thiện khả năng tiếp cận, cũng như trong các hệ thống quản lý nội dung để sắp xếp và gắn thẻ hình ảnh hiệu quả.

Những đổi mới trong NLP và AI thị giác đã mở ra nhiều ứng dụng như vậy trong hàng loạt ngành. Trong bài viết này, chúng ta sẽ tìm hiểu kỹ hơn về NLP và thị giác máy tính, đồng thời thảo luận cách chúng hoạt động. Chúng ta cũng sẽ khám phá các ứng dụng kết hợp cả hai công nghệ.

Tìm hiểu về NLP và AI thị giác#

NLP tập trung vào tương tác giữa máy tính và ngôn ngữ của con người. NLP cho phép máy hiểu, diễn giải và tạo văn bản hoặc lời nói theo cách có ý nghĩa. NLP có thể được dùng cho các tác vụ như dịch thuật, phân tích cảm xúc hoặc tóm tắt.

Trong khi đó, thị giác máy tính giúp máy phân tích và xử lý hình ảnh, video. Công nghệ này có thể được dùng cho các tác vụ như phát hiện đối tượng trong ảnh, nhận diện khuôn mặt, theo dõi đối tượng hoặc phân loại hình ảnh. Công nghệ AI thị giác giúp máy hiểu và tương tác với thế giới trực quan tốt hơn.

Hình 1. Ví dụ về phân loại hình ảnh.

Khi được tích hợp với thị giác máy tính, NLP có thể bổ sung ý nghĩa cho dữ liệu hình ảnh bằng cách kết hợp văn bản và hình ảnh, từ đó giúp hiểu sâu hơn. Như câu nói quen thuộc, “một bức ảnh đáng giá ngàn lời nói”; khi kết hợp với văn bản, sức mạnh của hình ảnh còn tăng lên, mang lại thông tin chuyên sâu phong phú hơn.

Ví dụ về sự kết hợp giữa NLP và thị giác máy tính#

Có lẽ bạn đã thấy NLP và thị giác máy tính phối hợp trong các công cụ thường dùng hằng ngày mà không để ý, chẳng hạn như khi điện thoại dịch văn bản từ một bức ảnh.

Thực tế, Google Translate sử dụng cả xử lý ngôn ngữ tự nhiên lẫn thị giác máy tính để dịch văn bản từ hình ảnh. Khi bạn chụp ảnh một biển báo đường phố bằng ngôn ngữ khác, thị giác máy tính sẽ nhận diện và trích xuất văn bản, còn NLP sẽ dịch văn bản sang ngôn ngữ bạn muốn.

NLP và CV phối hợp để quy trình diễn ra liền mạch, hiệu quả, cho phép người dùng hiểu và tương tác với thông tin bằng nhiều ngôn ngữ theo thời gian thực. Sự tích hợp này giúp phá bỏ rào cản giao tiếp.

Hình 2. Tính năng Translate của Google.

Dưới đây là một số ứng dụng khác kết hợp NLP và thị giác máy tính:

• Xe tự lái: CV có thể được dùng để phát hiện biển báo đường bộ, làn đường và chướng ngại vật, còn NLP có thể xử lý lệnh thoại hoặc văn bản trên biển báo.
• Công cụ đọc tài liệu: AI thị giác có thể nhận dạng văn bản từ tài liệu được quét hoặc chữ viết tay, còn xử lý ngôn ngữ tự nhiên có thể diễn giải và tóm tắt thông tin.
• Tìm kiếm trực quan trong ứng dụng mua sắm: Thị giác máy tính có thể nhận diện sản phẩm trong ảnh, còn NLP xử lý cụm từ tìm kiếm để cải thiện các đề xuất.
• Công cụ giáo dục: CV có thể nhận diện ghi chú viết tay hoặc đầu vào trực quan, còn NLP có thể đưa ra lời giải thích hoặc phản hồi dựa trên nội dung.

Các khái niệm cốt lõi kết nối thị giác máy tính và NLP#

Giờ đây, khi đã tìm hiểu cách ứng dụng thị giác máy tính và xử lý ngôn ngữ tự nhiên, hãy cùng khám phá cách kết hợp hai công nghệ này để hỗ trợ AI đa phương thức.

AI đa phương thức kết hợp khả năng hiểu hình ảnh của thị giác máy tính với khả năng hiểu ngôn ngữ của NLP để xử lý và liên kết thông tin giữa văn bản và hình ảnh. Ví dụ, trong lĩnh vực chăm sóc sức khỏe, AI đa phương thức có thể giúp phân tích ảnh X-quang và tạo bản tóm tắt bằng văn bản rõ ràng về các vấn đề tiềm ẩn, giúp bác sĩ đưa ra quyết định nhanh và chính xác hơn.

Hiểu ngôn ngữ tự nhiên (NLU)#

Hiểu ngôn ngữ tự nhiên là một nhánh con của NLP, tập trung vào việc diễn giải và trích xuất ý nghĩa từ văn bản bằng cách phân tích ý định, ngữ cảnh, ngữ nghĩa, giọng điệu và cấu trúc. Trong khi NLP xử lý văn bản thô, NLU giúp máy hiểu ngôn ngữ của con người hiệu quả hơn. Ví dụ, phân tích cú pháp là một kỹ thuật NLU chuyển đổi văn bản viết sang định dạng có cấu trúc mà máy có thể hiểu.

Hình 3. Mối quan hệ giữa NLP và NLU.

NLU kết hợp với thị giác máy tính khi dữ liệu trực quan chứa văn bản cần được hiểu. Thị giác máy tính sử dụng các công nghệ như nhận dạng ký tự quang học (OCR) để trích xuất văn bản từ hình ảnh, tài liệu hoặc video. Các tác vụ có thể bao gồm quét hóa đơn, đọc văn bản trên biển báo hoặc số hóa ghi chú viết tay.

Sau đó, NLU xử lý văn bản đã trích xuất để hiểu ý nghĩa, ngữ cảnh và ý định. Sự kết hợp này cho phép hệ thống làm được nhiều hơn là chỉ nhận diện văn bản. Hệ thống có thể phân loại chi phí từ hóa đơn hoặc phân tích giọng điệu và cảm xúc. Kết hợp với nhau, thị giác máy tính và NLU chuyển văn bản trong hình ảnh thành thông tin có ý nghĩa và có thể hành động.

Kỹ thuật viết prompt#

Kỹ thuật prompt là quy trình thiết kế các prompt đầu vào rõ ràng, chính xác và chi tiết để hướng dẫn các hệ thống AI tạo sinh, chẳng hạn như mô hình ngôn ngữ lớn (LLM) và model thị giác-ngôn ngữ (VLM), tạo ra đầu ra mong muốn. Các prompt này đóng vai trò như chỉ dẫn giúp model AI hiểu ý định của người dùng.

Kỹ thuật prompt hiệu quả đòi hỏi phải hiểu năng lực của model và xây dựng đầu vào nhằm tối đa hóa khả năng tạo ra phản hồi chính xác, sáng tạo hoặc giàu thông tin. Điều này đặc biệt quan trọng với model đa phương thức xử lý cả văn bản lẫn hình ảnh.

Hãy lấy model chuyển văn bản thành hình ảnh DALL·E của OpenAI làm ví dụ. Nếu bạn yêu cầu model tạo “hình ảnh chân thực như ảnh chụp về một phi hành gia cưỡi ngựa”, model có thể tạo đúng hình ảnh đó dựa trên mô tả của bạn. Điều này hữu ích trong những lĩnh vực như thiết kế đồ họa, nơi các chuyên gia có thể nhanh chóng biến ý tưởng bằng văn bản thành bản phác thảo trực quan, tiết kiệm thời gian và tăng năng suất.

Hình 4. Hình ảnh được tạo bằng DALL-E của OpenAI.

Bạn có thể đang thắc mắc điều này liên quan thế nào đến thị giác máy tính — đây chẳng phải chỉ là AI tạo sinh sao? Trên thực tế, hai lĩnh vực này có mối liên hệ chặt chẽ. AI tạo sinh phát triển dựa trên nền tảng của thị giác máy tính để tạo ra những đầu ra trực quan hoàn toàn mới.

Các model AI tạo sinh tạo hình ảnh từ prompt văn bản được huấn luyện trên các tập dữ liệu lớn gồm hình ảnh đi kèm mô tả bằng văn bản. Nhờ đó, các model học được mối quan hệ giữa ngôn ngữ và những khái niệm trực quan như vật thể, kết cấu và quan hệ không gian.

Các model này không diễn giải dữ liệu hình ảnh theo cách mà các hệ thống thị giác máy tính truyền thống thực hiện, chẳng hạn như nhận diện đối tượng trong ảnh thế giới thực. Thay vào đó, chúng sử dụng hiểu biết đã học về các khái niệm này để tạo hình ảnh mới dựa trên prompt. Bằng cách kết hợp kiến thức này với prompt được xây dựng kỹ lưỡng, AI tạo sinh có thể tạo ra hình ảnh chân thực, chi tiết và phù hợp với đầu vào của người dùng.

Trả lời câu hỏi (QA)#

Các hệ thống trả lời câu hỏi được thiết kế để hiểu câu hỏi bằng ngôn ngữ tự nhiên và đưa ra câu trả lời chính xác, phù hợp. Những hệ thống này sử dụng các kỹ thuật như truy xuất thông tin, hiểu ngữ nghĩa và học sâu để diễn giải và trả lời truy vấn.

Các model tiên tiến như GPT-4o của OpenAI có thể thực hiện trả lời câu hỏi trực quan (VQA), nghĩa là chúng có thể phân tích hình ảnh và trả lời các câu hỏi về hình ảnh. Tuy nhiên, GPT-4o không trực tiếp thực hiện các tác vụ thị giác máy tính. Thay vào đó, model sử dụng bộ mã hóa hình ảnh chuyên dụng để xử lý hình ảnh, trích xuất đặc trưng và kết hợp chúng với khả năng hiểu ngôn ngữ nhằm đưa ra câu trả lời.

Hình 5. Khả năng trả lời câu hỏi trực quan của ChatGPT. Hình ảnh do tác giả tạo.

Một số hệ thống khác có thể tiến xa hơn bằng cách tích hợp đầy đủ các năng lực thị giác máy tính. Những hệ thống này có thể trực tiếp phân tích hình ảnh hoặc video để nhận diện đối tượng, cảnh vật hoặc văn bản. Khi kết hợp với xử lý ngôn ngữ tự nhiên, chúng có thể trả lời các câu hỏi phức tạp hơn về nội dung trực quan. Ví dụ, hệ thống có thể trả lời “Có những đối tượng nào trong hình ảnh này?” hoặc “Ai xuất hiện trong đoạn phim này?” bằng cách phát hiện và diễn giải các yếu tố trực quan. Để xem các model thị giác-ngôn ngữ hiện nay xác định vị trí đối tượng trong hình ảnh hiệu quả đến đâu, hãy tham khảo bảng xếp hạng VLM.

Học không mẫu (ZSL)#

Học zero-shot (ZSL) là một phương pháp machine learning cho phép model AI xử lý các tác vụ mới chưa từng gặp mà không cần được huấn luyện chuyên biệt cho những tác vụ đó. Phương pháp này sử dụng thông tin bổ sung, như mô tả hoặc mối quan hệ ngữ nghĩa, để liên kết những gì model đã biết (các lớp đã gặp) với các danh mục mới chưa từng gặp.

Trong xử lý ngôn ngữ tự nhiên, ZSL giúp model hiểu và xử lý các chủ đề mà model chưa được huấn luyện bằng cách dựa vào mối quan hệ giữa từ ngữ và khái niệm. Tương tự, trong thị giác máy tính, ZSL cho phép model nhận diện đối tượng hoặc cảnh chưa từng gặp bằng cách liên kết các đặc trưng trực quan như cánh hoặc lông vũ với các khái niệm đã biết, chẳng hạn như chim.

ZSL kết nối NLP và CV bằng cách kết hợp khả năng hiểu ngôn ngữ với nhận diện hình ảnh, đặc biệt hữu ích cho các tác vụ liên quan đến cả hai. Ví dụ, trong tác vụ trả lời câu hỏi trực quan, model có thể phân tích hình ảnh đồng thời hiểu câu hỏi liên quan để đưa ra câu trả lời chính xác. ZSL cũng hữu ích cho các tác vụ như tạo chú thích ảnh.

Điểm chính cần ghi nhớ#

Sự kết hợp giữa xử lý ngôn ngữ tự nhiên và thị giác máy tính đã tạo ra các hệ thống AI có khả năng hiểu cả văn bản lẫn hình ảnh. Sự kết hợp này đang được ứng dụng trong nhiều ngành, từ giúp xe tự lái đọc biển báo đường bộ đến cải thiện chẩn đoán y khoa và tăng cường an toàn trên mạng xã hội. Khi những công nghệ này tiếp tục tiến bộ, chúng sẽ giúp cuộc sống dễ dàng hơn và mở ra cơ hội mới trong nhiều lĩnh vực. Để tìm hiểu thêm, hãy truy cập repository GitHub và tham gia cộng đồng của chúng tôi. Khám phá các ứng dụng AI trong xe tự lái và nông nghiệp trên các trang giải pháp của chúng tôi.