Kết nối xử lý ngôn ngữ tự nhiên và computer vision

Xử lý ngôn ngữ tự nhiên (NLP) và thị giác máy tính (CV) là hai nhánh riêng biệt của trí tuệ nhân tạo (AI) đã trở nên rất phổ biến trong những năm gần đây. Nhờ những tiến bộ trong AI, hai nhánh này hiện có mối liên kết chặt chẽ hơn bao giờ hết.

Một ví dụ điển hình là tạo chú thích ảnh tự động. Thị giác máy tính có thể được sử dụng để phân tích và hiểu nội dung của một hình ảnh, trong khi xử lý ngôn ngữ tự nhiên có thể được dùng để tạo chú thích mô tả hình ảnh đó. Tạo chú thích ảnh tự động thường được sử dụng trên các nền tảng mạng xã hội để cải thiện khả năng tiếp cận, cũng như trong các hệ thống quản lý nội dung để giúp sắp xếp và gắn thẻ hình ảnh một cách hiệu quả.

Những đổi mới trong NLP và AI thị giác đã dẫn đến nhiều trường hợp sử dụng tương tự trong nhiều ngành. Trong bài viết này, chúng ta sẽ tìm hiểu kỹ hơn về NLP và thị giác máy tính, đồng thời thảo luận về cách cả hai hoạt động. Chúng ta cũng sẽ khám phá những ứng dụng thú vị sử dụng đồng thời hai công nghệ này. Hãy bắt đầu!

Tìm hiểu về NLP và AI thị giác#

NLP tập trung vào sự tương tác giữa máy tính và ngôn ngữ con người. Công nghệ này cho phép máy móc hiểu, diễn giải và tạo văn bản hoặc giọng nói theo cách có ý nghĩa. NLP có thể được sử dụng cho các tác vụ như dịch thuật, phân tích cảm xúc hoặc tóm tắt.

Trong khi đó, thị giác máy tính giúp máy móc phân tích và xử lý hình ảnh cũng như video. Công nghệ này có thể được sử dụng cho các tác vụ như phát hiện đối tượng trong ảnh, nhận dạng khuôn mặt, theo dõi đối tượng hoặc phân loại hình ảnh. Công nghệ AI thị giác giúp máy móc hiểu rõ hơn và tương tác với thế giới trực quan.

Hình 1. Ví dụ về phân loại hình ảnh.

Khi được tích hợp với thị giác máy tính, NLP có thể bổ sung ý nghĩa cho dữ liệu trực quan bằng cách kết hợp văn bản và hình ảnh, từ đó cho phép hiểu sâu hơn. Như câu nói quen thuộc, "một bức tranh đáng giá bằng ngàn lời nói", và khi được kết hợp với văn bản, nó càng trở nên mạnh mẽ hơn, cung cấp những thông tin chuyên sâu phong phú hơn.

Ví dụ về sự kết hợp giữa NLP và thị giác máy tính#

Có lẽ bạn đã từng thấy NLP và thị giác máy tính hoạt động cùng nhau trong các công cụ hằng ngày mà không hề nhận ra, chẳng hạn khi điện thoại dịch văn bản từ một bức ảnh.

Trên thực tế, Google Translate sử dụng cả xử lý ngôn ngữ tự nhiên và thị giác máy tính để dịch văn bản từ hình ảnh. Khi bạn chụp ảnh một biển báo đường phố bằng ngôn ngữ khác, thị giác máy tính sẽ xác định và trích xuất văn bản, còn NLP sẽ dịch văn bản đó sang ngôn ngữ bạn chọn.

NLP và CV phối hợp với nhau để giúp quy trình diễn ra trơn tru và hiệu quả, cho phép người dùng hiểu và tương tác với thông tin giữa các ngôn ngữ theo thời gian thực. Sự tích hợp liền mạch giữa các công nghệ này giúp xóa bỏ rào cản giao tiếp.

Hình 2. Tính năng Translate của Google.

Dưới đây là một số ứng dụng khác trong đó NLP và thị giác máy tính phối hợp với nhau:

• Xe tự lái: CV có thể được sử dụng để phát hiện biển báo đường bộ, làn đường và chướng ngại vật, trong khi NLP có thể xử lý khẩu lệnh hoặc văn bản trên biển báo đường bộ.
• Trình đọc tài liệu: AI thị giác có thể nhận dạng văn bản từ tài liệu quét hoặc chữ viết tay, còn xử lý ngôn ngữ tự nhiên có thể diễn giải và tóm tắt thông tin.
• Tìm kiếm trực quan trong ứng dụng mua sắm: Thị giác máy tính có thể xác định sản phẩm trong ảnh, còn NLP xử lý các cụm từ tìm kiếm để cải thiện đề xuất.
• Công cụ giáo dục: CV có thể nhận dạng ghi chú viết tay hoặc dữ liệu đầu vào trực quan, còn NLP có thể cung cấp lời giải thích hoặc phản hồi dựa trên nội dung.

Các khái niệm chính kết nối thị giác máy tính và NLP#

Sau khi đã thấy cách thị giác máy tính và xử lý ngôn ngữ tự nhiên được sử dụng, hãy cùng tìm hiểu cách chúng kết hợp để hỗ trợ AI đa phương thức.

AI đa phương thức kết hợp khả năng hiểu hình ảnh từ thị giác máy tính với khả năng hiểu ngôn ngữ từ NLP để xử lý và kết nối thông tin giữa văn bản và hình ảnh. Ví dụ, trong lĩnh vực chăm sóc sức khỏe, AI đa phương thức có thể hỗ trợ phân tích ảnh X-quang và tạo bản tóm tắt bằng văn bản rõ ràng về các vấn đề tiềm ẩn, giúp bác sĩ đưa ra quyết định nhanh chóng và chính xác hơn.

Hiểu ngôn ngữ tự nhiên (NLU)#

Hiểu ngôn ngữ tự nhiên là một tập con chuyên biệt của NLP, tập trung vào việc diễn giải và trích xuất ý nghĩa từ văn bản bằng cách phân tích ý định, ngữ cảnh, ngữ nghĩa, sắc thái và cấu trúc của văn bản. Trong khi NLP xử lý văn bản thô, NLU cho phép máy móc hiểu ngôn ngữ con người hiệu quả hơn. Chẳng hạn, phân tích cú pháp là một kỹ thuật NLU chuyển đổi văn bản viết thành định dạng có cấu trúc mà máy móc có thể hiểu.

Hình 3. Mối quan hệ giữa NLP và NLU.

NLU hoạt động cùng thị giác máy tính khi dữ liệu trực quan chứa văn bản cần được hiểu. Thị giác máy tính, sử dụng các công nghệ như nhận dạng ký tự quang học (OCR), trích xuất văn bản từ hình ảnh, tài liệu hoặc video. Các tác vụ này có thể bao gồm quét hóa đơn, đọc văn bản trên biển báo hoặc số hóa ghi chú viết tay.

Sau đó, NLU xử lý văn bản đã trích xuất để hiểu ý nghĩa, ngữ cảnh và ý định của văn bản. Sự kết hợp này cho phép hệ thống làm được nhiều hơn việc chỉ nhận dạng văn bản. Hệ thống có thể phân loại các khoản chi từ hóa đơn hoặc phân tích sắc thái và cảm xúc. Khi kết hợp, thị giác máy tính và NLU biến văn bản trực quan thành thông tin có ý nghĩa và có thể hành động.

Kỹ thuật thiết kế prompt#

Kỹ thuật thiết kế prompt là quy trình thiết kế các prompt đầu vào rõ ràng, chính xác và chi tiết để định hướng các hệ thống AI tạo sinh, chẳng hạn như các mô hình ngôn ngữ lớn (LLMs) và các mô hình thị giác–ngôn ngữ (VLMs), tạo ra đầu ra mong muốn. Các prompt này đóng vai trò như những chỉ dẫn giúp model AI hiểu ý định của người dùng.

Kỹ thuật thiết kế prompt hiệu quả đòi hỏi phải hiểu rõ các khả năng của model và xây dựng đầu vào để tối đa hóa khả năng tạo ra phản hồi chính xác, sáng tạo hoặc giàu thông tin chuyên sâu. Điều này đặc biệt quan trọng đối với các model AI làm việc với cả văn bản và hình ảnh.

Lấy model DALL·E của OpenAI làm ví dụ. Nếu bạn yêu cầu model tạo “một hình ảnh chân thực như ảnh chụp về một phi hành gia cưỡi ngựa”, model có thể tạo chính xác hình ảnh đó dựa trên mô tả của bạn. Khả năng này đặc biệt hữu ích trong các lĩnh vực như thiết kế đồ họa, nơi các chuyên gia có thể nhanh chóng biến ý tưởng dạng văn bản thành bản phác thảo trực quan, tiết kiệm thời gian và nâng cao năng suất.

Hình 4. Hình ảnh được tạo bằng DALL-E của OpenAI.

Có thể bạn đang tự hỏi điều này liên quan thế nào đến thị giác máy tính - chẳng phải đây chỉ là AI tạo sinh sao? Trên thực tế, hai lĩnh vực này có mối liên hệ chặt chẽ. AI tạo sinh dựa trên nền tảng của thị giác máy tính để tạo ra các đầu ra trực quan hoàn toàn mới.

Các model AI tạo sinh tạo hình ảnh từ prompt văn bản được huấn luyện trên các tập dữ liệu lớn gồm những hình ảnh đi kèm mô tả bằng văn bản. Điều này cho phép chúng học được mối quan hệ giữa ngôn ngữ và các khái niệm trực quan như đối tượng, kết cấu và quan hệ không gian.

Các model này không diễn giải dữ liệu trực quan theo cách giống các hệ thống thị giác máy tính truyền thống, chẳng hạn như nhận dạng đối tượng trong hình ảnh thế giới thực. Thay vào đó, chúng sử dụng hiểu biết đã học về các khái niệm này để tạo ra hình ảnh mới dựa trên prompt. Bằng cách kết hợp kiến thức này với các prompt được xây dựng tốt, AI tạo sinh có thể tạo ra những hình ảnh chân thực và chi tiết phù hợp với đầu vào của người dùng.

Trả lời câu hỏi (QA)#

Các hệ thống trả lời câu hỏi được thiết kế để hiểu câu hỏi bằng ngôn ngữ tự nhiên và cung cấp câu trả lời chính xác, phù hợp. Chúng sử dụng các kỹ thuật như truy xuất thông tin, hiểu ngữ nghĩa và deep learning để diễn giải cũng như phản hồi các truy vấn.

Các model tiên tiến như GPT-4o của OpenAI có thể xử lý tác vụ trả lời câu hỏi trực quan (VQA), nghĩa là chúng có thể phân tích và trả lời câu hỏi về hình ảnh. Tuy nhiên, GPT-4o không trực tiếp thực hiện các tác vụ thị giác máy tính. Thay vào đó, model sử dụng một image encoder chuyên biệt để xử lý hình ảnh, trích xuất đặc trưng và kết hợp chúng với khả năng hiểu ngôn ngữ để đưa ra câu trả lời.

Hình 5. Khả năng trả lời câu hỏi trực quan của ChatGPT. Hình ảnh do tác giả thực hiện.

Các hệ thống khác có thể tiến thêm một bước bằng cách tích hợp đầy đủ các khả năng thị giác máy tính. Những hệ thống này có thể trực tiếp phân tích hình ảnh hoặc video để xác định đối tượng, cảnh hoặc văn bản. Khi kết hợp với xử lý ngôn ngữ tự nhiên, chúng có thể xử lý những câu hỏi phức tạp hơn về nội dung trực quan. Ví dụ, chúng có thể trả lời “Có những đối tượng nào trong hình ảnh này?” hoặc “Ai xuất hiện trong đoạn video này?” bằng cách phát hiện và diễn giải các thành phần trực quan.

Học không mẫu (ZSL)#

Học không mẫu (ZSL) là một phương pháp machine learning cho phép các model AI xử lý những tác vụ mới, chưa từng thấy mà không cần được huấn luyện cụ thể trên các tác vụ đó. Phương pháp này sử dụng thông tin bổ sung, chẳng hạn như mô tả hoặc mối quan hệ ngữ nghĩa, để kết nối những gì model đã biết (các lớp đã thấy) với các danh mục mới, chưa từng thấy.

Trong xử lý ngôn ngữ tự nhiên, ZSL giúp các model hiểu và làm việc với những chủ đề mà chúng chưa được huấn luyện bằng cách dựa vào mối quan hệ giữa các từ và khái niệm. Tương tự, trong thị giác máy tính, ZSL cho phép các model nhận dạng đối tượng hoặc cảnh mà chúng chưa từng gặp bằng cách liên kết các đặc trưng trực quan, như cánh hoặc lông vũ, với những khái niệm đã biết, chẳng hạn như chim.

ZSL kết nối NLP và CV bằng cách kết hợp khả năng hiểu ngôn ngữ với nhận dạng trực quan, đặc biệt hữu ích cho các tác vụ liên quan đến cả hai lĩnh vực. Ví dụ, trong tác vụ trả lời câu hỏi trực quan, model có thể phân tích một hình ảnh đồng thời hiểu câu hỏi liên quan để đưa ra phản hồi chính xác. ZSL cũng hữu ích cho các tác vụ như tạo chú thích ảnh.

Những điểm chính#

Việc kết hợp xử lý ngôn ngữ tự nhiên và thị giác máy tính đã dẫn đến các hệ thống AI có khả năng hiểu cả văn bản lẫn hình ảnh. Sự kết hợp này đang được ứng dụng trong nhiều ngành, từ hỗ trợ xe tự lái đọc biển báo đường bộ đến cải thiện chẩn đoán y khoa và làm cho mạng xã hội an toàn hơn. Khi các công nghệ này ngày càng phát triển, chúng sẽ tiếp tục giúp cuộc sống dễ dàng hơn và mở ra những cơ hội mới trong nhiều lĩnh vực. Để tìm hiểu thêm, hãy truy cập repository GitHub của chúng tôi và tham gia cộng đồng của chúng tôi. Khám phá các ứng dụng AI trong xe tự lái và nông nghiệp trên các trang giải pháp của chúng tôi. 🚀