Dữ liệu tổng hợp trong thị giác máy tính là gì? Tổng quan

Dữ liệu luôn là yếu tố thúc đẩy trong các lĩnh vực như phân tích và trí tuệ nhân tạo (AI). Trên thực tế, cách chúng ta thu thập, tạo và sử dụng dữ liệu đang định hình tương lai của các hệ thống thông minh. Ví dụ, xe tự lái phụ thuộc vào hàng triệu hình ảnh được dán nhãn và dữ liệu cảm biến, từ biển báo đường phố đến chuyển động của người đi bộ, để học cách điều hướng đường sá một cách an toàn.

Một trong những loại dữ liệu quan trọng nhất thúc đẩy sự tiến bộ này, đặc biệt trong các lĩnh vực như xe tự hành và an ninh, là dữ liệu thị giác như hình ảnh và video.

Cụ thể, lĩnh vực AI cho phép máy móc diễn giải thông tin thị giác này được gọi là thị giác máy tính. Nó giúp các hệ thống hiểu và phân tích các đầu vào thị giác giống như cách con người làm, hỗ trợ các tác vụ như nhận diện khuôn mặt, phát hiện biển báo giao thông và phân tích hình ảnh y tế.

Tuy nhiên, việc thu thập các tập dữ liệu thị giác quy mô lớn, chất lượng cao từ thế giới thực có thể tốn thời gian, chi phí và thường gây lo ngại về quyền riêng tư. Đó là lý do tại sao các nhà nghiên cứu đang tích cực khám phá khái niệm tận dụng dữ liệu tổng hợp.

Dữ liệu tổng hợp đề cập đến các hình ảnh được tạo ra nhân tạo mô phỏng chặt chẽ hình ảnh và video từ thế giới thực. Nó được tạo ra bằng cách sử dụng các kỹ thuật như mô hình hóa 3D, mô phỏng máy tính và các phương pháp AI tạo sinh như Mạng đối nghịch tạo sinh (GANs), vốn học các mẫu từ dữ liệu thực để sản xuất ra các ví dụ mới đầy chân thực.

Dữ liệu tổng hợp dự kiến sẽ đóng một vai trò quan trọng trong phát triển AI trong tương lai gần - với dự đoán của Gartner rằng đến năm 2030, nó sẽ trở nên thiết yếu hơn cả dữ liệu thế giới thực. Trong bài viết này, chúng ta sẽ khám phá dữ liệu tổng hợp là gì trong bối cảnh thị giác máy tính, cách nó được tạo ra và nơi nó đang được áp dụng trong các kịch bản thực tế. Hãy bắt đầu ngay!

Link to this sectionDữ liệu tổng hợp trong thị giác máy tính là gì?#

Giả sử bạn muốn huấn luyện một mô hình AI thị giác để phát hiện vật thể trong các môi trường và điều kiện đa dạng. Việc chỉ dựa vào dữ liệu thực tế có thể khó khăn và đôi khi cảm thấy bị hạn chế.

Trong khi đó, dữ liệu tổng hợp có thể được sử dụng để tạo ra tập dữ liệu phù hợp, chứa các vật thể trong nhiều điều kiện được tạo ra nhân tạo. Bằng cách sử dụng các công cụ như mô hình hóa 3D và mô phỏng, các nhà phát triển có thể tạo ra hình ảnh với quyền kiểm soát chính xác đối với các yếu tố như ánh sáng, góc độ và vị trí vật thể. Điều này, đổi lại, mang lại sự linh hoạt hơn cho việc huấn luyện mô hình so với dữ liệu thực tế.

Dữ liệu tổng hợp đặc biệt hữu ích khi việc thu thập dữ liệu thực tế trở nên khó khăn hoặc bất khả thi. Ví dụ, việc huấn luyện một mô hình nhận diện con người ở nhiều tư thế khác nhau, như đang chạy, ngồi xổm hoặc nằm xuống, sẽ đòi hỏi phải chụp hàng ngàn bức ảnh trong nhiều bối cảnh, góc độ và điều kiện ánh sáng khác nhau.

Mặt khác, với dữ liệu tổng hợp, các nhà phát triển có thể dễ dàng tạo ra các biến thể này kèm theo nhãn chính xác, giúp tiết kiệm thời gian và công sức đồng thời cải thiện hiệu suất mô hình.

Hình 1. Một tập dữ liệu tổng hợp với các tư thế con người và biến thể ánh sáng khác nhau (nguồn).

Link to this sectionDữ liệu tổng hợp so với dữ liệu thực trong AI#

Tiếp theo, hãy cùng xem xét kỹ hơn những khác biệt giữa dữ liệu tổng hợp và dữ liệu thực. Cả hai đều có những ưu và nhược điểm khi đề cập đến việc huấn luyện các mô hình AI.

Ví dụ, dữ liệu tổng hợp hữu ích khi dữ liệu thực khó thu thập, nhưng nó có thể không nắm bắt được mọi chi tiết nhỏ trong cuộc sống thực. Đồng thời, dữ liệu thực xác thực hơn, nhưng lại khó tìm nguồn, tốn thời gian để gán nhãn và có thể không bao phủ được mọi tình huống.

Bằng cách kết hợp dữ liệu tổng hợp và dữ liệu thực, các nhà phát triển có thể tận dụng ưu điểm của cả hai. Sự cân bằng này giúp các mô hình AI học chính xác hơn, tổng quát hóa tốt hơn trên các kịch bản khác nhau và giảm thiểu sai lệch (bias).

Hình 2. Dữ liệu tổng hợp so với dữ liệu thực trong AI. Hình ảnh do tác giả thực hiện.

Link to this sectionXem xét quá trình tạo dữ liệu cho các mô hình thị giác máy tính#

Từ việc xây dựng các thế giới ảo bằng công cụ 3D đến tạo ra hình ảnh bằng AI tạo sinh, đây là một số phương pháp phổ biến được sử dụng để tạo ra dữ liệu huấn luyện tổng hợp cho các mô hình thị giác máy tính:

• Mô hình hóa 3D: Các nhà phát triển sử dụng phần mềm 3D để tạo ra các vật thể và cảnh quan kỹ thuật số. Điều này cho phép kiểm soát hoàn toàn các yếu tố như ánh sáng, góc máy và vị trí vật thể, đồng thời hữu ích cho việc tạo ra hình ảnh chân thực về con người, phương tiện và môi trường.
• Mô phỏng: Các kỹ thuật này tái tạo các tình huống thực tế, như giao thông hoặc môi trường nhà máy, bằng cách sử dụng các engine dựa trên vật lý. Mô phỏng rất hữu ích để tạo ra dữ liệu huấn luyện một cách an toàn trong các lĩnh vực như robot và xe tự lái.
• Mạng đối nghịch tạo sinh (GANs): GANs là một loại mô hình học sâu bao gồm hai mạng: một mạng tạo ra hình ảnh và một mạng đánh giá chúng. Kết hợp lại, chúng tạo ra các hình ảnh rất chân thực, chẳng hạn như khuôn mặt người hoặc quang cảnh đường phố, bằng cách học từ các ví dụ thực tế.
• Tạo sinh theo quy trình (Procedural generation): Kỹ thuật này sử dụng các quy tắc xác định trước hoặc các mô hình toán học để tự động tạo ra các cấu trúc thị giác phức tạp như địa hình, tòa nhà hoặc kết cấu. Nó thường được sử dụng trong các nền tảng game và mô phỏng, có khả năng sản xuất ra các tập dữ liệu quy mô lớn, đa dạng với sự can thiệp tối thiểu từ con người.
• Ngẫu nhiên hóa miền (Domain randomization): Kỹ thuật này có thể thay đổi ngẫu nhiên các yếu tố như ánh sáng, màu sắc và hình dạng vật thể trong các cảnh tổng hợp. Mục tiêu của kỹ thuật này là giúp các mô hình tập trung vào những gì thực sự quan trọng, giúp chúng thích nghi tốt hơn với môi trường thực tế.

Hình 3. Các ví dụ về dữ liệu: (a) dựa trên mô hình 3D, (b) các cảnh đa vật thể tổng hợp và (c) hình ảnh từ tập dữ liệu thực (nguồn).

Link to this sectionHuấn luyện mô hình AI thị giác với dữ liệu tổng hợp#

Bây giờ chúng ta đã thảo luận về một số phương pháp khác nhau được sử dụng để tạo dữ liệu tổng hợp, hãy cùng tìm hiểu cách nó được sử dụng để huấn luyện các mô hình AI.

Sau khi được tạo ra, dữ liệu tổng hợp thường có thể được tích hợp trực tiếp vào quy trình huấn luyện (training pipeline) giống như dữ liệu thực tế. Nó thường bao gồm các chú thích cần thiết, chẳng hạn như nhãn vật thể, bounding boxes (hộp bao), hoặc mask phân đoạn (segmentation masks), nghĩa là nó có thể được sử dụng cho các tác vụ học có giám sát, nơi các mô hình học từ các cặp đầu vào-đầu ra đã được gán nhãn, mà không cần đến việc gán nhãn thủ công.

Trong quá trình huấn luyện, mô hình xử lý các hình ảnh tổng hợp để học cách phát hiện các đặc trưng, nhận diện mẫu và phân loại vật thể. Dữ liệu này có thể được sử dụng để xây dựng phiên bản ban đầu của mô hình từ đầu hoặc để làm phong phú thêm tập dữ liệu hiện có, giúp cải thiện hiệu suất mô hình.

Trong nhiều quy trình công việc, dữ liệu tổng hợp cũng được sử dụng để tiền huấn luyện (pretraining), mang lại cho các mô hình một nền tảng hiểu biết rộng trước khi được tinh chỉnh (fine-tuned) bằng các ví dụ thực tế. Tương tự, nó được dùng để tăng cường (augment) tập dữ liệu bằng cách giới thiệu các biến thể được kiểm soát, như điều kiện ánh sáng khác nhau, góc độ hoặc các lớp vật thể hiếm, nhằm cải thiện khả năng tổng quát hóa và giảm thiểu hiện tượng quá khớp (overfitting).

Bằng cách kết hợp dữ liệu tổng hợp và thực tế, các nhóm có thể huấn luyện các mô hình mạnh mẽ hơn, hoạt động tốt trong nhiều điều kiện khác nhau, đồng thời giảm bớt sự phụ thuộc vào các công việc thu thập dữ liệu thủ công tốn thời gian và chi phí.

Link to this sectionCác ứng dụng thực tế của dữ liệu tổng hợp trong thị giác máy tính#

Khi dữ liệu tổng hợp trở nên thiết thực và dễ tiếp cận hơn, chúng ta bắt đầu thấy nó được áp dụng trên nhiều trường hợp sử dụng AI thị giác trong thế giới thực. Hãy cùng khám phá một số ứng dụng trong thị giác máy tính có tác động mạnh mẽ nhất mà nó đang được sử dụng.

Link to this sectionSử dụng dữ liệu tổng hợp cho phát hiện vật thể trong xe tự hành#

Việc dạy xe tự lái lái xe an toàn đòi hỏi phải huấn luyện mô hình trên một loạt các kịch bản, bao gồm cả những tình huống hiếm gặp hoặc nguy hiểm. Tuy nhiên, việc thu thập dữ liệu thực tế cho các trường hợp biên (edge cases) này có thể là một thách thức và đôi khi không an toàn. Dữ liệu tổng hợp có thể giúp tạo ra các cảnh nơi các mô hình có thể học cách phát hiện vật thể trong các tình huống khó khăn. Nó cũng có thể mô phỏng các cấu hình cảm biến khác nhau, điều này rất hữu ích vì không phải tất cả các xe tự lái đều sử dụng cùng một phần cứng.

Nền tảng NVIDIA’s DRIVE Sim là một ví dụ tuyệt vời về điều này. Nó tạo ra dữ liệu tổng hợp chất lượng cao bằng cách sử dụng các mô hình 3D chân thực, môi trường ảo và mô phỏng cảm biến. Nó cũng có thể tạo ra hình ảnh của nhiều góc lái từ một hình ảnh duy nhất. Việc sử dụng dữ liệu tổng hợp như thế này giúp giảm nhu cầu thử nghiệm tốn kém trong thế giới thực mà vẫn cung cấp cho mô hình sự đa dạng cần thiết để học tập hiệu quả.

Hình 4. Tạo nhiều góc nhìn lái xe từ một hình ảnh (nguồn).

Link to this sectionGiảm thiểu sai lệch trong AI chẩn đoán hình ảnh y tế với dữ liệu tổng hợp#

Các mô hình thị giác máy tính như Ultralytics YOLO11 hỗ trợ các tác vụ như phát hiện vật thể và phân đoạn cá thể (instance segmentation) có thể được huấn luyện tùy chỉnh cho các ứng dụng hình ảnh y tế. Tuy nhiên, dữ liệu huấn luyện thực tế thường chứa đựng những sai lệch, vì nó có thể không đại diện đầy đủ cho bệnh nhân từ mọi nhóm nhân khẩu học.

Ví dụ, ung thư da ít được chẩn đoán thường xuyên hơn ở những cá nhân có tông màu da tối hơn, dẫn đến dữ liệu hạn chế cho các nhóm dân cư đó. Sự mất cân bằng này có thể góp phần dẫn đến chẩn đoán sai và kết quả chăm sóc sức khỏe không bình đẳng, đặc biệt là trong các lĩnh vực như mô bệnh học, X-quang ngực và da liễu.

Hình ảnh tổng hợp có thể đóng một vai trò trong việc thực hiện các bước nhằm thu hẹp khoảng cách này trong dữ liệu. Bằng cách tạo ra các ví dụ bổ sung, đa dạng như các bất thường về mô khác nhau, một loạt các tình trạng phổi và tông màu da với các loại tổn thương khác nhau, dữ liệu tổng hợp có thể giúp cải thiện hiệu suất mô hình trên các nhóm dân cư ít được đại diện.

Các nhà nghiên cứu hiện đang nỗ lực phát triển và xác nhận các tập dữ liệu tổng hợp để hỗ trợ các mục tiêu này. Họ cũng đang khám phá cách dữ liệu tổng hợp có thể được sử dụng để kiểm tra các công cụ y tế và các chiến lược điều trị mà không cần dựa vào hồ sơ bệnh nhân thực, giúp tăng tốc nghiên cứu đồng thời bảo vệ quyền riêng tư của bệnh nhân. Thông qua công việc này, dữ liệu tổng hợp đang mở đường cho các hệ thống AI y tế hòa nhập, chính xác và có đạo đức hơn.

Link to this sectionNâng cao AI nông nghiệp với dữ liệu tổng hợp cho canh tác chính xác#

Việc xây dựng các hệ thống AI thị giác cho các ứng dụng nông nghiệp phụ thuộc vào khả năng tiếp cận một lượng lớn dữ liệu đã được gán nhãn. Tuy nhiên, việc thu thập và gán nhãn hình ảnh cây trồng, dịch bệnh và điều kiện đồng ruộng diễn ra chậm chạp, đắt đỏ và thường bị hạn chế bởi các yếu tố như thời tiết, mùa vụ hoặc khó khăn trong việc tiếp cận một số khu vực nhất định.

Những thách thức này gây khó khăn cho việc huấn luyện các mô hình thị giác máy tính để xử lý các tác vụ như phát hiện bệnh cây trồng, giám sát mùa vụ, hoặc dự đoán năng suất. Đó là nơi dữ liệu tổng hợp có thể hỗ trợ - bằng cách mô phỏng các môi trường canh tác khác nhau để tạo ra các ví dụ huấn luyện hữu ích.

Hình 5. Sử dụng hình ảnh tổng hợp để cải thiện khả năng phát hiện dịch bệnh (nguồn).

Link to this sectionCác điểm chính cần lưu ý#

Việc sử dụng dữ liệu tổng hợp đại diện cho một bước tiến quan trọng trong huấn luyện mô hình AI, đặc biệt đối với các hệ thống thị giác máy tính trong các lĩnh vực mà dữ liệu thực tế bị hạn chế hoặc khó có được. Thay vì chỉ dựa vào hình ảnh hoặc video thực tế, vốn có thể đắt đỏ, tốn thời gian hoặc gây lo ngại về quyền riêng tư, dữ liệu tổng hợp cho phép chúng ta tạo ra các hình ảnh thực tế, có nhãn theo nhu cầu.

Nó giúp việc huấn luyện các mô hình AI thị giác cho các tác vụ như lái xe tự động, phát hiện dịch bệnh hoặc giám sát mùa vụ trở nên dễ dàng hơn. Khi AI tiếp tục phát triển, dữ liệu tổng hợp được thiết lập để đóng vai trò lớn hơn nữa trong việc thúc đẩy đổi mới và cải thiện khả năng tiếp cận trên khắp các ngành công nghiệp.

Tìm hiểu thêm về AI trên kho lưu trữ GitHub của chúng tôi và tham gia cộng đồng đang phát triển của chúng tôi. Khám phá tác động của các ứng dụng như AI trong xe tự hành và thị giác máy tính trong nông nghiệp. Khám phá các tùy chọn cấp phép của chúng tôi và hiện thực hóa các dự án AI thị giác của bạn.