Dữ liệu tổng hợp trong thị giác máy tính là gì? Tổng quan

Dữ liệu luôn là yếu tố thúc đẩy trong các lĩnh vực như phân tích và trí tuệ nhân tạo (AI). Trên thực tế, cách chúng ta thu thập, tạo và sử dụng dữ liệu đang định hình tương lai của các hệ thống thông minh. Ví dụ, xe tự lái phụ thuộc vào hàng triệu hình ảnh được dán nhãn và dữ liệu cảm biến, từ biển báo đường phố đến chuyển động của người đi bộ, để học cách điều hướng đường sá một cách an toàn.

Một trong những loại dữ liệu quan trọng nhất thúc đẩy sự tiến bộ này, đặc biệt trong các lĩnh vực như xe tự hành và an ninh, là dữ liệu thị giác như hình ảnh và video.

Cụ thể, lĩnh vực AI cho phép máy móc diễn giải thông tin trực quan này được gọi là computer vision. Nó giúp các hệ thống hiểu và phân tích dữ liệu đầu vào trực quan giống như con người, hỗ trợ các tác vụ như nhận diện khuôn mặt, phát hiện biển báo giao thông và phân tích hình ảnh y tế.

Tuy nhiên, việc thu thập các tập dữ liệu thị giác quy mô lớn, chất lượng cao từ thế giới thực có thể tốn thời gian, chi phí và thường gây lo ngại về quyền riêng tư. Đó là lý do tại sao các nhà nghiên cứu đang tích cực khám phá khái niệm tận dụng dữ liệu tổng hợp.

Synthetic data đề cập đến các hình ảnh trực quan được tạo ra nhân tạo mô phỏng chặt chẽ hình ảnh và video trong thế giới thực. Nó được tạo ra bằng các kỹ thuật như mô hình hóa 3D, mô phỏng máy tính và các phương pháp AI tạo sinh như Generative Adversarial Networks (GANs), học các mẫu từ dữ liệu thực để tạo ra các ví dụ mới thực tế.

Dữ liệu tổng hợp dự kiến sẽ đóng vai trò quan trọng trong AI development trong thời gian tới - với dự đoán của Gartner rằng đến năm 2030, nó sẽ trở nên thiết yếu hơn cả dữ liệu thế giới thực. Trong bài viết này, chúng ta sẽ khám phá dữ liệu tổng hợp là gì trong bối cảnh computer vision, cách nó được tạo ra và nơi nó được ứng dụng trong các kịch bản thực tế. Hãy bắt đầu ngay!

Dữ liệu tổng hợp trong thị giác máy tính là gì?#

Giả sử bạn muốn huấn luyện một vision AI model để phát hiện đối tượng trong nhiều môi trường và điều kiện khác nhau. Việc chỉ dựa vào dữ liệu thế giới thực có thể gặp khó khăn và đôi khi có cảm giác bị hạn chế.

Trong khi đó, dữ liệu tổng hợp có thể được sử dụng để tạo ra tập dữ liệu phù hợp, chứa các đối tượng trong nhiều điều kiện được tạo ra nhân tạo khác nhau. Sử dụng các công cụ như 3D modeling và mô phỏng, các nhà phát triển có thể tạo ra hình ảnh với khả năng kiểm soát chính xác các yếu tố như ánh sáng, góc chụp và vị trí đối tượng. Điều này mang lại sự linh hoạt cao hơn cho việc huấn luyện model so với dữ liệu thế giới thực.

Dữ liệu tổng hợp đặc biệt hữu ích khi việc thu thập dữ liệu thực tế trở nên khó khăn hoặc bất khả thi. Ví dụ, việc huấn luyện một mô hình nhận diện con người ở nhiều tư thế khác nhau, như đang chạy, ngồi xổm hoặc nằm xuống, sẽ đòi hỏi phải chụp hàng ngàn bức ảnh trong nhiều bối cảnh, góc độ và điều kiện ánh sáng khác nhau.

Mặt khác, với dữ liệu tổng hợp, các nhà phát triển có thể dễ dàng tạo ra các biến thể này kèm theo nhãn chính xác, giúp tiết kiệm thời gian và công sức đồng thời cải thiện hiệu suất mô hình.

Hình 1. Một tập dữ liệu tổng hợp với các tư thế con người và biến thể ánh sáng khác nhau (source).

Dữ liệu tổng hợp so với dữ liệu thực trong AI#

Tiếp theo, hãy cùng xem xét kỹ hơn sự khác biệt giữa dữ liệu tổng hợp và dữ liệu thực. Cả hai đều có ưu và nhược điểm riêng khi nói đến việc training AI models.

Ví dụ, dữ liệu tổng hợp hữu ích khi dữ liệu thực khó thu thập, nhưng nó có thể không nắm bắt được mọi chi tiết nhỏ trong cuộc sống thực. Đồng thời, dữ liệu thực xác thực hơn, nhưng lại khó tìm nguồn, tốn thời gian để gán nhãn và có thể không bao phủ được mọi tình huống.

Bằng cách kết hợp dữ liệu tổng hợp và dữ liệu thực, các nhà phát triển có thể tận dụng ưu điểm của cả hai. Sự cân bằng này giúp các mô hình AI học chính xác hơn, tổng quát hóa tốt hơn trên các kịch bản khác nhau và giảm thiểu sai lệch (bias).

Hình 2. Dữ liệu tổng hợp so với dữ liệu thực trong AI. Hình ảnh do tác giả thực hiện.

Xem xét quá trình tạo dữ liệu cho các mô hình thị giác máy tính#

Từ việc xây dựng thế giới ảo bằng các công cụ 3D đến việc tạo hình ảnh bằng AI tạo sinh, dưới đây là một số phương pháp phổ biến được sử dụng để tạo training data tổng hợp cho các model computer vision:

• Mô hình hóa 3D: Các nhà phát triển sử dụng phần mềm 3D để tạo ra các vật thể và cảnh quan kỹ thuật số. Điều này cho phép kiểm soát hoàn toàn các yếu tố như ánh sáng, góc máy và vị trí vật thể, đồng thời hữu ích cho việc tạo ra hình ảnh chân thực về con người, phương tiện và môi trường.
• Mô phỏng: Các kỹ thuật này tái tạo các tình huống thực tế, như giao thông hoặc môi trường nhà máy, bằng cách sử dụng các engine dựa trên vật lý. Mô phỏng rất hữu ích để tạo ra dữ liệu huấn luyện một cách an toàn trong các lĩnh vực như robot và xe tự lái.
• Mạng đối nghịch tạo sinh (GANs): GANs là một loại mô hình học sâu bao gồm hai mạng: một mạng tạo ra hình ảnh và một mạng đánh giá chúng. Kết hợp lại, chúng tạo ra các hình ảnh rất chân thực, chẳng hạn như khuôn mặt người hoặc quang cảnh đường phố, bằng cách học từ các ví dụ thực tế.
• Tạo sinh theo quy trình (Procedural generation): Kỹ thuật này sử dụng các quy tắc xác định trước hoặc các mô hình toán học để tự động tạo ra các cấu trúc thị giác phức tạp như địa hình, tòa nhà hoặc kết cấu. Nó thường được sử dụng trong các nền tảng game và mô phỏng, có khả năng sản xuất ra các tập dữ liệu quy mô lớn, đa dạng với sự can thiệp tối thiểu từ con người.
• Ngẫu nhiên hóa miền (Domain randomization): Kỹ thuật này có thể thay đổi ngẫu nhiên các yếu tố như ánh sáng, màu sắc và hình dạng vật thể trong các cảnh tổng hợp. Mục tiêu của kỹ thuật này là giúp các mô hình tập trung vào những gì thực sự quan trọng, giúp chúng thích nghi tốt hơn với môi trường thực tế.

Hình 3. Ví dụ về dữ liệu: (a) dựa trên mô hình 3D, (b) cảnh đa đối tượng tổng hợp, và (c) hình ảnh tập dữ liệu thực (source).

Huấn luyện mô hình AI thị giác với dữ liệu tổng hợp#

Bây giờ chúng ta đã thảo luận về một số phương pháp khác nhau được sử dụng để tạo dữ liệu tổng hợp, hãy cùng tìm hiểu cách nó được sử dụng để huấn luyện các mô hình AI.

Sau khi được tạo ra, dữ liệu tổng hợp thường có thể được tích hợp trực tiếp vào quy trình huấn luyện (training pipeline) giống như dữ liệu thực tế. Nó thường bao gồm các chú thích cần thiết, chẳng hạn như nhãn vật thể, bounding boxes (hộp bao), hoặc mask phân đoạn (segmentation masks), nghĩa là nó có thể được sử dụng cho các tác vụ học có giám sát, nơi các mô hình học từ các cặp đầu vào-đầu ra đã được gán nhãn, mà không cần đến việc gán nhãn thủ công.

Trong quá trình huấn luyện, mô hình xử lý các hình ảnh tổng hợp để học cách phát hiện các đặc trưng, nhận diện mẫu và phân loại vật thể. Dữ liệu này có thể được sử dụng để xây dựng phiên bản ban đầu của mô hình từ đầu hoặc để làm phong phú thêm tập dữ liệu hiện có, giúp cải thiện hiệu suất mô hình.

Trong nhiều quy trình công việc, dữ liệu tổng hợp cũng được sử dụng để tiền huấn luyện (pretraining), mang lại cho các mô hình một nền tảng hiểu biết rộng trước khi được tinh chỉnh (fine-tuned) bằng các ví dụ thực tế. Tương tự, nó được dùng để tăng cường (augment) tập dữ liệu bằng cách giới thiệu các biến thể được kiểm soát, như điều kiện ánh sáng khác nhau, góc độ hoặc các lớp vật thể hiếm, nhằm cải thiện khả năng tổng quát hóa và giảm thiểu hiện tượng quá khớp (overfitting).

Bằng cách kết hợp dữ liệu tổng hợp và thực tế, các nhóm có thể huấn luyện các mô hình mạnh mẽ hơn, hoạt động tốt trong nhiều điều kiện khác nhau, đồng thời giảm bớt sự phụ thuộc vào các công việc thu thập dữ liệu thủ công tốn thời gian và chi phí.

Các ứng dụng thực tế của dữ liệu tổng hợp trong thị giác máy tính#

Khi dữ liệu tổng hợp trở nên thiết thực và dễ tiếp cận hơn, chúng ta bắt đầu thấy nó được áp dụng cho nhiều trường hợp sử dụng vision AI trong thế giới thực. Hãy cùng khám phá một số applications in computer vision có tác động mạnh mẽ nhất đang ứng dụng công nghệ này.

Sử dụng dữ liệu tổng hợp cho phát hiện vật thể trong xe tự hành#

Dạy xe tự hành lái xe an toàn đòi hỏi phải huấn luyện model trên nhiều kịch bản, bao gồm cả các tình huống hiếm gặp hoặc nguy hiểm. Tuy nhiên, việc thu thập dữ liệu thế giới thực cho các trường hợp biên này có thể gặp khó khăn và đôi khi không an toàn. Dữ liệu tổng hợp có thể giúp tạo ra các bối cảnh nơi model có thể học cách detect đối tượng trong các tình huống khó khăn. Nó cũng có thể mô phỏng các cấu hình cảm biến khác nhau, điều này rất hữu ích vì không phải tất cả các xe tự hành đều sử dụng cùng một phần cứng.

Nền tảng NVIDIA’s DRIVE Sim là một ví dụ tuyệt vời về điều này. Nó tạo ra dữ liệu tổng hợp chất lượng cao bằng cách sử dụng các mô hình 3D quang thực tế, môi trường ảo và mô phỏng cảm biến. Nó cũng có thể tạo ra hình ảnh của nhiều góc lái từ một hình ảnh duy nhất. Việc sử dụng dữ liệu tổng hợp như vậy giúp giảm nhu cầu thử nghiệm tốn kém trong thế giới thực trong khi vẫn cung cấp cho model độ đa dạng cần thiết để học tập hiệu quả.

Hình 4. Tạo nhiều góc nhìn lái xe từ một hình ảnh duy nhất (source).

Giảm thiểu sai lệch trong AI chẩn đoán hình ảnh y tế với dữ liệu tổng hợp#

Các model computer vision như Ultralytics YOLO11 hỗ trợ các tác vụ như phát hiện đối tượng và phân đoạn thể có thể được huấn luyện tùy chỉnh cho các ứng dụng hình ảnh y tế. Tuy nhiên, dữ liệu huấn luyện trong thế giới thực thường chứa các sai lệch, vì nó có thể không đại diện đầy đủ cho bệnh nhân từ tất cả các nhóm nhân khẩu học.

Ví dụ, skin cancer ít được chẩn đoán hơn ở những cá nhân có tông màu da sẫm hơn, dẫn đến dữ liệu hạn chế cho các quần thể đó. Sự mất cân bằng này có thể góp phần chẩn đoán sai và kết quả chăm sóc sức khỏe không công bằng, đặc biệt là trong các lĩnh vực như mô bệnh học, chụp X-quang ngực và da liễu.

Hình ảnh tổng hợp có thể đóng một vai trò trong việc thực hiện các bước nhằm thu hẹp khoảng cách này trong dữ liệu. Bằng cách tạo ra các ví dụ bổ sung, đa dạng như các bất thường về mô khác nhau, một loạt các tình trạng phổi và tông màu da với các loại tổn thương khác nhau, dữ liệu tổng hợp có thể giúp cải thiện hiệu suất mô hình trên các nhóm dân cư ít được đại diện.

Các nhà nghiên cứu hiện đang làm việc để phát triển và xác thực các tập dữ liệu tổng hợp nhằm hỗ trợ các mục tiêu này. Họ cũng đang khám phá cách dữ liệu tổng hợp có thể được sử dụng để test medical tools và chiến lược điều trị mà không cần dựa vào hồ sơ bệnh án thực tế, giúp đẩy nhanh quá trình nghiên cứu đồng thời bảo vệ quyền riêng tư của bệnh nhân. Thông qua công việc này, dữ liệu tổng hợp đang mở đường cho các hệ thống AI y tế toàn diện, chính xác và có đạo đức hơn.

Nâng cao AI nông nghiệp với dữ liệu tổng hợp cho canh tác chính xác#

Việc xây dựng các hệ thống AI thị giác cho các ứng dụng nông nghiệp phụ thuộc vào khả năng tiếp cận một lượng lớn dữ liệu đã được gán nhãn. Tuy nhiên, việc thu thập và gán nhãn hình ảnh cây trồng, dịch bệnh và điều kiện đồng ruộng diễn ra chậm chạp, đắt đỏ và thường bị hạn chế bởi các yếu tố như thời tiết, mùa vụ hoặc khó khăn trong việc tiếp cận một số khu vực nhất định.

Những thách thức này khiến việc huấn luyện các model computer vision xử lý các tác vụ như phát hiện bệnh ở thực vật, monitoring crops, hoặc dự đoán năng suất trở nên khó khăn. Đó là lúc dữ liệu tổng hợp có thể giúp ích - bằng cách mô phỏng các môi trường canh tác khác nhau để tạo ra các ví dụ huấn luyện hữu ích.

Hình 5. Sử dụng hình ảnh tổng hợp để cải thiện việc phát hiện dịch bệnh (source).

Các điểm chính cần lưu ý#

Việc sử dụng dữ liệu tổng hợp đại diện cho một bước tiến quan trọng trong huấn luyện mô hình AI, đặc biệt đối với các hệ thống thị giác máy tính trong các lĩnh vực mà dữ liệu thực tế bị hạn chế hoặc khó có được. Thay vì chỉ dựa vào hình ảnh hoặc video thực tế, vốn có thể đắt đỏ, tốn thời gian hoặc gây lo ngại về quyền riêng tư, dữ liệu tổng hợp cho phép chúng ta tạo ra các hình ảnh thực tế, có nhãn theo nhu cầu.

Nó giúp việc huấn luyện các mô hình AI thị giác cho các tác vụ như lái xe tự động, phát hiện dịch bệnh hoặc giám sát mùa vụ trở nên dễ dàng hơn. Khi AI tiếp tục phát triển, dữ liệu tổng hợp được thiết lập để đóng vai trò lớn hơn nữa trong việc thúc đẩy đổi mới và cải thiện khả năng tiếp cận trên khắp các ngành công nghiệp.

Tìm hiểu thêm về AI trên GitHub repository của chúng tôi và tham gia community đang phát triển của chúng tôi. Khám phá tác động của các ứng dụng như AI in autonomous vehicles và computer vision in agriculture. Khám phá các tùy chọn licensing của chúng tôi và biến các dự án vision AI của bạn thành hiện thực.