Tìm hiểu cách các ứng dụng của thị giác máy tính hoạt động

Khi tìm hiểu lịch sử các model thị giác máy tính, chúng ta đã thấy thị giác máy tính computer vision phát triển như thế nào và con đường dẫn đến các model thị giác tiên tiến hiện nay. Các model hiện đại như Ultralytics YOLOv8 và các phiên bản kế nhiệm, bao gồm Ultralytics YOLO26 mới nhất, hỗ trợ nhiều tác vụ thị giác máy tính và đang được ứng dụng trong nhiều lĩnh vực đầy triển vọng.

Trong bài viết này, chúng ta sẽ tìm hiểu những kiến thức cơ bản về thị giác máy tính và các model thị giác. Chúng ta sẽ đề cập đến cách chúng hoạt động và các ứng dụng đa dạng trong nhiều ngành. Những đổi mới về thị giác máy tính hiện diện ở khắp nơi, thường âm thầm hoạt động ở hậu trường.

Thị giác máy tính là gì?#

Trí tuệ nhân tạo (AI) là thuật ngữ bao quát nhiều công nghệ nhằm mô phỏng một phần trí thông minh của con người. Thị giác máy tính là một phân ngành của AI. Lĩnh vực này tập trung giúp máy móc có khả năng nhìn, quan sát và hiểu môi trường xung quanh.

Tương tự thị giác của con người, các giải pháp thị giác máy tính hướng đến việc phân biệt đối tượng, tính toán khoảng cách và phát hiện chuyển động. Tuy nhiên, không giống con người có cả cuộc đời trải nghiệm để nhìn và hiểu, máy tính dựa vào lượng dữ liệu khổng lồ, camera độ phân giải cao và các thuật toán phức tạp.

Hình 1. So sánh thị giác của con người với thị giác máy tính.

Các hệ thống thị giác máy tính có thể xử lý và phân tích dữ liệu hình ảnh như ảnh và video với tốc độ cao và độ chính xác lớn. Khả năng phân tích nhanh chóng, chính xác lượng lớn thông tin hình ảnh khiến thị giác máy tính trở thành công cụ mạnh mẽ trong nhiều ngành, từ sản xuất đến chăm sóc sức khỏe.

Model thị giác hỗ trợ nhiều tác vụ thị giác máy tính#

Model thị giác máy tính là cốt lõi của mọi ứng dụng thị giác máy tính. Về cơ bản, đây là các thuật toán tính toán sử dụng kỹ thuật học sâu, được thiết kế để giúp máy móc diễn giải và hiểu thông tin hình ảnh. Model thị giác hỗ trợ các tác vụ thị giác máy tính thiết yếu, từ phân loại ảnh đến phát hiện đối tượng. Hãy cùng tìm hiểu kỹ hơn một số tác vụ này và các trường hợp sử dụng của chúng.

Phân loại ảnh#

Phân loại ảnh là quá trình phân nhóm và gán nhãn ảnh vào các lớp hoặc danh mục được xác định trước. Một model thị giác như YOLOv8 có thể được huấn luyện trên các dataset lớn gồm ảnh đã gán nhãn. Trong quá trình huấn luyện, model học cách nhận diện các mẫu và đặc trưng liên quan đến từng lớp. Sau khi được huấn luyện, model có thể dự đoán danh mục của ảnh mới chưa từng thấy bằng cách phân tích đặc trưng của ảnh và so sánh với các mẫu đã học.

Hình 2. Ví dụ về phân loại ảnh. (nguồn: towardsdatascience.com)

Có nhiều loại phân loại ảnh khác nhau. Ví dụ, khi xử lý ảnh y tế, bạn có thể dùng phân loại nhị phân để chia ảnh thành hai nhóm, chẳng hạn khỏe mạnh hoặc mắc bệnh. Một loại khác là phân loại đa lớp, có thể giúp phân ảnh vào nhiều nhóm, chẳng hạn phân loại các loài vật khác nhau trong trang trại như lợn, dê và bò. Hoặc giả sử bạn muốn phân loại động vật thành các nhóm và nhóm con, chẳng hạn chia động vật thành thú và chim, rồi tiếp tục phân loại thành các loài như sư tử, hổ, đại bàng và chim sẻ; khi đó, phân loại phân cấp sẽ là lựa chọn phù hợp nhất.

Phát hiện đối tượng#

Phát hiện đối tượng là quá trình xác định và định vị đối tượng trong ảnh và khung hình video bằng thị giác máy tính. Quá trình này gồm hai tác vụ: định vị đối tượng, vẽ các hộp giới hạn quanh đối tượng và phân loại đối tượng, xác định danh mục của từng đối tượng. Dựa trên các nhãn chú thích hộp giới hạn, model thị giác có thể học cách nhận diện các mẫu và đặc trưng riêng của từng danh mục đối tượng, rồi dự đoán sự hiện diện và vị trí của các đối tượng đó trong những ảnh mới chưa từng thấy.

Hình 3. Phát hiện đối tượng bằng YOLOv8 được sử dụng để phát hiện cầu thủ trên sân bóng đá.

Phát hiện đối tượng có nhiều trường hợp sử dụng trong các ngành khác nhau, từ thể thao đến sinh học biển. Ví dụ, trong lĩnh vực bán lẻ, công nghệ Just Walk Out của Amazon sử dụng phát hiện đối tượng để tự động hóa thanh toán bằng cách nhận diện các mặt hàng khách lấy. Sự kết hợp giữa thị giác máy tính và dữ liệu cảm biến cho phép khách hàng lấy hàng rồi rời đi mà không cần xếp hàng.

Dưới đây là cách thức hoạt động:

• Camera gắn trên trần ghi lại hình ảnh khách hàng di chuyển trong cửa hàng, sau đó các đoạn video này được xử lý theo thời gian thực bằng các model thị giác.
• Phát hiện đối tượng được sử dụng để nhận diện chính xác sản phẩm khách hàng lấy và cho vào giỏ, từ đó cập nhật giỏ hàng ảo tương ứng.
• Cảm biến trọng lượng trên kệ giúp tăng độ chính xác bằng cách phát hiện mặt hàng bị lấy đi hoặc được đặt lại.
• Khi khách hàng rời khỏi cửa hàng, có thể sử dụng công nghệ phát hiện đối tượng và nhận diện khuôn mặt để xác nhận khách đã rời đi; thông tin thanh toán như thẻ tín dụng của khách có thể được dùng để tự động tính phí.

Phân đoạn ngữ nghĩa và phân đoạn đối tượng#

Phân đoạn ngữ nghĩa và phân đoạn instance là các tác vụ thị giác máy tính giúp chia ảnh thành những vùng có ý nghĩa. Phân đoạn ngữ nghĩa phân loại pixel dựa trên ý nghĩa ngữ nghĩa và xem mọi đối tượng thuộc cùng một danh mục là một thực thể duy nhất có cùng nhãn. Phương pháp này phù hợp để gán nhãn các đối tượng không thể đếm được như “bầu trời” hoặc “đại dương”, hay các cụm như “lá cây” hoặc “cỏ”.

Ngược lại, phân đoạn đối tượng có thể phân biệt các cá thể khác nhau thuộc cùng một lớp bằng cách gán nhãn riêng cho từng đối tượng được phát hiện. Bạn có thể dùng phân đoạn đối tượng để phân đoạn các đối tượng đếm được, trong đó số lượng và tính độc lập của các đối tượng rất quan trọng. Phương pháp này cho phép nhận diện và phân biệt chính xác hơn.

Hình 4. Ví dụ về phân đoạn ngữ nghĩa và phân đoạn đối tượng.

Chúng ta có thể hiểu rõ hơn sự khác biệt giữa phân đoạn ngữ nghĩa và phân đoạn instance qua một ví dụ liên quan đến xe tự lái. Phân đoạn ngữ nghĩa rất phù hợp với các tác vụ cần hiểu nội dung của một cảnh và có thể được dùng trong xe tự hành để phân loại các đặc điểm trên đường, như vạch sang đường và biển báo giao thông. Trong khi đó, phân đoạn instance có thể được dùng trong xe tự hành để phân biệt từng người đi bộ, phương tiện và chướng ngại vật.

Ước tính tư thế#

Ước tính tư thế là một tác vụ thị giác máy tính tập trung vào việc phát hiện và theo dõi các keypoint thể hiện tư thế của đối tượng trong ảnh hoặc video. Tác vụ này thường được dùng nhất để ước tính tư thế con người, với các keypoint bao gồm những vùng như vai và đầu gối. Việc ước tính tư thế con người giúp chúng ta hiểu và nhận diện các hành động, chuyển động quan trọng đối với nhiều ứng dụng.

Hình 5. Ví dụ về ước tính tư thế bằng YOLOv8.

Ước tính tư thế có thể được sử dụng trong thể thao để phân tích cách vận động viên di chuyển. NBA sử dụng ước tính tư thế để nghiên cứu chuyển động và vị trí của cầu thủ trong trận đấu. Bằng cách theo dõi các keypoint như vai, khuỷu tay, đầu gối và mắt cá chân, ước tính tư thế cung cấp thông tin chi tiết về chuyển động của cầu thủ. Những thông tin này giúp huấn luyện viên xây dựng chiến thuật tốt hơn, tối ưu hóa chương trình tập luyện và điều chỉnh theo thời gian thực trong trận đấu. Ngoài ra, dữ liệu còn có thể giúp theo dõi tình trạng mệt mỏi và nguy cơ chấn thương của cầu thủ, từ đó cải thiện sức khỏe và hiệu suất tổng thể.

Phát hiện đối tượng bằng hộp giới hạn xoay#

Phát hiện đối tượng bằng hộp giới hạn xoay (OBB) sử dụng hình chữ nhật xoay để nhận diện và định vị chính xác đối tượng trong ảnh. Khác với hộp giới hạn thông thường song song với các trục ảnh, OBB xoay theo hướng của đối tượng. Điều này khiến OBB đặc biệt hữu ích với các đối tượng không nằm hoàn toàn theo chiều ngang hoặc chiều dọc. OBB xác định và tách riêng chính xác các đối tượng bị xoay, giúp ngăn chặn tình trạng chồng lấn trong môi trường đông đúc.

Hình 6. Ví dụ về phát hiện hộp giới hạn định hướng trên ảnh chụp từ trên không các con thuyền bằng YOLOv8.

Trong hoạt động giám sát hàng hải, việc nhận dạng và theo dõi tàu thuyền là yếu tố then chốt đối với an ninh và quản lý tài nguyên. Phát hiện OBB có thể được dùng để định vị tàu chính xác, ngay cả khi chúng nằm dày đặc hoặc hướng theo nhiều góc khác nhau. Phương pháp này giúp giám sát luồng tàu, quản lý giao thông hàng hải và tối ưu hóa hoạt động cảng. Phương pháp này cũng có thể hỗ trợ ứng phó thảm họa bằng cách nhanh chóng xác định và đánh giá thiệt hại đối với tàu thuyền và cơ sở hạ tầng sau các sự kiện như bão hoặc tràn dầu.

Theo dõi đối tượng#

Cho đến nay, chúng ta đã thảo luận về các tác vụ thị giác máy tính xử lý ảnh. Theo dõi đối tượng là một tác vụ thị giác máy tính có thể theo dõi một đối tượng xuyên suốt các khung hình của video. Tác vụ này bắt đầu bằng cách nhận diện đối tượng trong khung hình đầu tiên bằng các thuật toán phát hiện, sau đó liên tục theo dõi vị trí của đối tượng khi đối tượng di chuyển trong video. Theo dõi đối tượng sử dụng các kỹ thuật như phát hiện đối tượng, trích xuất đặc trưng và dự đoán chuyển động để duy trì độ chính xác.

Hình 7. Dùng YOLOv8 để theo dõi cá.

Các vision model như YOLOv8 có thể được dùng để theo dõi cá trong sinh học biển. Bằng cách sử dụng camera dưới nước, các nhà nghiên cứu có thể theo dõi chuyển động và hành vi của cá trong môi trường sống tự nhiên. Quy trình bắt đầu bằng việc phát hiện từng con cá trong những khung hình đầu tiên, sau đó theo dõi vị trí của chúng xuyên suốt video. Theo dõi cá giúp các nhà khoa học hiểu được mô hình di cư, hành vi xã hội và tương tác với môi trường. Việc này cũng hỗ trợ các hoạt động đánh bắt bền vững bằng cách cung cấp thông tin về sự phân bố và số lượng cá.

Nhìn lại thị giác máy tính#

Thị giác máy tính đang tích cực thay đổi cách chúng ta sử dụng công nghệ và tương tác với thế giới. Bằng cách sử dụng các model deep learning và thuật toán phức tạp để hiểu hình ảnh và video, thị giác máy tính giúp các ngành tinh giản nhiều quy trình. Các tác vụ thị giác máy tính như phát hiện và theo dõi đối tượng đang giúp tạo ra những giải pháp trước đây chưa thể thực hiện. Khi công nghệ thị giác máy tính tiếp tục được cải tiến, tương lai sẽ còn có thêm nhiều ứng dụng sáng tạo!

Hãy cùng nhau học hỏi và phát triển! Khám phá kho lưu trữ GitHub để xem những đóng góp của chúng tôi cho AI. Tìm hiểu cách chúng tôi đang định hình lại các ngành như xe tự lái và nông nghiệp bằng AI.