Camera thị giác máy tính và các ứng dụng của chúng

Nhiều technical factors, chẳng hạn như data, algorithms và computing power, góp phần tạo nên sự thành công của một ứng dụng trí tuệ nhân tạo (AI). Cụ thể trong computer vision, một lĩnh vực con của AI tập trung vào việc cho phép máy móc phân tích và hiểu hình ảnh cũng như video, một trong những yếu tố quan trọng nhất là nguồn đầu vào hoặc dữ liệu: camera. Chất lượng và loại camera được sử dụng cho một computer vision application ảnh hưởng trực tiếp đến performance of AI models.

Việc lựa chọn chiếc camera phù hợp là vô cùng quan trọng vì các computer vision tasks khác nhau đòi hỏi các loại visual data khác nhau. Ví dụ, camera độ phân giải cao được sử dụng cho các ứng dụng như facial recognition, nơi các chi tiết khuôn mặt tinh vi cần phải được ghi lại với độ precision. Ngược lại, các camera độ phân giải thấp hơn có thể được sử dụng cho các tác vụ như queue monitoring, vốn phụ thuộc vào các mẫu tổng thể nhiều hơn là các chi tiết phức tạp.

Ngày nay, có rất nhiều loại cameras sẵn có, mỗi loại được thiết kế để đáp ứng các nhu cầu cụ thể. Việc hiểu rõ sự khác biệt giữa chúng có thể giúp bạn tối ưu hóa các computer vision innovations của mình. Hãy cùng khám phá các loại camera computer vision khác nhau và ứng dụng của chúng trong nhiều ngành công nghiệp.

Khám phá camera RGB cho thị giác máy tính#

Camera RGB (đỏ, lục và lam) được sử dụng phổ biến trong các computer vision applications. Chúng ghi lại hình ảnh trong visible spectrum nằm trong dải bước sóng từ 400 đến 700 nanômét (nm). Vì những hình ảnh này tương tự như cách con người nhìn thấy, camera RGB được sử dụng cho nhiều tác vụ như object detection, instance segmentation và pose estimation trong các tình huống mà thị giác giống con người là đủ.

Fig 1. Tổng quan về cách hoạt động của camera RGB.

Các tác vụ này thường bao gồm việc nhận diện và detecting objects từ two-dimensional (2D) perspective, nơi việc thu thập độ sâu là không cần thiết để có kết quả chính xác. Tuy nhiên, khi một ứng dụng yêu cầu thông tin về độ sâu, như trong 3D object detection hoặc robotics, camera RGB-D (Đỏ, Lục, Lam và Độ sâu) sẽ được sử dụng. Các camera này kết hợp dữ liệu RGB với các depth sensors để thu thập các chi tiết 3D và cung cấp các phép đo độ sâu theo thời gian thực.

Sử dụng camera RGB-D trong cửa hàng bán lẻ#

Một ứng dụng thú vị mà camera RGB-D có thể phát huy tác dụng là virtual try-ons, một khái niệm đang trở nên phổ biến hơn trong các retail stores. Nói một cách đơn giản, các màn hình thông minh tích hợp camera RGB-D và cảm biến có thể thu thập các chi tiết như chiều cao, hình dáng cơ thể và chiều rộng vai của người mua sắm. Sử dụng thông tin này, hệ thống có thể phủ kỹ thuật số trang phục lên hình ảnh trực tiếp của khách hàng. Các Computer vision tasks như instance segmentation và pose estimation có thể xử lý visual data để phát hiện chính xác cơ thể khách hàng và căn chỉnh quần áo cho phù hợp với tỷ lệ cơ thể của họ trong thời gian thực.

Fig 2. Ví dụ về hệ thống thử đồ ảo.

Virtual try-ons mang lại cho khách hàng góc nhìn 3D về cách một bộ trang phục sẽ vừa vặn như thế nào, và một số hệ thống thậm chí có thể mô phỏng cách vải chuyển động để mang lại realistic experience. Computer vision và camera RGB-D giúp khách hàng bỏ qua phòng thử đồ và thử quần áo ngay lập tức. Điều này giúp tiết kiệm thời gian, làm cho việc so sánh kiểu dáng và kích cỡ trở nên dễ dàng hơn, đồng thời nâng cao shopping experience tổng thể.

Tìm hiểu về hình ảnh lập thể và camera đo thời gian bay (ToF)#

Camera lập thể (stereo cameras) là một loại camera sử dụng nhiều cảm biến hình ảnh để ghi lại chiều sâu bằng cách so sánh hình ảnh từ các góc độ khác nhau. Chúng chính xác hơn các hệ thống đơn cảm biến. Trong khi đó, camera hoặc cảm biến Đo thời gian bay (Time-of-Flight - ToF) đo khoảng cách bằng cách phát ra tia hồng ngoại phản xạ từ các vật thể và quay trở lại cảm biến. Thời gian ánh sáng quay trở lại được bộ xử lý của camera tính toán để xác định khoảng cách.

Fig 3. Tổng quan về cách hoạt động của camera ToF.

Trong một số trường hợp, camera stereo được tích hợp với cảm biến ToF, kết hợp thế mạnh của cả hai thiết bị để thu thập thông tin độ sâu nhanh chóng và với độ chính xác cao. Sự kết hợp giữa các phép đo khoảng cách thời gian thực của cảm biến ToF với khả năng nhận thức độ sâu chi tiết của camera stereo khiến nó trở nên lý tưởng cho các ứng dụng như autonomous vehicles và consumer electronics, nơi tốc độ và độ chính xác đều cực kỳ quan trọng.

Một ví dụ thường ngày về cảm biến chiều sâu bằng camera thời gian bay (ToF)#

Có khả năng là bạn đã từng sử dụng camera Thời gian bay (ToF) mà không hề hay biết. Trên thực tế, các điện thoại thông minh phổ biến từ các thương hiệu như Samsung, Huawei và Realme thường tích hợp cảm biến ToF để tăng cường khả năng cảm biến chiều sâu. Thông tin chiều sâu chính xác mà các camera này cung cấp được sử dụng để tạo ra hiệu ứng bokeh phổ biến, nơi hậu cảnh bị làm mờ trong khi chủ thể vẫn được lấy nét sắc nét.

Cảm biến ToF cũng đang trở nên thiết yếu cho các ứng dụng khác ngoài photography, chẳng hạn như gesture recognition và augmented reality (AR). Ví dụ, các phones như Samsung Galaxy S20 Ultra và Huawei P30 Pro sử dụng các cảm biến này để lập bản đồ độ sâu 3D trong thời gian thực, cải thiện cả photography và interactive experiences.

Camera hồng ngoại hoặc camera nhiệt để phát hiện nhiệt#

Camera nhiệt, đúng như tên gọi của chúng, được sử dụng rộng rãi để heat detection trong nhiều ứng dụng khác nhau, bao gồm các manufacturing industries và automobile factories. Các camera này đo nhiệt độ và có thể được sử dụng để cảnh báo người dùng khi phát hiện các mức nhiệt độ quan trọng quá cao hoặc quá thấp. Bằng cách phát hiện bức xạ hồng ngoại, vốn là thứ mắt thường không nhìn thấy được, chúng cung cấp các chỉ số nhiệt độ chính xác. Thường được gọi là infrared cameras, các ứng dụng của chúng cũng mở rộng ra ngoài industrial settings. Ví dụ, camera nhiệt cũng được sử dụng trong agriculture để monitor livestock health, trong building inspections để xác định các điểm rò rỉ nhiệt, và trong công tác firefighting để định vị các điểm nóng.

Fig 4. Lính cứu hỏa sử dụng camera nhiệt để tìm các điểm nóng.

Ảnh nhiệt cho các ứng dụng công nghiệp#

Machines và hệ thống điện tại các nhà máy sản xuất hoặc oil and gas rigs thường hoạt động liên tục và sinh ra nhiệt lượng như một sản phẩm phụ. Theo thời gian, việc tích tụ nhiệt quá mức có thể xảy ra ở các bộ phận như động cơ, ổ đỡ hoặc electrical circuits, có khả năng dẫn đến equipment failure hoặc safety hazards.

Camera nhiệt có thể giúp người vận hành theo dõi các hệ thống này bằng cách phát hiện sớm các mức tăng nhiệt độ bất thường. Một động cơ quá nhiệt có thể được lên lịch bảo trì để ngăn ngừa các sự cố tốn kém. Bằng cách tích hợp công nghệ chụp ảnh nhiệt vào các đợt kiểm tra thường xuyên, các ngành công nghiệp có thể thực hiện predictive maintenance, giảm thiểu thời gian ngừng hoạt động, kéo dài tuổi thọ thiết bị và đảm bảo môi trường làm việc an toàn hơn. Nhìn chung, hiệu suất nhà máy có thể được cải thiện và rủi ro xảy ra sự cố bất ngờ có thể được giảm thiểu tối đa.

Camera quay chậm và tốc độ cao để ghi hình chuyển động#

Camera tốc độ cao được thiết kế để chụp hơn 10.000 khung hình mỗi giây (FPS) nhằm có thể xử lý các chuyển động nhanh với exceptional accuracy. Ví dụ, khi các sản phẩm di chuyển nhanh trên dây chuyền sản xuất, camera tốc độ cao có thể được sử dụng để theo dõi chúng và detect bất kỳ điểm bất thường nào.

Mặt khác, camera quay chậm có thể được sử dụng để quay phim ở tốc độ khung hình cao rồi giảm tốc độ phát lại. Điều này cho phép người xem quan sát các chi tiết thường bị bỏ lỡ trong thời gian thực. Các camera này được sử dụng để đánh giá hiệu suất của súng đạn và vật liệu nổ. Khả năng làm chậm và phân tích các chuyển động phức tạp rất lý tưởng cho loại ứng dụng này.

Trong một số tình huống nhất định, việc kết hợp camera tốc độ cao và camera chuyển động chậm có thể giúp phân tích chi tiết các vật thể di chuyển nhanh và chậm trong cùng một sự kiện. Giả sử chúng ta đang phân tích một game of golf. Camera tốc độ cao có thể đo speed of a golf ball, trong khi camera chuyển động chậm có thể phân tích các chuyển động vung gậy và khả năng kiểm soát cơ thể của người chơi golf.

Fig 5. Sử dụng computer vision và camera tốc độ cao để phân tích cú vung gậy của người chơi golf.

Hình ảnh đa phổ trong thị giác máy tính#

Các cameras đa phổ là các thiết bị chuyên dụng có thể ghi lại nhiều bước sóng của phổ ánh sáng, bao gồm cả tia cực tím và hồng ngoại, trong một lần chụp duy nhất. Chụp ảnh đa phổ cung cấp dữ liệu chi tiết có giá trị mà các camera truyền thống không thể chụp được. Tương tự như camera siêu phổ (hyperspectral), vốn thu nhận các dải ánh sáng thậm chí còn hẹp và liên tục hơn, camera đa phổ được sử dụng trong các lĩnh vực như agriculture, địa chất, environmental monitoring và medical imaging. Ví dụ, trong lĩnh vực healthcare, camera đa phổ có thể giúp trực quan hóa các mô khác nhau bằng cách chụp ảnh qua nhiều bước sóng.

Fig 6. So sánh công nghệ chụp ảnh RGB, đa phổ và siêu phổ.

Tương tự, các drones được trang bị công nghệ chụp ảnh đa phổ đang có những bước tiến đáng kể trong nông nghiệp. Chúng có thể xác định thực vật không khỏe mạnh hoặc bị ảnh hưởng bởi insects and pests ở giai đoạn đầu. Các camera này có thể phân tích quang phổ cận hồng ngoại, và thực vật khỏe mạnh thường phản xạ nhiều ánh sáng cận hồng ngoại hơn so với những cây không khỏe mạnh. Bằng cách áp dụng các kỹ thuật AI như vậy trong agriculture, nông dân có thể thực hiện các biện pháp đối phó từ sớm để thúc đẩy năng suất và giảm thiểu thất thu mùa màng.

Camera LiDAR cho xe tự lái#

LiDAR (Light Detection and Ranging) cameras sử dụng các xung laser để tạo bản đồ 3D và phát hiện vật thể từ xa. Chúng hoạt động hiệu quả trong nhiều điều kiện như sương mù, mưa, bóng tối và nhiệt độ cao, mặc dù heavy weather như mưa hoặc sương mù có thể tác động đến hiệu suất của chúng. LiDAR thường được sử dụng trong các ứng dụng như self-driving cars cho mục đích điều hướng và phát hiện vật cản.

LiDAR hoạt động giống như đôi mắt của ô tô, phát ra các xung laser và đo lường thời gian chúng phản hồi trở lại. Những thông tin chi tiết này giúp xe tính toán khoảng cách và nhận diện các đối tượng như cars, người đi bộ và tín hiệu giao thông, cung cấp tầm nhìn toàn cảnh 360 độ nhằm phục vụ cho việc safer driving.

Tóm tắt mọi thứ#

Khi nói đến thị giác máy tính, camera đóng vai trò là đôi mắt cho phép máy móc nhìn và diễn giải thế giới tương tự như cách con người làm. Việc chọn đúng loại camera là chìa khóa cho sự thành công của các ứng dụng thị giác máy tính khác nhau. Từ camera RGB tiêu chuẩn đến hệ thống LiDAR tiên tiến, mỗi loại đều mang đến những tính năng độc đáo phù hợp cho các tác vụ cụ thể. Bằng cách hiểu rõ sự đa dạng của các công nghệ camera và cách sử dụng của chúng, các nhà phát triển và nhà nghiên cứu có thể tối ưu hóa tốt hơn các mô hình thị giác máy tính để giải quyết các thách thức phức tạp trong thế giới thực.

Khám phá thêm về AI bằng cách xem GitHub repository của chúng tôi. Tham gia community của chúng tôi để kết nối với những những người có cùng chí hướng đam mê vision AI. Tìm hiểu thêm về các ứng dụng computer vision trong lĩnh vực healthcare và manufacturing trên các trang giải pháp của chúng tôi.