Với các model Ultralytics YOLO, MarineSitu đã tự động hóa việc phát hiện động vật hoang dã xung quanh các hệ thống năng lượng biển, đạt thời gian hoạt động trên 96% và giảm thời gian xem lại video hằng ngày xuống chỉ còn một đến hai giờ.
Giám sát môi trường dưới nước và các hệ thống năng lượng biển không hề dễ dàng, nhưng đây là việc thiết yếu để hiểu cách cơ sở hạ tầng này tương tác với hệ sinh thái xung quanh và bảo đảm hệ thống vận hành an toàn mà không gây hại cho động vật hoang dã. Trước đây, các nhà nghiên cứu phải sàng lọc thủ công hàng giờ video dưới nước, một nhiệm vụ càng khó khăn hơn do điều kiện nước đục, dòng chảy mạnh và tầm nhìn không ổn định.
MarineSitu hỗ trợ các nhà nghiên cứu và tổ chức giám sát, tìm hiểu môi trường dưới nước bằng camera độ phân giải cao, thị giác máy tính, sonar hình ảnh, cảm biến môi trường và các model machine learning. Chẳng hạn, bằng cách sử dụng các model Ultralytics YOLO, hệ thống của họ có thể nhận diện và theo dõi động vật hoang dã khi chúng di chuyển xung quanh các turbine thủy triều và cơ sở hạ tầng năng lượng biển khác.
Giám sát biển thông minh hơn nhờ đổi mới AI#
Được thành lập vào năm 2016, MarineSitu bắt nguồn từ các nghiên cứu tại Trung tâm Năng lượng Biển Thái Bình Dương (PMEC) và Phòng thí nghiệm Vật lý Ứng dụng của Đại học Washington (APL). Hiện nay, họ hợp tác với các tổ chức như Bộ Năng lượng Hoa Kỳ và Cơ quan Quản lý Khí quyển và Đại dương Quốc gia Hoa Kỳ.
Thông qua các nền tảng như SaltySuite™, MarineSitu tích hợp các hệ thống phần cứng chuyên dụng, bao gồm camera, sonar và hydrophone, với các model phát hiện được hỗ trợ bởi AI để giám sát và phân tích môi trường dưới nước phức tạp. Cụ thể, bằng cách áp dụng các tác vụ thị giác máy tính như phát hiện đối tượng (xác định vị trí và nhận diện từng cá thể động vật hoặc đối tượng trong một hình ảnh), phân loại hình ảnh (gán nhãn cho toàn bộ hình ảnh dựa trên nội dung của hình ảnh) và theo dõi đối tượng (theo dõi các đối tượng đã phát hiện qua những frame liên tiếp để phân tích chuyển động của chúng), MarineSitu cung cấp thông tin chuyên sâu theo thời gian thực, hỗ trợ năng lượng biển, ngành thủy sản và nghiên cứu môi trường.
Vì sao giám sát dưới nước khó hơn so với vẻ ngoài#
Giám sát môi trường biển khó khăn hơn rất nhiều so với quan sát các điều kiện trên đất liền. Tầm nhìn có thể suy giảm mà không báo trước, dòng chảy mạnh làm dịch chuyển thiết bị, còn sinh vật biển bám phủ có thể nhanh chóng che khuất camera và cảm biến. Điều kiện có thể thay đổi theo từng giờ, khiến việc thu thập dữ liệu nhất quán trở nên khó khăn.
Đối với các nhà nghiên cứu và đơn vị vận hành năng lượng, điều này tạo ra một nút thắt lớn. Các dự án có thể tạo ra hàng trăm terabyte dữ liệu video, sonar và âm thanh, khiến việc xem xét thủ công trở nên chậm chạp và thiếu tính thực tế.
Các địa điểm ngoài khơi xa phải đối mặt với những trở ngại bổ sung, chẳng hạn như băng thông hạn chế, khiến việc gửi các file video lớn lên cloud trở nên khó khăn. Điều này làm tăng chi phí vận hành và phát sinh các mối lo ngại về bảo mật dữ liệu.
Để giải quyết những thách thức này, MarineSitu sử dụng phương pháp edge AI, xử lý dữ liệu trực tiếp trên phần cứng dưới nước thay vì phụ thuộc vào việc truyền dữ liệu lên cloud. Cách tiếp cận này cho phép phát hiện động vật hoang dã và các sự kiện môi trường theo thời gian thực, giảm lượng dữ liệu mà các nhà nghiên cứu cần xem xét và duy trì hoạt động giám sát đáng tin cậy ngay cả trong điều kiện đại dương có băng thông thấp và khó dự đoán.
Phát hiện dưới nước theo thời gian thực bằng các model Ultralytics YOLO#
MarineSitu triển khai các hệ thống giám sát xung quanh những cơ sở hạ tầng dưới nước có yêu cầu cao, bao gồm turbine thủy triều, cảng, cơ sở nghiên cứu và các trạm quan trắc môi trường dài hạn, nhằm ghi nhận cách sinh vật biển tương tác với những cấu trúc này. Gói Giám sát Thích ứng (AMP) của họ tích hợp camera quang học độ phân giải cao, sonar hình ảnh, hydrophone, đèn LED và các hệ thống chống bám phủ, giúp giữ cho ống kính và cảm biến luôn trong suốt trong nhiều tháng.
Để diễn giải luồng dữ liệu đa phương thức liên tục, MarineSitu sử dụng các model Ultralytics YOLO được huấn luyện tùy chỉnh để phân tích video theo thời gian thực. Các model này phát hiện và theo dõi các loài sinh vật biển khi chúng di chuyển qua những khu vực như vùng ảnh hưởng của turbine, tự động đánh dấu các sự kiện quan trọng và đồng bộ chúng với các bản ghi sonar và âm thanh tương ứng.
Chẳng hạn, khi một con sứa trôi dạt gần turbine, tính năng phân đoạn instance được hỗ trợ bởi các model Ultralytics YOLO như Ultralytics YOLOv8 và Ultralytics YOLO11 có thể ghi nhận toàn bộ đường viền của nó trong hình ảnh. Điều này bảo đảm các tương tác với động vật hoang dã được ghi lại đầy đủ ngữ cảnh, thay vì bị chôn vùi trong hàng giờ video không có sự kiện đáng chú ý.
Hình 1. Ví dụ sử dụng các model Ultralytics YOLO để phát hiện và phân đoạn sứa.
Tại sao chọn các model Ultralytics YOLO?#
Các model Ultralytics YOLO mang lại cho MarineSitu tốc độ và độ chính xác cần thiết để phát hiện theo thời gian thực trong môi trường dưới nước phức tạp. Các model như YOLOv8 và YOLO11 hoạt động hiệu quả trên các hệ thống edge của họ và có thể được export sang các định dạng như TensorRT.
MarineSitu và hoạt động giám sát bằng Ultralytics YOLO đạt thời gian hoạt động 96%#
Việc MarineSitu sử dụng các model Ultralytics YOLO đã cho phép giám sát động vật hoang dã theo thời gian thực một cách đáng tin cậy trong các đợt triển khai dài hạn ở điều kiện đại dương khắc nghiệt.
Trong một đợt triển khai kéo dài 141 ngày ở vùng Tây Bắc Thái Bình Dương, Gói Giám sát Thích ứng của MarineSitu, hay AMP, duy trì thời gian hoạt động trên 96% bất chấp dòng chảy mạnh, tầm nhìn thấp và áp lực bám phủ sinh học liên tục. Các hệ thống chống bám phủ giữ cho cổng camera, đèn và sonar hình ảnh luôn thông thoáng trong suốt thời gian đó, bảo đảm dữ liệu chất lượng cao và nhất quán.
Khi YOLO liên tục chạy trên hệ thống, các nhà nghiên cứu có thể theo dõi hải cẩu, cá và những loài khác khi chúng di chuyển xung quanh turbine. Tính năng phát hiện đối tượng và lọc sự kiện tự động đã giảm đáng kể thời gian xem xét thủ công. Theo các nhà nghiên cứu của PNNL và UW-APL, việc xem xét các sự kiện được YOLO đánh dấu thường chỉ mất một đến hai giờ mỗi ngày, so với quy trình tốn nhiều thời gian để quét qua video chưa được lọc.
Hình 2. Phát hiện hải cẩu bằng một model Ultralytics YOLO.
Bằng cách kết hợp phần cứng bền bỉ với khả năng cảm biến đa phương thức và thị giác máy tính theo thời gian thực, MarineSitu đã cung cấp góc nhìn toàn diện và đầy đủ ngữ cảnh về các tương tác với động vật hoang dã, điều cực kỳ khó đạt được chỉ bằng việc xem xét thủ công. Mức độ tin cậy và hiệu quả này đang giúp đẩy nhanh các đánh giá môi trường cho những dự án năng lượng thủy triều và nâng cao tiêu chuẩn cho các hệ thống giám sát biển.
Mở rộng năng lực phân tích biển theo thời gian thực#
MarineSitu đang tiếp tục mở rộng năng lực thị giác máy tính theo thời gian thực trên nhiều môi trường dưới nước. Ngoài các turbine thủy triều, các hệ thống được hỗ trợ bởi Ultralytics YOLO của họ đang được sử dụng để giám sát động vật hoang dã tại các cảng, hỗ trợ nghiên cứu rạn san hô, quan sát hành vi của cá xung quanh các cơ sở khoa học và thu thập dữ liệu môi trường dài hạn tại các địa điểm đại dương xa xôi.
Với các model YOLO làm nền tảng cho pipeline phát hiện, MarineSitu đang tập trung cải thiện khả năng nhận diện loài, tăng cường xử lý AI trên edge và đưa hoạt động giám sát tự động đến nhiều địa điểm hơn, nơi các phương pháp truyền thống khó triển khai hoặc tốn kém. Họ hướng đến việc làm cho hoạt động giám sát dưới nước hiệu quả và dễ tiếp cận hơn, đồng thời cung cấp cho các nhà nghiên cứu thông tin rõ ràng và nhanh chóng hơn về cách các hệ sinh thái biển tương tác với hoạt động của con người.
Quan tâm đến AI? Hãy xem các tùy chọn cấp phép của chúng tôi để đưa Vision AI vào các dự án của bạn. Truy cập repository GitHub của chúng tôi để tìm hiểu thêm. Khám phá thị giác máy tính trong lĩnh vực robotics và AI trong ngành automotive trên các trang giải pháp của chúng tôi.
