Xây dựng các ứng dụng drone hỗ trợ bởi AI với Ultralytics YOLO11

Mua sắm tại cửa hàng và mua sắm trực tuyến có vẻ giống nhau, nhưng chúng dựa trên các quy trình logistics khác nhau. Các cửa hàng cần bổ sung hàng hóa trên kệ, trong khi các đơn hàng trực tuyến phụ thuộc vào việc giao hàng tận nơi. Nhờ những tiến bộ công nghệ, cả hai trải nghiệm mua sắm này đều đang được định hình lại song song.

Ví dụ, một sự thay đổi lớn đang diễn ra trong lĩnh vực giao hàng. Các drone được hỗ trợ bởi AI đang thay đổi cách thức sản phẩm đến tận nhà chúng ta. Những chiếc drone thông minh này dự kiến sẽ xử lý khoảng 808 triệu đơn hàng trong thập kỷ tới, biến bầu trời thành tuyến đường giao hàng mới nhất cho thương mại hàng ngày.

Drone giao hàng sử dụng trí tuệ nhân tạo (AI) và thị giác máy tính, một phân ngành của AI được dùng để phân tích dữ liệu trực quan, nhằm điều hướng và di chuyển xung quanh các chướng ngại vật. Các model thị giác máy tính như Ultralytics YOLO11 có thể giúp drone phát hiện và theo dõi các đối tượng trong thời gian thực, cho phép chúng hiểu và tương tác tốt hơn với môi trường xung quanh.

Hình 1. Một chiếc drone giao hàng đang mang gói hàng đến điểm đến.

Các công ty như Meituan và DJI đã tích hợp thị giác máy tính vào các drone của họ. Trên thực tế, việc áp dụng nhanh chóng drone trong nhiều ngành công nghiệp đã thúc đẩy thị trường drone AI đạt mức 206,9 tỷ USD vào năm 2031.

Trong bài viết này, chúng ta sẽ tìm hiểu kỹ hơn về cách các model thị giác máy tính như Ultralytics YOLO11 có thể được sử dụng trong các ứng dụng dựa trên drone như giao hàng bằng drone. Chúng ta sẽ cùng xem qua một ví dụ minh họa cách các công nghệ này có thể được phát triển và thử nghiệm trước khi sử dụng trong các kịch bản thực tế.

Link to this sectionSử dụng Ultralytics YOLO11 trên drone để phát hiện ngôi nhà#

Một phần quan trọng của drone giao hàng là khả năng phát hiện ngôi nhà khi chúng điều hướng. Để tái tạo khả năng này và hiểu cách thức hoạt động của nó, chúng ta sẽ huấn luyện một model thị giác máy tính có thể nhận diện các ngôi nhà trong cảnh quay được chụp từ drone trên không. Chúng ta sẽ huấn luyện tùy chỉnh YOLO11 cho việc này, bao gồm việc tinh chỉnh một model YOLO11 đã được huấn luyện trước để nhận biết và phát hiện các ngôi nhà bằng cách sử dụng các ví dụ đã được gán nhãn.

Để thực hiện điều đó, chúng ta sẽ cần dữ liệu video chất lượng cao từ drone. Điều thú vị là ngay cả khi không có quyền truy cập vào một chiếc drone thực tế, chúng ta vẫn có thể tạo ra các cảnh quay trên không chân thực. Hãy cùng xem cách thực hiện.

Link to this sectionTạo cảnh quay drone nhân tạo bằng Google Earth Studio#

Google Earth Studio là công cụ hoạt họa dựa trên web cho phép người dùng tạo các nội dung tĩnh và động bằng cách sử dụng hình ảnh vệ tinh và 3D của Google Earth. Chúng ta có thể sử dụng nó để tạo các cảnh quay trên không chân thực.

Bước đầu tiên là mở Google Earth Studio và tạo một dự án như hình bên dưới.

Bạn sẽ cần một tài khoản Google để đăng nhập.

Hình 2. Tạo dự án trên Google Earth Studio.

Sau khi đăng nhập, bạn có thể chọn vị trí cho video drone nhân tạo của mình. Sử dụng thanh tìm kiếm ở góc trên cùng bên trái của trang, bạn có thể tìm kiếm các địa điểm. Đối với hướng dẫn này, chúng ta sẽ chọn Canada. Ngoài ra, vì chúng ta sẽ huấn luyện model để phát hiện ngôi nhà, video drone của chúng ta nên có tầm nhìn trên không về các ngôi nhà.

Hình 3. Chọn vị trí bằng Google Earth Studio.

Tiếp theo, chúng ta có thể đặt khung hình thời gian đầu và cuối để nắm bắt chuyển động của cảnh quay drone nhân tạo. Sau khi bạn đã chọn vị trí bắt đầu cho cảnh quay drone, hãy đặt khung hình đầu tiên bằng các viên kim cương màu xanh dương, như hình dưới đây.

Hình 4. Đặt khung hình đầu tiên bằng các viên kim cương màu xanh dương.

Tiếp theo, chúng ta có thể chọn khung hình cuối cùng để xác định điểm đến của drone. Điều này sẽ giúp chúng ta tạo hiệu ứng di chuyển cho cảnh quay drone. Để làm việc này, hãy trượt thanh (được làm nổi bật bên dưới) sang phải đến một thời điểm cụ thể để tạo hiệu ứng di chuyển cho cảnh quay drone. Một lần nữa, hãy sử dụng các viên kim cương màu xanh dương để đặt điểm cuối cùng.

Hình 5. Đặt khung hình cuối cùng bằng cách di chuyển thanh.

Cuối cùng, bạn có thể lưu dự án này và kết xuất (render) bằng cách nhấp vào nút “Render” màu đỏ ở góc trên bên phải của trang. Việc này sẽ cung cấp cho bạn video đầu ra cuối cùng của cảnh quay drone, qua đó tạo thành công cảnh quay video drone nhân tạo.

Hình 6. Kết xuất video đầu ra cuối cùng.

Link to this sectionCách gán nhãn dữ liệu drone?#

Bây giờ chúng ta đã tạo xong cảnh quay video drone nhân tạo, bước tiếp theo là gán nhãn hoặc chú thích các ngôi nhà trong đó. Chúng ta cũng sẽ cần tách các khung hình riêng lẻ của video.

Để bắt đầu, chúng ta sẽ cài đặt LabelImg. LabelImg là một công cụ gán nhãn hình ảnh mã nguồn mở. Bạn có thể cài đặt nó trực tiếp từ terminal bằng trình cài đặt gói pip bằng cách chạy lệnh sau: “pip install labelImg”.

Sau khi cài đặt, bạn có thể chạy công cụ bằng lệnh ‘labelImg’ trên terminal hoặc command prompt. Thao tác này sẽ đưa bạn đến trang hiển thị bên dưới.

Hình 7. Giao diện công cụ LabelImg.

Trong khi đó, chúng ta có thể sử dụng bộ chuyển đổi video sang hình ảnh trực tuyến hoặc một công cụ có tên FFmpeg để tách video thành các khung hình. FFmpeg là một tập hợp các thư viện và công cụ để xử lý nội dung đa phương tiện như âm thanh, video, phụ đề và siêu dữ liệu liên quan.

Bạn có thể sử dụng lệnh terminal sau để tách từng khung hình của video cảnh quay drone:

ffmpeg -i input_video.mp4 frame_%04d.png

Sau khi đã tách các khung hình của cảnh quay drone, chúng ta có thể bắt đầu gán nhãn cho các đối tượng (ngôi nhà) trong đó. Bằng cách điều hướng đến thư mục hình ảnh thông qua công cụ LabelImg, chúng ta có thể gán nhãn cho các đối tượng trong mỗi hình ảnh. Hãy chắc chắn lưu và xác minh mọi hình ảnh đã gán nhãn. Sau khi chú thích hình ảnh, chúng ta có thể chuyển sang huấn luyện YOLO11 bằng dữ liệu này.

Hình 8. Ví dụ về việc lưu hình ảnh đã chú thích.

Link to this sectionQuy trình huấn luyện model YOLO11#

Trước khi bắt đầu huấn luyện YOLO11, chúng ta sẽ sắp xếp hình ảnh và nhãn của mình. Hãy bắt đầu bằng cách tạo hai thư mục: một thư mục có tên "train" và thư mục kia là "valid". Phân chia hình ảnh của bạn giữa các thư mục này. Bên trong mỗi thư mục, hãy tạo các thư mục con riêng biệt cho hình ảnh và các tệp nhãn tương ứng (định dạng văn bản), như hình dưới đây.

Hình 9. Ví dụ về việc tạo các thư mục hình ảnh và nhãn.

Sau đó, chúng ta có thể bắt đầu huấn luyện model YOLO11 như sau:

• Bước 1: Cài đặt gói Ultralytics Python. Bạn có thể thực hiện việc này bằng cách chạy lệnh “pip install ultralytics” trong terminal của mình. Nếu bạn gặp bất kỳ sự cố cài đặt nào, hãy xem hướng dẫn khắc phục sự cố của chúng tôi để biết các mẹo và thủ thuật giúp bạn giải quyết chúng.
• Bước 2: Sau khi cài đặt thành công gói, hãy tạo một tệp có tên ‘data.yaml’. Đây là tệp cấu hình rất quan trọng để huấn luyện model. Trong tệp data.yaml, hãy bao gồm các thông tin sau: đường dẫn đến tập dữ liệu huấn luyện, đường dẫn đến tập dữ liệu kiểm chứng, số lượng lớp (nc) và danh sách các tên lớp (names), như hình dưới đây.

Hình 10. Ví dụ về tệp data.yaml.

• Bước 3: Sau khi tệp ‘data.yaml’ được cấu hình, bạn có thể bắt đầu huấn luyện model của mình bằng mã Python sau. Mã này tải model YOLO11 đã được huấn luyện trước và huấn luyện nó theo cấu hình của bạn.

from ultralytics import YOLO

# Load a YOLO11 model
model = YOLO("yolo11n.pt")  # choose your model, e.g., YOLO11 nano

# Train the model with your data and settings
model.train(data="data.yaml", epochs=100, imgsz=640)

• Bước 4: Sau khi quá trình huấn luyện hoàn tất, bạn sẽ thấy kết quả đầu ra tương tự như hình dưới đây. Điều này có nghĩa là bạn đã huấn luyện thành công model YOLO11 cho các ứng dụng dựa trên drone.

Hình 11. Kết quả hiển thị sau khi huấn luyện model.

Link to this sectionChạy dự đoán bằng Ultralytics YOLO11 trên drone#

Model YOLO11 đã được huấn luyện hiện có thể được sử dụng để đưa ra dự đoán thông qua một quy trình gọi là inferencing. Inferencing liên quan đến việc sử dụng một model để phân tích dữ liệu mới, chưa từng thấy dựa trên những gì nó đã học được trong quá trình huấn luyện. Trong trường hợp này, model có thể được sử dụng để tìm và gán nhãn cho các đối tượng cụ thể, như ngôi nhà, trong hình ảnh hoặc video bằng cách vẽ các khung giới hạn (bounding boxes) xung quanh chúng.

Để chạy dự đoán, bạn có thể sử dụng model YOLO11 đã được huấn luyện trên một video đầu vào bằng mã Python sau. Trong ví dụ này, chúng ta sẽ sử dụng cùng một video drone nhân tạo đã được sử dụng để huấn luyện, nhưng bạn có thể sử dụng bất kỳ tệp video nào khác nếu muốn.

# Import library
from ultralytics import YOLO

# Load the YOLO model
model = YOLO("best.pt")  # Choose your custom-trained model

# Predict the results from the model
results = model.predict(source="path/to/original/video.mp4", show=True, save=True)

Sau khi chạy mã này, tệp video đầu ra với các dự đoán và khung giới hạn sẽ được lưu lại.

Hình 12. Một khung hình từ tệp video đầu ra.

Link to this sectionTích hợp Ultralytics YOLO11 trên drone cho các ứng dụng đa dạng#

Phát hiện ngôi nhà cho các gói hàng giao bằng drone chỉ là một ví dụ về cách thị giác máy tính và YOLO11 có thể được áp dụng. Dưới đây là một số ứng dụng thực tế khác của thị giác máy tính, YOLO11 và drone trên không:

• Giám sát và an ninh: Drone AI có thể được sử dụng để theo dõi các khu vực rộng lớn trong thời gian thực. Chúng có thể phát hiện sự xâm nhập, theo dõi các hoạt động đáng ngờ và tăng cường an ninh tại biên giới quốc gia cũng như các sự kiện công cộng lớn.

• Ứng phó thiên tai và tìm kiếm cứu nạn: Được trang bị camera nhiệt và tính năng phát hiện đối tượng, drone có thể giúp xác định vị trí những người sống sót trong các vùng thảm họa. Chúng cũng có thể đánh giá thiệt hại và vận chuyển vật tư khẩn cấp.

• Nông nghiệp và canh tác chính xác: Drone tích hợp thị giác máy tính có thể được sử dụng để phân tích sức khỏe cây trồng và phát hiện bệnh tật, giúp nông dân tăng năng suất trong khi giảm chi phí.

• Lập bản đồ và phân tích địa không gian: Bằng cách thu thập bản đồ 3D độ phân giải cao, drone AI có thể hỗ trợ quy hoạch đô thị và khảo sát đất đai. Chúng cung cấp các đánh giá địa hình nhanh hơn và chính xác hơn so với các phương pháp truyền thống.

Link to this sectionCác điểm chính cần lưu ý#

Drone AI được hỗ trợ bởi thị giác máy tính đang thay đổi nhiều ngành công nghiệp, từ giao hàng đến hỗ trợ trong tình huống khẩn cấp và canh tác. Trong hướng dẫn này, chúng ta đã cùng thực hiện việc tạo một video drone nhân tạo, gán nhãn đối tượng trong đó, huấn luyện YOLO11 và sử dụng nó để phát hiện các ngôi nhà.

Áp dụng phát hiện đối tượng vào cảnh quay drone làm cho những chiếc drone này thông minh hơn, cho phép chúng tự động nhận diện và theo dõi các đối tượng trong thời gian thực. Khi công nghệ phát triển, drone điều khiển bằng AI có khả năng sẽ đóng vai trò lớn hơn nữa trong việc giúp việc giao hàng nhanh hơn, cải thiện an ninh và hỗ trợ ứng phó thiên tai.

Hãy tham gia cộng đồng của chúng tôi và khám phá kho lưu trữ GitHub để tìm hiểu thêm về thị giác AI, đồng thời xem các tùy chọn cấp phép của chúng tôi để bắt đầu các dự án thị giác máy tính của bạn. Bạn quan tâm đến các đổi mới như AI trong sản xuất hay thị giác máy tính trong ngành ô tô? Hãy truy cập các trang giải pháp của chúng tôi để khám phá thêm.