Tìm hiểu cách xây dựng các ứng dụng máy bay không người lái hỗ trợ AI với Ultralytics YOLO11 , cho phép phát hiện đối tượng theo thời gian thực và thực hiện nhiệm vụ thị giác máy tính dựa trên máy bay không người lái.
Mua sắm tại cửa hàng và mua sắm trực tuyến có vẻ giống nhau, nhưng chúng phụ thuộc vào hậu cần khác nhau. Các cửa hàng cần bổ sung hàng lên kệ, trong khi các đơn hàng trực tuyến phụ thuộc vào dịch vụ giao hàng tận nhà. Nhờ những tiến bộ công nghệ, cả hai trải nghiệm mua sắm đang được định hình lại song song.
Ví dụ, một sự thay đổi lớn đang diễn ra trong việc giao hàng. Máy bay không người lái được hỗ trợ bởi AI đang thay đổi cách thức sản phẩm đến nhà chúng ta. Những chiếc máy bay không người lái thông minh này dự kiến sẽ xử lý khoảng 808 triệu lần giao hàng trong thập kỷ tới, biến bầu trời thành tuyến đường giao hàng mới nhất cho thương mại hàng ngày.
Máy bay không người lái giao hàng sử dụng trí tuệ nhân tạo (AI) và thị giác máy tính , một lĩnh vực con của AI được sử dụng để phân tích dữ liệu trực quan, để điều hướng và di chuyển xung quanh chướng ngại vật. Các mô hình thị giác máy tính như Ultralytics YOLO11 có thể giúp máy bay không người lái phát hiện và theo dõi các vật thể theo thời gian thực, cho phép chúng hiểu rõ hơn và tương tác tốt hơn với môi trường của chúng.
Các công ty như Meituan và DJI đã tích hợp thị giác máy tính vào máy bay không người lái của họ. Trên thực tế, việc áp dụng nhanh chóng máy bay không người lái trong nhiều ngành công nghiệp đã đưa thị trường máy bay không người lái AI tăng vọt lên 206,9 tỷ đô la vào năm 2031.
Trong bài viết này, chúng ta sẽ xem xét kỹ hơn cách các mô hình thị giác máy tính như Ultralytics YOLO11 có thể được sử dụng trong các ứng dụng dựa trên máy bay không người lái như giao hàng bằng máy bay không người lái. Chúng tôi sẽ hướng dẫn một ví dụ để chứng minh cách các công nghệ này có thể được phát triển và thử nghiệm trước khi được sử dụng trong các tình huống thực tế.
Một phần quan trọng của máy bay không người lái giao hàng là khả năng phát hiện nhà khi chúng di chuyển. Để tái tạo khả năng này và hiểu cách thức hoạt động của nó, chúng tôi sẽ đào tạo một mô hình thị giác máy tính có thể xác định nhà trong cảnh quay do máy bay không người lái trên không ghi lại. Chúng tôi sẽ đào tạo tùy chỉnh YOLO11 đối với điều này, bao gồm việc tinh chỉnh một YOLO11 mô hình nhận dạng và phát hiện nhà bằng cách sử dụng các ví dụ có nhãn.
Để làm như vậy, chúng ta sẽ cần dữ liệu video chất lượng cao từ máy bay không người lái. Điều thú vị là ngay cả khi không có máy bay không người lái thực sự, chúng ta vẫn có thể tạo ra cảnh quay trên không chân thực. Hãy cùng xem cách thực hiện.
Google Earth Studio là một công cụ hoạt hình dựa trên web có thể được người dùng sử dụng để tạo nội dung tĩnh và hoạt hình bằng cách sử dụng Google Vệ tinh Trái đất và hình ảnh 3D. Chúng ta có thể sử dụng nó để tạo ra cảnh quay trên không chân thực.
Bước đầu tiên là mở Google Earth Studio và tạo một dự án như hiển thị bên dưới.
Bạn sẽ cần một Google tài khoản để đăng nhập.
Sau khi đăng nhập, bạn có thể chọn một địa điểm cho video máy bay không người lái nhân tạo của mình. Sử dụng thanh tìm kiếm ở góc trên bên trái của trang, bạn có thể tìm kiếm địa điểm. Đối với hướng dẫn này, chúng ta sẽ chọn Canada. Ngoài ra, vì chúng ta sẽ đào tạo một mô hình để phát hiện nhà, video máy bay không người lái của chúng ta phải có góc nhìn từ trên không của các ngôi nhà.
Tiếp theo, chúng ta có thể thiết lập khung thời gian đầu tiên và cuối cùng để ghi lại chuyển động của cảnh quay bằng máy bay không người lái nhân tạo. Sau khi bạn đã chọn vị trí bắt đầu cho cảnh quay bằng máy bay không người lái, hãy thiết lập khung đầu tiên bằng cách sử dụng các viên kim cương màu xanh lam, như minh họa bên dưới.
Tiếp theo, chúng ta có thể chọn khung hình cuối cùng để xác định điểm đến của máy bay không người lái. Điều này sẽ giúp chúng ta tạo hiệu ứng chuyển động cho cảnh quay bằng máy bay không người lái. Để thực hiện việc này, hãy trượt thanh (được tô sáng bên dưới) sang phải đến thời điểm cụ thể để tạo hiệu ứng chuyển động cho cảnh quay bằng máy bay không người lái. Một lần nữa, sử dụng các viên kim cương màu xanh lam để đặt điểm cuối cùng.
Cuối cùng, bạn có thể lưu dự án này và kết xuất nó bằng cách nhấp vào nút "Kết xuất" màu đỏ ở góc trên bên phải của trang. Thao tác này sẽ cung cấp cho bạn đầu ra video cuối cùng của cảnh quay bằng máy bay không người lái, tạo thành công cảnh quay video bằng máy bay không người lái nhân tạo.
Bây giờ chúng ta đã tạo được cảnh quay video bằng máy bay không người lái nhân tạo, bước tiếp theo là gắn nhãn hoặc chú thích cho các ngôi nhà trong đó. Chúng ta cũng cần tách các khung hình riêng lẻ của video.
Để bắt đầu, chúng ta sẽ cài đặt LabelImg. LabelImg là một công cụ gắn nhãn hình ảnh mã nguồn mở. Bạn có thể cài đặt trực tiếp từ terminal bằng trình cài đặt gói pip bằng cách chạy lệnh sau: “ pip install labelImg” .
Sau khi cài đặt, bạn có thể chạy công cụ bằng lệnh 'labelImg' trên terminal hoặc dấu nhắc lệnh. Thao tác này sẽ đưa bạn đến trang hiển thị bên dưới.
Trong khi đó, chúng ta có thể sử dụng trình chuyển đổi video sang hình ảnh trực tuyến hoặc công cụ có tên FFmpeg để chia video thành các khung hình. FFmpeg là tập hợp các thư viện và công cụ để xử lý nội dung đa phương tiện như âm thanh, video, phụ đề và siêu dữ liệu liên quan.
Bạn có thể sử dụng lệnh đầu cuối sau để tách từng khung hình của video quay bằng máy bay không người lái:
VI
EN
ZH
KO
JA
RU
DE
FR
ES
PT
IT
AR
TR
ffmpeg -i input_video.mp4 -vf fps=1 frame_%04d.jpgSau khi tách các khung hình của cảnh quay bằng máy bay không người lái, chúng ta có thể bắt đầu dán nhãn các đối tượng (ngôi nhà) trong đó. Bằng cách điều hướng đến thư mục hình ảnh thông qua công cụ LabelImg, chúng ta có thể dán nhãn các đối tượng trong mỗi hình ảnh. Đảm bảo lưu và xác minh mọi hình ảnh được dán nhãn. Sau khi chú thích các hình ảnh, bây giờ chúng ta có thể chuyển sang đào tạo YOLO11 sử dụng dữ liệu này.
Trước khi chúng ta bắt đầu đào tạo YOLO11 , chúng ta sẽ sắp xếp hình ảnh và nhãn của mình. Bắt đầu bằng cách tạo hai thư mục: một thư mục có tên là "train" và thư mục còn lại có tên là "valid". Chia hình ảnh của bạn vào các thư mục này. Bên trong mỗi thư mục, hãy tạo các thư mục con riêng cho hình ảnh và các tệp nhãn tương ứng của chúng (định dạng văn bản), như được hiển thị bên dưới.
Sau đó, chúng ta có thể bắt đầu đào tạo YOLO11 mô hình như sau:
from ultralytics import YOLO
# Load a YOLO11 model
model = YOLO("yolo11n.pt") # choose your model, e.g., YOLO11 nano
# Train the model with your data and settings
model.train(data="data.yaml", epochs=100, imgsz=640)
Được đào tạo YOLO11 mô hình hiện có thể được sử dụng để đưa ra dự đoán thông qua một quá trình gọi là suy luận . Suy luận liên quan đến việc sử dụng một mô hình để phân tích dữ liệu mới, chưa từng thấy dựa trên những gì nó đã học được trong quá trình đào tạo. Trong trường hợp này, mô hình có thể được sử dụng để tìm và dán nhãn các đối tượng cụ thể, như nhà cửa, trong hình ảnh hoặc video bằng cách vẽ các hộp giới hạn xung quanh chúng.
Để chạy dự đoán, bạn có thể sử dụng YOLO11 mô hình trên video đầu vào sử dụng sau đây Python mã. Trong ví dụ này, chúng tôi sẽ sử dụng cùng một video máy bay không người lái nhân tạo được dùng để đào tạo, nhưng bạn có thể sử dụng bất kỳ tệp video nào khác nếu thích.
# Import library
from ultralytics import YOLO
# Load the YOLO model
model = YOLO("best.pt") # Choose your custom-trained model
# Predict the results from the model
results = model.predict(source="path/to/original/video.mp4", show=True, save=True)Sau khi chạy đoạn mã này, tệp video đầu ra có dự đoán và hộp giới hạn sẽ được lưu.
Phát hiện nhà để giao hàng bằng máy bay không người lái chỉ là một ví dụ về cách thức thị giác máy tính và YOLO11 có thể được áp dụng. Sau đây là một số ứng dụng thực tế khác của thị giác máy tính, YOLO11 và máy bay không người lái:
Máy bay không người lái AI được hỗ trợ bởi thị giác máy tính đang thay đổi nhiều ngành công nghiệp, từ giao hàng đến hỗ trợ trong trường hợp khẩn cấp và nông nghiệp. Trong hướng dẫn này, chúng tôi đã hướng dẫn tạo video máy bay không người lái nhân tạo, gắn nhãn các vật thể trong video, đào tạo YOLO11 và sử dụng nó để phát hiện nhà.
Áp dụng phát hiện vật thể vào cảnh quay bằng máy bay không người lái giúp những máy bay không người lái này thông minh hơn, cho phép chúng tự động nhận dạng và theo dõi các vật thể theo thời gian thực. Khi công nghệ được cải thiện, máy bay không người lái do AI điều khiển có thể sẽ đóng vai trò lớn hơn nữa trong việc giao hàng nhanh hơn, cải thiện an ninh và hỗ trợ ứng phó thảm họa.
Tham gia cộng đồng của chúng tôi và khám phá kho lưu trữ GitHub của chúng tôi để tìm hiểu thêm về Vision AI và xem các tùy chọn cấp phép của chúng tôi để khởi động các dự án thị giác máy tính của bạn. Bạn có quan tâm đến những đổi mới như AI trong sản xuất hoặc thị giác máy tính trong ngành công nghiệp ô tô không? Hãy truy cập các trang giải pháp của chúng tôi để khám phá thêm.
Bắt đầu hành trình của bạn với tương lai của machine learning