Construa aplicações de drones impulsionadas por IA com Ultralytics YOLO11

As compras em lojas físicas e online podem parecer semelhantes, mas dependem de logísticas diferentes. As lojas precisam que as prateleiras sejam reabastecidas, enquanto os pedidos online dependem de entregas ao domicílio. Graças aos avanços tecnológicos, ambas as experiências de compra estão a ser reformuladas em paralelo.

Por exemplo, uma grande mudança está a acontecer nas entregas. Drones alimentados por IA estão a mudar a forma como os produtos chegam às nossas casas. Espera-se que estes drones inteligentes lidem com cerca de 808 million deliveries na próxima década, transformando os céus na nova rota de entrega para o comércio do dia a dia.

Os drones de entrega usam inteligência artificial (IA) e computer vision, uma subárea da IA usada para analisar dados visuais, para navegar e manobrar em torno de obstáculos. Modelos de visão computacional como o Ultralytics YOLO11 podem ajudar os drones a detetar e monitorizar objetos em tempo real, permitindo-lhes compreender e interagir melhor com o seu ambiente.

Fig 1. Um drone de entrega a levar uma encomenda para o seu destino.

Empresas como a Meituan e a DJI já estão a integrar visão computacional nos seus drones. De facto, a rápida adoção de drones em várias indústrias preparou o AI drone market para disparar para 206,9 mil milhões de dólares até 2031.

Neste artigo, vamos analisar mais de perto como modelos de visão computacional como o Ultralytics YOLO11 podem ser usados em aplicações baseadas em drones, como entregas. Vamos percorrer um exemplo que demonstrará como estas tecnologias podem ser desenvolvidas e testadas antes de serem usadas em cenários do mundo real.

Usar o Ultralytics YOLO11 em drones para detetar casas#

Uma parte fundamental dos drones de entrega é a capacidade de detectar casas durante a navegação. Para recriar essa capacidade e entender como ela funciona, vamos treinar um modelo de visão computacional capaz de identificar casas em imagens capturadas por um drone aéreo. Para isso, vamos fazer o custom-train do Ultralytics YOLO11, o que envolve o ajuste fino de um modelo YOLO11 pré-treinado para reconhecer e detectar casas utilizando exemplos rotulados.

Para tal, precisaremos de dados de vídeo de alta qualidade provenientes de um drone. Curiosamente, mesmo sem acesso a um drone real, ainda podemos gerar filmagens aéreas realistas. Vamos ver como.

Criar uma filmagem artificial de drone usando o Google Earth Studio#

O Google Earth Studio é uma ferramenta de animação baseada na web que pode ser usada pelos utilizadores para criar conteúdo estático e animado usando imagens de satélite e 3D do Google Earth. Podemos usá-la para criar filmagens aéreas realistas.

O primeiro passo é abrir o Google Earth Studio e criar um projeto, conforme mostrado abaixo.

Precisarás de uma conta Google para iniciar sessão.

Fig 2. Criar um projeto no Google Earth Studio.

Depois de iniciares sessão, podes escolher um local para o teu vídeo artificial de drone. Usando a barra de pesquisa no canto superior esquerdo da página, podes pesquisar por locais. Para este tutorial, escolheremos o Canadá. Além disso, como vamos treinar um modelo para detetar casas, o nosso vídeo de drone deve ter uma vista aérea de casas.

Fig 3. Escolher um local usando o Google Earth Studio.

Em seguida, podemos definir os primeiros e últimos fotogramas para capturar o movimento da filmagem artificial do drone. Depois de escolheres o local inicial para a filmagem do drone, define o primeiro fotograma usando os diamantes azuis, como mostrado abaixo.

Fig 4. Definir o primeiro fotograma usando os diamantes azuis.

Depois, podemos escolher o último fotograma para determinar o destino do drone. Isso ajudar-nos-á a criar um efeito de movimento para a filmagem do drone. Para fazer isso, desliza a barra (destacada abaixo) para a direita para um momento específico, a fim de criar o efeito de movimento para a filmagem. Mais uma vez, usa os diamantes azuis para definir o ponto final.

Fig 5. Definir o último fotograma movendo a barra.

Finalmente, podes guardar este projeto e renderizá-lo clicando no botão vermelho "Render" no canto superior direito da página. Isto dar-te-á o vídeo final da filmagem do drone, criando com sucesso uma filmagem artificial de drone.

Fig 6. Renderizar o vídeo de saída final.

Como rotular os dados do drone?#

Agora que criámos imagens de vídeo de drones artificiais, o passo seguinte é label or annotate as casas nelas presentes. Também precisaremos de separar os fotogramas individuais do vídeo.

Para começar, vamos instalar o LabelImg. O LabelImg é uma ferramenta de rotulagem de imagens de código aberto. Podes instalá-la diretamente a partir do terminal usando o instalador de pacotes pip, executando o seguinte comando: "pip install labelImg".

Após a instalação, podes executar a ferramenta usando o comando 'labelImg' no teu terminal ou linha de comandos. Isto levar-te-á à página mostrada abaixo.

Fig 7. A interface da ferramenta LabelImg.

Enquanto isso, podemos usar um conversor de vídeo para imagem online ou uma ferramenta chamada FFmpeg para dividir o vídeo em fotogramas. O FFmpeg é uma coleção de bibliotecas e ferramentas para processar conteúdo multimédia como áudio, vídeo, legendas e metadados relacionados.

Podes usar o seguinte comando de terminal para separar cada fotograma do vídeo da filmagem do drone:

ffmpeg -i input_video.mp4 frame_%04d.png

Assim que tivermos separado os quadros das filmagens do drone, podemos começar a rotular os objetos (casas) neles. Navegando até a pasta de imagens através da ferramenta LabelImg, podemos rotular os objetos em cada imagem. Certifica-te de guardar e verificar cada imagem rotulada. Após anotar as imagens, podemos agora passar para o treino do Ultralytics YOLO11 utilizando estes dados.

Fig 8. Um exemplo de como guardar imagens anotadas.

Fluxo de trabalho de treino do modelo Ultralytics YOLO11#

Antes de começarmos a treinar o Ultralytics YOLO11, vamos organizar as nossas imagens e rótulos. Começa por criar duas pastas: uma chamada "train" e a outra "valid". Divide as tuas imagens entre estas pastas. Dentro de cada uma, cria subpastas separadas para as imagens e os respetivos ficheiros de rótulos (formato de texto), conforme mostrado abaixo.

Fig 9. Um exemplo de criação de pastas de imagens e etiquetas.

Depois, podemos começar a treinar o modelo Ultralytics YOLO11 da seguinte forma:

• Passo 1: Instala o Ultralytics Python package. Podes fazê-lo executando o comando “pip install ultralytics” no teu terminal. Se encontrares algum problema de instalação, consulta o nosso troubleshooting guide para obteres dicas e truques que te ajudem a resolvê-lo.
• Passo 2: Após instalar com sucesso o pacote, cria um ficheiro com o nome 'data.yaml'. Este é um ficheiro de configuração que é crucial para treinar o modelo. No ficheiro data.yaml, inclui as seguintes informações: o caminho para o teu conjunto de dados de treino, o caminho para o teu conjunto de dados de validação, o número de classes (nc) e uma lista de nomes de classes (names), como mostrado abaixo.

Fig 10. Um exemplo de um ficheiro data.yaml.

• Passo 3: Assim que o ficheiro ‘data.yaml’ estiver configurado, podes começar a treinar o teu modelo utilizando o seguinte código Python. Este código carrega o modelo pré-treinado Ultralytics YOLO11 e treina-o de acordo com as tuas configurações.

from ultralytics import YOLO

# Load a Ultralytics YOLO11 model
model = YOLO("yolo11n.pt")  # choose your model, e.g., YOLO11 nano

# Train the model with your data and settings
model.train(data="data.yaml", epochs=100, imgsz=640)

• Passo 4: Assim que o treino estiver concluído, deves ver um resultado semelhante ao mostrado abaixo. Isto significa que treinaste com sucesso o teu modelo Ultralytics YOLO11 para aplicações baseadas em drones.

Fig 11. O resultado mostrado após o treino do modelo.

Executar predições usando o Ultralytics YOLO11 em drones#

O modelo treinado Ultralytics YOLO11 agora pode ser usado para fazer previsões por meio de um processo chamado inferencing. A inferência envolve o uso de um modelo para analisar novos dados nunca antes vistos, com base no que ele aprendeu durante o treinamento. Nesse caso, o modelo pode ser usado para encontrar e rotular objetos específicos, como casas, em imagens ou vídeos, desenhando caixas delimitadoras ao redor deles.

Para executar uma previsão, podes usar o modelo treinado Ultralytics YOLO11 num vídeo de entrada usando o seguinte código Python. Neste exemplo, vamos usar o mesmo vídeo de drone artificial que foi usado para o treinamento, mas podes usar qualquer outro ficheiro de vídeo se preferires.

# Import library
from ultralytics import YOLO

# Load the YOLO model
model = YOLO("best.pt")  # Choose your custom-trained model

# Predict the results from the model
results = model.predict(source="path/to/original/video.mp4", show=True, save=True)

Após executar este código, o ficheiro de vídeo de saída com as predições e as caixas delimitadoras será guardado.

Fig 12. Um fotograma do ficheiro de vídeo de saída.

Integrar o Ultralytics YOLO11 em drones para várias aplicações#

A detecção de casas para pacotes de entrega por drone é apenas um exemplo de como a visão computacional e o Ultralytics YOLO11 podem ser aplicados. Aqui estão outros usos reais de visão computacional, YOLO11 e drones aéreos:

• Vigilância e segurança: AI drones podem ser usados para monitorizar grandes áreas em tempo real. Conseguem detetar intrusões, monitorizar atividades suspeitas e reforçar a segurança em fronteiras nacionais, bem como em grandes eventos públicos.

• Resposta a desastres e busca e salvamento: Equipados com câmaras térmicas e deteção de objetos, os drones podem ajudar a localizar sobreviventes em zonas de desastre. Eles também podem avaliar danos e entregar mantimentos de emergência.

• Agricultura e agricultura de precisão: Drones integrados com visão computacional podem ser usados para analisar a saúde das culturas e detetar doenças, ajudando os agricultores a aumentar o rendimento enquanto reduzem os custos.

• Mapeamento e análise geoespacial: Ao recolher mapas 3D de alta resolução, os drones de IA podem ajudar no planeamento urbano e em levantamentos de terrenos. Eles fornecem avaliações de terreno mais rápidas e precisas do que os métodos tradicionais.

Principais pontos#

Os drones de IA alimentados por visão computacional estão a transformar muitas indústrias, desde a entrega de encomendas até à ajuda em emergências e na agricultura. Neste guia, passámos pela criação de um vídeo de drone artificial, rotulagem de objetos nele, treino do Ultralytics YOLO11 e utilização do mesmo para detetar casas.

Aplicar a deteção de objetos a filmagens de drones torna estes drones mais inteligentes, permitindo-lhes reconhecer e rastrear objetos automaticamente em tempo real. À medida que a tecnologia melhora, os drones impulsionados por IA desempenharão provavelmente um papel ainda maior em tornar as entregas mais rápidas, melhorar a segurança e ajudar na resposta a desastres.

Junta-te a our community e explora o nosso GitHub repository para saberes mais sobre IA de visão, e confere our licensing options para dar início aos teus projetos de visão computacional. Tens interesse em inovações como AI in manufacturing ou computer vision in the automotive indústria? Visita as nossas páginas de soluções para descobrir mais.