Crie aplicações para drones com IA usando Ultralytics YOLO11

Fazer compras em lojas físicas e fazer compras on-line pode parecer semelhante, mas essas modalidades dependem de logísticas diferentes. As lojas precisam reabastecer as prateleiras, enquanto os pedidos on-line dependem de entregas na porta de casa. Graças aos avanços tecnológicos, as duas experiências de compra estão sendo transformadas em paralelo.

Por exemplo, uma grande mudança está acontecendo nas entregas. Drones com tecnologia de IA estão mudando a forma como os produtos chegam às nossas casas. A expectativa é que esses drones inteligentes realizem cerca de 808 milhões de entregas na próxima década, transformando os céus na mais nova rota de entrega do comércio cotidiano.

Drones de entrega usam inteligência artificial (AI) e visão computacional, um subcampo da IA usado para analisar dados visuais, para navegar e manobrar em torno de obstáculos. Modelos de visão computacional como o Ultralytics YOLO11 podem ajudar os drones a detectar e rastrear objetos em tempo real, permitindo que compreendam melhor e interajam com o ambiente ao redor.

Fig. 1. Um drone de entrega levando um pacote ao destino.

Empresas como a Meituan e a DJI já estão integrando visão computacional aos seus drones. De fato, a rápida adoção de drones em vários setores impulsionou o mercado de drones com IA, que deve alcançar US$ 206,9 bilhões até 2031.

Neste artigo, vamos analisar mais de perto como modelos de visão computacional como o Ultralytics YOLO11 podem ser usados em aplicações com drones, como entregas por drones. Vamos apresentar um exemplo que mostrará como essas tecnologias podem ser desenvolvidas e testadas antes de serem usadas em situações do mundo real.

Usando o Ultralytics YOLO11 em drones para detectar casas#

Uma capacidade essencial dos drones de entrega é detectar casas durante a navegação. Para reproduzir esse recurso e entender como ele funciona, vamos treinar um modelo de visão computacional capaz de identificar casas em imagens capturadas por um drone aéreo. Vamos treinar um modelo personalizado com o Ultralytics YOLO11, ajustando um modelo YOLO11 pré-treinado para reconhecer e detectar casas usando exemplos rotulados.

Para isso, precisaremos de dados de vídeo de alta qualidade capturados por um drone. Curiosamente, mesmo sem acesso a um drone real, ainda podemos gerar imagens aéreas realistas. Vamos ver como.

Criando uma tomada aérea artificial com o Google Earth Studio#

O Google Earth Studio é uma ferramenta de animação baseada na Web que os usuários podem usar para criar conteúdo estático e animado com imagens de satélite e imagens 3D do Google Earth. Podemos usá-la para criar imagens aéreas realistas.

A primeira etapa é abrir o Google Earth Studio e criar um projeto, como mostrado abaixo.

Você precisará de uma conta do Google para fazer login.

Fig. 2. Criando um projeto no Google Earth Studio.

Depois de fazer login, você pode escolher um local para o vídeo do drone artificial. Use a barra de pesquisa no canto superior esquerdo da página para buscar locais. Neste tutorial, vamos escolher o Canadá. Além disso, como vamos treinar um modelo para detectar casas, o vídeo do drone deve mostrar casas em vista aérea.

Fig. 3. Escolhendo um local com o Google Earth Studio.

Em seguida, podemos definir os quadros inicial e final para capturar o movimento da tomada aérea artificial. Depois de escolher o local inicial da tomada do drone, defina o primeiro quadro usando os losangos azuis, como mostrado abaixo.

Fig. 4. Definindo o primeiro quadro usando os losangos azuis.

Em seguida, podemos escolher o último quadro para determinar o destino do drone. Isso nos ajudará a criar um efeito de movimento nas imagens do drone. Para isso, deslize a barra (destacada abaixo) para a direita até um horário específico, criando o efeito de movimento na tomada do drone. Mais uma vez, use os losangos azuis para definir o ponto final.

Fig. 5. Definindo o último quadro movendo a barra.

Por fim, você pode salvar o projeto e renderizá-lo clicando no botão vermelho “Render”, no canto superior direito da página. Isso gerará o vídeo final da tomada do drone, criando com sucesso imagens de vídeo de drone artificial.

Fig. 6. Renderizando o vídeo de saída final.

Como rotular os dados do drone?#

Agora que criamos imagens de vídeo de drone artificial, a próxima etapa é rotular ou anotar as casas nelas. Também precisaremos separar os quadros individuais do vídeo.

Para começar, vamos instalar o LabelImg. O LabelImg é uma ferramenta de rotulagem de imagens de código aberto. Você pode instalá-la diretamente pelo terminal usando o instalador de pacotes pip e executando o seguinte comando: “pip install labelImg”.

Após a instalação, você pode executar a ferramenta com o comando ‘labelImg’ no terminal ou no prompt de comando. Isso abrirá a página mostrada abaixo.

Fig. 7. A interface da ferramenta LabelImg.

Enquanto isso, podemos usar um conversor on-line de vídeo para imagem ou uma ferramenta chamada FFmpeg para dividir o vídeo em quadros. O FFmpeg é um conjunto de bibliotecas e ferramentas para processar conteúdo multimídia, como áudio, vídeo, legendas e metadados relacionados.

Você pode usar o seguinte comando no terminal para separar cada quadro do vídeo do drone:

ffmpeg -i input_video.mp4 frame_%04d.png

Depois de separar os quadros do vídeo do drone, podemos começar a rotular os objetos (casas) neles. Acesse a pasta de imagens pela ferramenta LabelImg para rotular os objetos em cada imagem. Lembre-se de salvar e verificar todas as imagens rotuladas. Depois de anotar as imagens, podemos passar ao treinamento do Ultralytics YOLO11 usando esses dados.

Fig. 8. Exemplo de como salvar imagens anotadas.

Fluxo de trabalho de treinamento do modelo Ultralytics YOLO11#

Antes de começar a treinar o Ultralytics YOLO11, vamos organizar nossas imagens e rótulos. Comece criando duas pastas: uma chamada "train" e outra chamada "valid". Divida suas imagens entre essas pastas. Dentro de cada uma, crie subpastas separadas para as imagens e os arquivos de rótulo correspondentes (em formato de texto), como mostrado abaixo.

Fig. 9. Exemplo de criação de pastas para imagens e rótulos.

Em seguida, podemos começar a treinar o modelo Ultralytics YOLO11 da seguinte forma:

• Etapa 1: Instale o pacote Python da Ultralytics. Para isso, execute o comando “pip install ultralytics” no terminal. Se encontrar problemas durante a instalação, consulte nosso guia de solução de problemas para obter dicas que ajudarão você a resolvê-los.
• Etapa 2: Depois de instalar o pacote com sucesso, crie um arquivo chamado ‘data.yaml’. Esse arquivo de configuração é essencial para treinar o modelo. No arquivo data.yaml, inclua as seguintes informações: o caminho para o conjunto de dados de treinamento, o caminho para o conjunto de dados de validação, o número de classes (nc) e uma lista de nomes de classes (names), como mostrado abaixo.

Fig. 10. Exemplo de um arquivo data.yaml.

• Etapa 3: Depois de configurar o arquivo ‘data.yaml’, você pode começar a treinar seu modelo usando o seguinte código Python. Esse código carrega o modelo Ultralytics YOLO11 pré-treinado e o treina de acordo com suas configurações.

from ultralytics import YOLO

# Carregar um modelo YOLO11
model = YOLO("yolo11n.pt")  # escolha seu modelo, por exemplo, YOLO11 nano

# Treinar o modelo com seus dados e configurações
model.train(data="data.yaml", epochs=100, imgsz=640)

• Etapa 4: Quando o treinamento for concluído, você deverá ver uma saída semelhante à mostrada abaixo. Isso significa que você treinou com sucesso seu modelo Ultralytics YOLO11 para aplicações com drones.

Fig. 11. A saída exibida após o treinamento do modelo.

Executando previsões com o Ultralytics YOLO11 em drones#

Agora, o modelo Ultralytics YOLO11 treinado pode ser usado para fazer previsões por meio de um processo chamado inferência. A inferência consiste em usar um modelo para analisar dados novos e ainda não vistos com base no que ele aprendeu durante o treinamento. Neste caso, o modelo pode ser usado para localizar e rotular objetos específicos, como casas, em imagens ou vídeos, desenhando caixas delimitadoras ao redor deles.

Para executar uma previsão, você pode usar o modelo Ultralytics YOLO11 treinado em um vídeo de entrada com o seguinte código Python. Neste exemplo, vamos usar o mesmo vídeo de drone artificial usado no treinamento, mas você pode usar outro arquivo de vídeo, se preferir.

# Importar a biblioteca
from ultralytics import YOLO

# Carregar o modelo YOLO
model = YOLO("best.pt")  # Escolha seu modelo treinado personalizado

# Prever os resultados do modelo
results = model.predict(source="path/to/original/video.mp4", show=True, save=True)

Depois que esse código for executado, o arquivo de vídeo de saída com as previsões e as caixas delimitadoras será salvo.

Fig. 12. Um quadro do arquivo de vídeo de saída.

Integrando o Ultralytics YOLO11 a drones para várias aplicações#

Detectar casas para entregar encomendas por drone é apenas um exemplo de como a visão computacional e o Ultralytics YOLO11 podem ser aplicados. Veja outros usos da visão computacional, do YOLO11 e de drones aéreos no mundo real:

• Vigilância e segurança: Drones com IA podem ser usados para monitorar grandes áreas em tempo real. Eles podem detectar invasões, rastrear atividades suspeitas e reforçar a segurança em fronteiras nacionais e em grandes eventos públicos.

• Resposta a desastres e busca e salvamento: Equipados com câmeras térmicas e detecção de objetos, os drones podem ajudar a localizar sobreviventes em áreas atingidas por desastres. Eles também podem avaliar danos e entregar suprimentos de emergência.

• Agricultura e agricultura de precisão: Drones integrados à visão computacional podem ser usados para analisar a saúde das plantações e detectar doenças, ajudando os agricultores a aumentar a produtividade e reduzir custos.

• Mapeamento e análise geoespacial: Ao coletar mapas 3D de alta resolução, drones com IA podem ajudar no planejamento urbano e em levantamentos topográficos. Eles fornecem avaliações do terreno mais rápidas e precisas do que os métodos tradicionais.

Principais conclusões#

Drones com IA alimentados por visão computacional estão transformando muitos setores, desde a entrega de encomendas até a assistência em emergências e a agricultura. Neste guia, mostramos como criar um vídeo artificial de drone, rotular objetos nele, treinar o Ultralytics YOLO11 e usá-lo para detectar casas.

A aplicação da detecção de objetos a imagens de drones torna esses drones mais inteligentes, permitindo que reconheçam e acompanhem objetos automaticamente em tempo real. À medida que a tecnologia avança, é provável que drones com IA desempenhem um papel ainda maior ao agilizar entregas, melhorar a segurança e ajudar na resposta a desastres.

Junta-te à nossa comunidade e explora o nosso repositório do GitHub para saber mais sobre IA de visão, e consulta as nossas opções de licenciamento para começar os teus projetos de visão computacional. Tens interesse em inovações como IA na indústria transformadora ou visão computacional no setor automotivo? Visita as nossas páginas de soluções para saber mais.