Construa aplicações de drones impulsionadas por IA com Ultralytics YOLO11

As compras em lojas físicas e online podem parecer semelhantes, mas dependem de logísticas diferentes. As lojas precisam que as prateleiras sejam reabastecidas, enquanto os pedidos online dependem de entregas ao domicílio. Graças aos avanços tecnológicos, ambas as experiências de compra estão a ser reformuladas em paralelo.

Por exemplo, uma mudança importante está a ocorrer nas entregas. Drones alimentados por IA estão a mudar a forma como os produtos chegam às nossas casas. Espera-se que estes drones inteligentes realizem cerca de 808 milhões de entregas na próxima década, transformando os céus na mais nova rota de entrega para o comércio quotidiano.

Os drones de entrega utilizam inteligência artificial (IA) e visão computacional, um subcampo da IA usado para analisar dados visuais, para navegar e manobrar em torno de obstáculos. Modelos de visão computacional como o Ultralytics YOLO11 podem ajudar drones a detetar e rastrear objetos em tempo real, permitindo-lhes compreender e interagir melhor com o seu ambiente.

Fig 1. Um drone de entrega a levar um pacote para o seu destino.

Empresas como a Meituan e a DJI já estão a integrar a visão computacional nos seus drones. De facto, a rápida adoção de drones em vários setores preparou o mercado de drones de IA para atingir os 206,9 mil milhões de dólares até 2031.

Neste artigo, vamos analisar mais de perto como modelos de visão computacional como o Ultralytics YOLO11 podem ser usados em aplicações baseadas em drones, como entregas. Vamos percorrer um exemplo que demonstrará como estas tecnologias podem ser desenvolvidas e testadas antes de serem usadas em cenários do mundo real.

Link to this sectionUsar o Ultralytics YOLO11 em drones para detetar casas#

Uma parte fundamental dos drones de entrega é a sua capacidade de detetar casas enquanto navegam. Para recriar esta capacidade e entender como ela funciona, vamos treinar um modelo de visão computacional que possa identificar casas em filmagens capturadas por um drone aéreo. Vamos treinar de forma personalizada o YOLO11 para isso, o que envolve o ajuste fino de um modelo YOLO11 pré-treinado para reconhecer e detetar casas usando exemplos rotulados.

Para tal, precisaremos de dados de vídeo de alta qualidade provenientes de um drone. Curiosamente, mesmo sem acesso a um drone real, ainda podemos gerar filmagens aéreas realistas. Vamos ver como.

Link to this sectionCriar uma filmagem artificial de drone usando o Google Earth Studio#

O Google Earth Studio é uma ferramenta de animação baseada na web que pode ser usada pelos utilizadores para criar conteúdo estático e animado usando imagens de satélite e 3D do Google Earth. Podemos usá-la para criar filmagens aéreas realistas.

O primeiro passo é abrir o Google Earth Studio e criar um projeto, como mostrado abaixo.

Precisarás de uma conta Google para iniciar sessão.

Fig 2. Criar um projeto no Google Earth Studio.

Depois de iniciares sessão, podes escolher um local para o teu vídeo artificial de drone. Usando a barra de pesquisa no canto superior esquerdo da página, podes pesquisar por locais. Para este tutorial, escolheremos o Canadá. Além disso, como vamos treinar um modelo para detetar casas, o nosso vídeo de drone deve ter uma vista aérea de casas.

Fig 3. Escolher um local usando o Google Earth Studio.

Em seguida, podemos definir os primeiros e últimos fotogramas para capturar o movimento da filmagem artificial do drone. Depois de escolheres o local inicial para a filmagem do drone, define o primeiro fotograma usando os diamantes azuis, como mostrado abaixo.

Fig 4. Definir o primeiro fotograma usando os diamantes azuis.

Depois, podemos escolher o último fotograma para determinar o destino do drone. Isso ajudar-nos-á a criar um efeito de movimento para a filmagem do drone. Para fazer isso, desliza a barra (destacada abaixo) para a direita para um momento específico, a fim de criar o efeito de movimento para a filmagem. Mais uma vez, usa os diamantes azuis para definir o ponto final.

Fig 5. Definir o último fotograma movendo a barra.

Finalmente, podes guardar este projeto e renderizá-lo clicando no botão vermelho "Render" no canto superior direito da página. Isto dar-te-á o vídeo final da filmagem do drone, criando com sucesso uma filmagem artificial de drone.

Fig 6. Renderizar o vídeo de saída final.

Link to this sectionComo rotular os dados do drone?#

Agora que criámos a filmagem artificial de drone, o próximo passo é rotular ou anotar as casas nela. Também precisaremos de separar os fotogramas individuais do vídeo.

Para começar, vamos instalar o LabelImg. O LabelImg é uma ferramenta de rotulagem de imagens de código aberto. Podes instalá-la diretamente a partir do terminal usando o instalador de pacotes pip, executando o seguinte comando: "pip install labelImg".

Após a instalação, podes executar a ferramenta usando o comando 'labelImg' no teu terminal ou linha de comandos. Isto levar-te-á à página mostrada abaixo.

Fig 7. A interface da ferramenta LabelImg.

Entretanto, podemos usar um conversor de vídeo para imagem online ou uma ferramenta chamada FFmpeg para dividir o vídeo em fotogramas. O FFmpeg é uma coleção de bibliotecas e ferramentas para processar conteúdo multimédia, como áudio, vídeo, legendas e metadados relacionados.

Podes usar o seguinte comando de terminal para separar cada fotograma do vídeo da filmagem do drone:

ffmpeg -i input_video.mp4 frame_%04d.png

Depois de separarmos os fotogramas da filmagem do drone, podemos começar a rotular os objetos (casas) neles. Navegando até à pasta de imagens através da ferramenta LabelImg, podemos rotular os objetos em cada imagem. Certifica-te de guardar e verificar cada imagem rotulada. Após anotar as imagens, podemos agora avançar para o treino do YOLO11 usando estes dados.

Fig 8. Um exemplo de como guardar imagens anotadas.

Link to this sectionFluxo de trabalho de treino do modelo YOLO11#

Antes de começarmos a treinar o YOLO11, organizaremos as nossas imagens e etiquetas. Começa por criar duas pastas: uma chamada "train" e a outra "valid". Divide as tuas imagens entre estas pastas. Dentro de cada uma, cria subpastas separadas para as imagens e os seus respetivos ficheiros de etiqueta (formato de texto), como mostrado abaixo.

Fig 9. Um exemplo de criação de pastas de imagens e etiquetas.

Depois, podemos começar a treinar o modelo YOLO11 da seguinte forma:

• Passo 1: Instala o pacote Python da Ultralytics. Podes fazê-lo executando o comando "pip install ultralytics" no teu terminal. Se encontrares algum problema de instalação, consulta o nosso guia de resolução de problemas para dicas e truques que te ajudarão a resolvê-los.
• Passo 2: Após instalar com sucesso o pacote, cria um ficheiro com o nome 'data.yaml'. Este é um ficheiro de configuração que é crucial para treinar o modelo. No ficheiro data.yaml, inclui as seguintes informações: o caminho para o teu conjunto de dados de treino, o caminho para o teu conjunto de dados de validação, o número de classes (nc) e uma lista de nomes de classes (names), como mostrado abaixo.

Fig 10. Um exemplo de um ficheiro data.yaml.

• Passo 3: Uma vez configurado o ficheiro 'data.yaml', podes começar a treinar o teu modelo usando o seguinte código Python. Este código carrega o modelo YOLO11 pré-treinado e treina-o de acordo com as tuas configurações.

from ultralytics import YOLO

# Load a YOLO11 model
model = YOLO("yolo11n.pt")  # choose your model, e.g., YOLO11 nano

# Train the model with your data and settings
model.train(data="data.yaml", epochs=100, imgsz=640)

• Passo 4: Assim que o treino estiver concluído, deverás ver um resultado semelhante ao mostrado abaixo. Isto significa que treinaste com sucesso o teu modelo YOLO11 para aplicações baseadas em drones.

Fig 11. O resultado mostrado após o treino do modelo.

Link to this sectionExecutar predições usando o Ultralytics YOLO11 em drones#

O modelo YOLO11 treinado pode agora ser usado para fazer predições através de um processo chamado inferência. A inferência envolve usar um modelo para analisar dados novos e nunca vistos com base no que este aprendeu durante o treino. Neste caso, o modelo pode ser usado para encontrar e rotular objetos específicos, como casas, em imagens ou vídeos, desenhando caixas delimitadoras à sua volta.

Para executar uma predição, podes usar o modelo YOLO11 treinado num vídeo de entrada usando o seguinte código Python. Neste exemplo, usaremos o mesmo vídeo artificial de drone que foi usado para o treino, mas podes usar qualquer outro ficheiro de vídeo, se preferires.

# Import library
from ultralytics import YOLO

# Load the YOLO model
model = YOLO("best.pt")  # Choose your custom-trained model

# Predict the results from the model
results = model.predict(source="path/to/original/video.mp4", show=True, save=True)

Após executar este código, o ficheiro de vídeo de saída com as predições e as caixas delimitadoras será guardado.

Fig 12. Um fotograma do ficheiro de vídeo de saída.

Link to this sectionIntegrar o Ultralytics YOLO11 em drones para várias aplicações#

Detetar casas para pacotes de entrega por drone é apenas um exemplo de como a visão computacional e o YOLO11 podem ser aplicados. Aqui estão alguns outros usos reais da visão computacional, YOLO11 e drones aéreos:

• Vigilância e segurança: Drones de IA podem ser usados para monitorizar grandes áreas em tempo real. Eles podem detetar intrusões, rastrear atividades suspeitas e melhorar a segurança em fronteiras nacionais, bem como em grandes eventos públicos.

• Resposta a desastres e busca e salvamento: Equipados com câmaras térmicas e deteção de objetos, os drones podem ajudar a localizar sobreviventes em zonas de desastre. Eles também podem avaliar danos e entregar mantimentos de emergência.

• Agricultura e agricultura de precisão: Drones integrados com visão computacional podem ser usados para analisar a saúde das culturas e detetar doenças, ajudando os agricultores a aumentar o rendimento enquanto reduzem os custos.

• Mapeamento e análise geoespacial: Ao recolher mapas 3D de alta resolução, os drones de IA podem ajudar no planeamento urbano e em levantamentos de terrenos. Eles fornecem avaliações de terreno mais rápidas e precisas do que os métodos tradicionais.

Link to this sectionPrincipais pontos#

Os drones de IA impulsionados pela visão computacional estão a mudar muitos setores, desde a entrega de pacotes até à ajuda em emergências e agricultura. Neste guia, percorremos a criação de um vídeo artificial de drone, a rotulagem de objetos no mesmo, o treino do YOLO11 e a sua utilização para detetar casas.

Aplicar a deteção de objetos a filmagens de drones torna estes drones mais inteligentes, permitindo-lhes reconhecer e rastrear objetos automaticamente em tempo real. À medida que a tecnologia melhora, os drones impulsionados por IA desempenharão provavelmente um papel ainda maior em tornar as entregas mais rápidas, melhorar a segurança e ajudar na resposta a desastres.

Junta-te à nossa comunidade e explora o nosso repositório no GitHub para saberes mais sobre visão de IA, e consulta as nossas opções de licenciamento para dares início aos teus projetos de visão computacional. Interessado em inovações como IA na manufatura ou visão computacional na indústria automóvel? Visita as nossas páginas de soluções para descobrir mais.