Cria aplicações de drones baseadas em IA com o Ultralytics YOLO11

As compras em loja e as compras online podem parecer semelhantes, mas dependem de logísticas diferentes. As lojas precisam de repor produtos nas prateleiras, enquanto as encomendas online dependem de entregas à porta de casa. Graças aos avanços tecnológicos, ambas as experiências de compra estão a ser transformadas em paralelo.

Por exemplo, está a ocorrer uma grande mudança nas entregas. Os drones com tecnologia de IA estão a mudar a forma como os produtos chegam às nossas casas. Prevê-se que estes drones inteligentes realizem cerca de 808 milhões de entregas na próxima década, transformando os céus na mais recente rota de entrega para o comércio quotidiano.

Os drones de entrega utilizam inteligência artificial (IA) e visão computacional, um subcampo da IA utilizado para analisar dados visuais, para navegar e manobrar em torno de obstáculos. Os modelos de visão computacional, como o Ultralytics YOLO11, podem ajudar os drones a detetar e acompanhar objetos em tempo real, permitindo-lhes compreender e interagir melhor com o ambiente.

Fig. 1. Um drone de entrega a levar uma encomenda até ao destino.

Empresas como a Meituan e a DJI já estão a integrar visão computacional nos seus drones. De facto, a rápida adoção de drones em vários setores fez com que o mercado de drones com IA esteja a caminho de atingir 206,9 mil milhões de dólares até 2031.

Neste artigo, vamos analisar mais detalhadamente como os modelos de visão computacional, como o Ultralytics YOLO11, podem ser utilizados em aplicações baseadas em drones, como entregas por drone. Vamos percorrer um exemplo que demonstra como estas tecnologias podem ser desenvolvidas e testadas antes de serem utilizadas em cenários do mundo real.

Utilizar o Ultralytics YOLO11 em drones para detetar casas#

Uma parte essencial dos drones de entrega é a sua capacidade de detetar casas enquanto navegam. Para recriar esta capacidade e compreender o seu funcionamento, vamos treinar um modelo de visão computacional capaz de identificar casas em imagens captadas por um drone aéreo. Vamos treinar de forma personalizada o Ultralytics YOLO11 para este efeito, o que envolve ajustar um modelo YOLO11 pré-treinado para reconhecer e detetar casas utilizando exemplos anotados.

Para isso, vamos precisar de dados de vídeo de alta qualidade captados por um drone. Curiosamente, mesmo sem acesso a um drone real, ainda podemos gerar imagens aéreas realistas. Vejamos como.

Criar uma filmagem de drone artificial usando o Google Earth Studio#

O Google Earth Studio é uma ferramenta de animação baseada na web que pode ser utilizada para criar conteúdo estático e animado usando as imagens de satélite e em 3D do Google Earth. Podemos utilizá-la para criar imagens aéreas realistas.

O primeiro passo é abrir o Google Earth Studio e criar um projeto, conforme apresentado abaixo.

Precisarás de uma conta Google para iniciar sessão.

Fig. 2. Criar um projeto no Google Earth Studio.

Depois de iniciares sessão, podes escolher uma localização para o teu vídeo de drone artificial. Utilizando a barra de pesquisa no canto superior esquerdo da página, podes pesquisar localizações. Para este tutorial, vamos escolher o Canadá. Além disso, como vamos treinar um modelo para detetar casas, o nosso vídeo de drone deve apresentar uma vista aérea de casas.

Fig. 3. Escolher uma localização usando o Google Earth Studio.

De seguida, podemos definir os primeiros e últimos fotogramas para captar o movimento da filmagem de drone artificial. Depois de escolheres a localização inicial da filmagem do drone, define o primeiro fotograma utilizando os losangos azuis, conforme apresentado abaixo.

Fig. 4. Definir o primeiro fotograma utilizando os losangos azuis.

De seguida, podemos escolher o último fotograma para determinar o destino do drone. Isto ajuda-nos a criar um efeito de movimento nas imagens do drone. Para isso, desliza a barra (destacada abaixo) para a direita, até um momento específico, de modo a criar o efeito de movimento na filmagem do drone. Mais uma vez, utiliza os losangos azuis para definir o último ponto.

Fig. 5. Definir o último fotograma movendo a barra.

Por fim, podes guardar este projeto e renderizá-lo clicando no botão vermelho “Render” no canto superior direito da página. Isto irá fornecer o vídeo final da filmagem do drone, criando com sucesso imagens de vídeo de drone artificiais.

Fig. 6. Renderizar o vídeo de saída final.

Como etiquetar os dados do drone?#

Agora que criámos imagens de vídeo de drone artificiais, o passo seguinte é etiquetar ou anotar as casas nelas presentes. Também teremos de separar os fotogramas individuais do vídeo.

Para começar, vamos instalar o LabelImg. O LabelImg é uma ferramenta de etiquetagem de imagens de código aberto. Podes instalá-la diretamente a partir do terminal utilizando o instalador de pacotes pip, executando o seguinte comando: “pip install labelImg”.

Após a instalação, podes executar a ferramenta utilizando o comando ‘labelImg’ no terminal ou na linha de comandos. Isto irá levar-te à página apresentada abaixo.

Fig. 7. A interface da ferramenta LabelImg.

Entretanto, podemos utilizar um conversor online de vídeo para imagem ou uma ferramenta chamada FFmpeg para dividir o vídeo em fotogramas. O FFmpeg é uma coleção de bibliotecas e ferramentas para processar conteúdo multimédia, como áudio, vídeo, legendas e metadados relacionados.

Podes utilizar o seguinte comando de terminal para separar cada fotograma do vídeo com as imagens do drone:

ffmpeg -i input_video.mp4 frame_%04d.png

Depois de separarmos os fotogramas das imagens do drone, podemos começar a etiquetar os objetos (casas) neles presentes. Ao navegar até à pasta de imagens através da ferramenta LabelImg, podemos etiquetar os objetos em cada imagem. Certifica-te de que guardas e verificas todas as imagens etiquetadas. Depois de anotar as imagens, podemos avançar para o treino do Ultralytics YOLO11 utilizando estes dados.

Fig. 8. Um exemplo de guardar imagens anotadas.

Fluxo de trabalho para treinar o modelo Ultralytics YOLO11#

Antes de começarmos a treinar o Ultralytics YOLO11, vamos organizar as nossas imagens e etiquetas. Começa por criar duas pastas: uma chamada "train" e outra chamada "valid". Divide as tuas imagens entre estas pastas. Dentro de cada uma, cria subpastas separadas para as imagens e os respetivos ficheiros de etiquetas (em formato de texto), conforme apresentado abaixo.

Fig. 9. Um exemplo de criação de pastas para imagens e etiquetas.

Em seguida, podemos começar a treinar o modelo Ultralytics YOLO11 da seguinte forma:

• Passo 1: Instala o pacote Ultralytics para Python. Podes fazê-lo executando o comando “pip install ultralytics” no terminal. Se encontrares problemas durante a instalação, consulta o nosso guia de resolução de problemas para obteres dicas e soluções.
• Passo 2: Depois de instalares o pacote com sucesso, cria um ficheiro com o nome ‘data.yaml’. Este é um ficheiro de configuração essencial para treinar o modelo. No ficheiro data.yaml, inclui as seguintes informações: o caminho para o teu conjunto de dados de treino, o caminho para o teu conjunto de dados de validação, o número de classes (nc) e uma lista de nomes de classes (names), conforme apresentado abaixo.

Fig. 10. Um exemplo de um ficheiro data.yaml.

• Passo 3: Depois de configurares o ficheiro ‘data.yaml’, podes começar a treinar o teu modelo utilizando o seguinte código Python. Este código carrega o modelo Ultralytics YOLO11 pré-treinado e treina-o de acordo com as tuas configurações.

from ultralytics import YOLO

# Load a YOLO11 model
model = YOLO("yolo11n.pt")  # choose your model, e.g., YOLO11 nano

# Train the model with your data and settings
model.train(data="data.yaml", epochs=100, imgsz=640)

• Passo 4: Quando o treino estiver concluído, deverás ver uma saída semelhante à apresentada abaixo. Isto significa que treinaste com sucesso o teu modelo Ultralytics YOLO11 para aplicações baseadas em drones.

Fig. 11. A saída apresentada após o treino do modelo.

Executar previsões utilizando o Ultralytics YOLO11 em drones#

O modelo Ultralytics YOLO11 treinado pode agora ser utilizado para fazer previsões através de um processo chamado inferência. A inferência consiste em utilizar um modelo para analisar dados novos e desconhecidos com base no que aprendeu durante o treino. Neste caso, o modelo pode ser utilizado para localizar e etiquetar objetos específicos, como casas, em imagens ou vídeos, desenhando caixas delimitadoras à sua volta.

Para executar uma previsão, podes utilizar o modelo Ultralytics YOLO11 treinado num vídeo de entrada usando o seguinte código Python. Neste exemplo, vamos utilizar o mesmo vídeo de drone artificial usado no treino, mas podes utilizar qualquer outro ficheiro de vídeo, se preferires.

# Import library
from ultralytics import YOLO

# Load the YOLO model
model = YOLO("best.pt")  # Choose your custom-trained model

# Predict the results from the model
results = model.predict(source="path/to/original/video.mp4", show=True, save=True)

Depois de executares este código, o ficheiro de vídeo de saída com as previsões e as caixas delimitadoras será guardado.

Fig. 12. Um fotograma do ficheiro de vídeo de saída.

Integrar o Ultralytics YOLO11 em drones para várias aplicações#

Detetar casas para entregar encomendas por drone é apenas um exemplo de como a visão computacional e o Ultralytics YOLO11 podem ser aplicados. Eis algumas outras utilizações reais da visão computacional, do YOLO11 e de drones aéreos:

• Vigilância e segurança: Os drones com IA podem ser utilizados para monitorizar grandes áreas em tempo real. Podem detetar intrusões, acompanhar atividades suspeitas e reforçar a segurança nas fronteiras nacionais e em grandes eventos públicos.

• Resposta a catástrofes e busca e salvamento: Equipados com câmaras térmicas e deteção de objetos, os drones podem ajudar a localizar sobreviventes em zonas afetadas por catástrofes. Também podem avaliar danos e entregar mantimentos de emergência.

• Agricultura e agricultura de precisão: Os drones integrados com visão computacional podem ser utilizados para analisar a saúde das culturas e detetar doenças, ajudando os agricultores a aumentar os rendimentos e a reduzir os custos.

• Mapeamento e análise geoespacial: Ao recolher mapas 3D de alta resolução, os drones com IA podem ajudar no planeamento urbano e nos levantamentos de terrenos. Fornecem avaliações do terreno mais rápidas e precisas do que os métodos tradicionais.

Principais conclusões#

Os drones com IA equipados com visão computacional estão a transformar muitos setores, desde a entrega de encomendas até ao apoio em situações de emergência e na agricultura. Neste guia, explicámos como criar um vídeo de drone artificial, etiquetar objetos nele, treinar o Ultralytics YOLO11 e utilizá-lo para detetar casas.

Aplicar a deteção de objetos a imagens de drones torna estes drones mais inteligentes, permitindo-lhes reconhecer e acompanhar objetos automaticamente em tempo real. À medida que a tecnologia evolui, é provável que os drones com IA desempenhem um papel ainda mais importante ao tornar as entregas mais rápidas, melhorar a segurança e apoiar a resposta a catástrofes.

Junta-te à nossa comunidade e explora o nosso repositório no GitHub para saberes mais sobre IA de visão, e consulta as nossas opções de licenciamento para iniciares os teus projetos de visão computacional. Tens interesse em inovações como IA na indústria ou visão computacional no setor automóvel? Visita as nossas páginas de soluções para descobrires mais.