Guia de conjuntos de dados de deteção de drones: treina o Ultralytics YOLO com UAVs minúsculos

O Benchmark de deteção e rastreamento de UAVs indica que o tamanho médio dos drones nos dados Drone-vs-Bird é de 34 x 23 píxeis. Imagina um drone desse tamanho num fotograma hipotético de 3840 x 2160: redimensionado para os 640 píxeis usados por predefinição por um detetor, ficaria reduzido a cerca de 5,7 x 3,8 píxeis.

As equipas de combate a drones têm de manter esse objeto visível desde o conjunto de dados escolhido até ao modelo implementado. Este guia aborda as quatro decisões que determinam isso com o Ultralytics YOLO26: em que conjunto de dados de deteção de drones treinar, que tamanho de imagem usar, quando adicionar a inferência em mosaicos SAHI e como avaliar o modelo por tamanho do objeto para que um bom mAP geral não esconda drones distantes não detetados.

A maioria dos «conjuntos de dados de deteção de drones» responde à pergunta errada#

Quem procura um conjunto de dados de deteção de drones costuma referir-se a uma de duas tarefas:

• Detetar drones (anti-UAV ou combate a UAV): uma câmara terrestre ou aérea procura uma aeronave pequena contra o céu, árvores ou edifícios. Precisas de imagens de drones, idealmente com aves e outros elementos visualmente semelhantes.
• Detetar a partir de drones: uma câmara instalada no drone observa pessoas, carros e edifícios a partir de cima. O VisDrone é o benchmark padrão para esta tarefa. Contém 8629 imagens aéreas em 10 classes, de peões a autocarros, e não tem uma classe de drones.

O VisDrone continua a ser útil para as equipas anti-UAV, porque os seus objetos são minúsculos e estão agrupados. Isso faz dele um bom conjunto de dados público para testar configurações de objetos pequenos, como o tamanho da imagem e o recorte em mosaicos, antes de os teus próprios dados estarem prontos. Para aplicações aéreas propriamente ditas, consulta a nossa visão geral da visão por computador em operações com drones. O resto deste artigo aborda a primeira tarefa: detetar drones.

Escolhe um conjunto de dados adequado à tua câmara e perspetiva#

O conjunto de dados público mais adequado depende de a tua câmara estar no solo ou no ar, de gravar luz visível ou infravermelhos térmicos e da distância a que voa o teu objeto:

A contagem do Drone-vs-Bird refere-se ao conjunto de treino de 77 sequências distribuído para as edições de 2021 e ICASSP 2023 do desafio, cujas resoluções são indicadas pelo estudo SynDroneVision. Esse estudo também aborda o Det-Fly e o Anti-UAV, e o artigo do LRDDv3 descreve o seu próprio conjunto de dados. As licenças e as condições de acesso variam entre conjuntos de dados, por isso verifica-as antes de qualquer utilização comercial.

Treina com vários conjuntos de dados e reserva um para teste#

Um modelo que tem bons resultados no conjunto de dados com que foi treinado pode continuar a ter dificuldades noutro. Os autores do LRDDv3 treinaram modelos Ultralytics YOLO11m com diferentes conjuntos de dados e testaram-nos todos no Det-Fly. O modelo treinado com Drone-vs-Bird obteve um mAP₅₀ de 0,484 e o treinado com DUT Anti-UAV obteve 0,431.

Combina duas ou três fontes adequadas à tua câmara e à distância e converte-as todas para o formato de deteção YOLO. Em seguida, remapeia os IDs das classes de forma consistente, completa as anotações de aves em falta e divide os dados por voo ou vídeo antes de extrair fotogramas ou mosaicos. A divisão por fotograma pode colocar fotogramas quase idênticos do mesmo voo nos conjuntos de treino e teste, inflacionando as pontuações. Reserva um conjunto de dados completo, ou gravações do teu próprio local, para teste e não o uses no treino; inclui também gravações só com aves e de céu vazio para poderes medir os falsos alarmes.

Anota as aves, além dos drones#

As aves são uma fonte comum de falsos alarmes na deteção de drones por visão computacional. O Drone-vs-Bird inclui aves como elementos distratores, mas não as identifica como uma classe, pelo que tens de adicionar essas caixas num conjunto de dados com duas classes. Um estudo de 2025 sobre drones pequenos treinou o YOLO11m com classes de drones e aves e ignorou as previsões de aves durante a inferência. Nesse estudo, o modelo com duas classes detetou drones ligeiramente melhor do que um modelo apenas com a classe de drones.

Os dados públicos permitem obter uma referência inicial; as tuas próprias gravações permitem chegar à produção. A anotação na Ultralytics Platform permite identificar caixas de drones e aves em fotogramas das tuas próprias câmaras, e os dados sintéticos podem acrescentar fundos e ângulos raros. A solução vencedora do AVSS 2021 Drone-vs-Bird usou um detetor Ultralytics YOLOv5 afinado com imagens reais e sintéticas, juntamente com um rastreador de filtro de Kalman que aumentou a confiança em drones pouco visíveis e distantes.

O tamanho da imagem determina se o drone sobrevive ao redimensionamento#

O YOLO26 redimensiona cada imagem para que o lado mais comprido corresponda a imgsz, que, por predefinição, é 640. Um drone com pouquíssimos píxeis após o redimensionamento deixa qualquer detetor com pouca informação para trabalhar. Aumentar imgsz é a primeira solução, e tanto a documentação de treino como o guia de afinação recomendam imgsz=1280 para conjuntos de dados com objetos pequenos.

O custo aumenta aproximadamente em proporção ao número de píxeis, pelo que 1280 requer cerca de quatro vezes mais capacidade de computação do que 640. Para referência, a documentação do YOLO26 indica 1,7 ms para o YOLO26n e 2,5 ms para o YOLO26s numa NVIDIA T4, com TensorRT 10, lote 1 e nms=False, a 640 píxeis no COCO val2017. Estas medições não são de drones nem de imagens de 1280 píxeis, por isso cronometra a tua própria configuração.

Uma regra inicial útil vem da lição sobre latência da Ultralytics Academy: vale a pena testar um tamanho se o teu objeto importante mais pequeno continuar a ocupar cerca de 10 píxeis nesse tamanho. Se o orçamento for limitado, compara um modelo mais pequeno a uma resolução superior com um modelo maior a uma resolução inferior, usando o mesmo conjunto de validação de drones, e escolhe o que encontrar mais drones pequenos dentro do teu limite de latência.

O YOLO26 mantém os objetos minúsculos na seleção de candidatos#

Mesmo com um tamanho de imagem suficiente, o modelo tem de aprender a partir de caixas minúsculas. A atribuição de rótulos sensível a alvos pequenos (STAL) do YOLO26 ajuda neste aspeto. Nos modelos YOLO26 padrão com níveis P3 a P5 da versão v8.4.199, o STAL expande para 16 píxeis os lados das caixas de seleção de candidatos inferiores a 16 píxeis, preservando os alvos de regressão originais, para reduzir a probabilidade de drones minúsculos ficarem sem âncoras candidatas.

Também podes alterar a arquitetura para os objetos mais pequenos. O YOLO26 inclui uma variante yolo26-p2.yaml que acrescenta um nível de saída com stride 4 à pirâmide de funcionalidades, além dos níveis P3 a P5. Com uma entrada de 640 x 640, aumenta o custo computacional não fundido do YOLO26n de 6,1 para 9,5 GFLOPs. O P2 é disponibilizado como uma arquitetura YAML sem pesos P2 pré-treinados, pelo que tens de o construir com YOLO("yolo26n-p2.yaml") e treiná-lo com os teus dados.

A inferência em mosaicos SAHI preserva todos os detalhes dos fotogramas 4K#

Mesmo a 1280 píxeis, um fotograma 4K perde dois terços da largura antes de o modelo o processar. O SAHI (inferência hiper em mosaicos) integra-se com o Ultralytics YOLO26 para evitar essa perda. Divide o fotograma em recortes sobrepostos, executa o modelo em cada recorte e volta a juntar as caixas na imagem completa, para que um drone dividido entre recortes adjacentes conte apenas uma vez. O artigo do SAHI descreve o método e a sua variante de afinação com recortes.

Define separadamente o tamanho do recorte e o tamanho de entrada do modelo e, em seguida, testa a escala resultante dos drones em gravações reservadas para esse fim. Um modelo treinado com fotogramas 4K completos redimensionados para 1280 aprendeu drones três vezes mais pequenos do que os que aparecem em recortes de 1280 píxeis à resolução nativa. Se essa diferença de escala prejudicar os resultados, experimenta afiná-lo com recortes extraídos dos teus fotogramas de treino em resolução total, como no artigo do SAHI, e compara-o com o modelo de fotograma completo no mesmo conjunto de teste. Começa com 20% de sobreposição entre recortes adjacentes e verifica se há falhas nas extremidades.

A carga de trabalho é previsível. A 1280 x 1280 com 0,2 de sobreposição, um fotograma de 3840 x 2160 requer quatro colunas e duas linhas, ou seja, oito passagens diretas em vez de uma, desde que desatives a previsão adicional do SAHI na imagem completa. Esta abordagem é adequada para gravações, análise de alarmes e GPUs de edge potentes. Se uma câmara tiver de processar todos os fotogramas à velocidade máxima, recorta apenas a região do céu ou executa análises periódicas em mosaicos, ou ativa-as através de outro sensor, como um radar.

Avalia o detetor por tamanho e por classe#

A precisão média (mAP) geral calcula a média da AP das classes. Neste conjunto de dados com duas classes, o desempenho com aves pode ocultar uma deteção fraca de drones e, dentro da classe de drones, uma pontuação geral alta pode esconder uma recuperação baixa nas categorias de tamanho mais pequeno. Analisa as pontuações por classe e por tamanho antes de confiar nelas.

A validação com save_json=True acrescenta AP para objetos pequenos, médios e grandes nos conjuntos de dados de deteção, calculada com faster-coco-eval nas categorias do COCO: menos de 32 x 32 píxeis de área da caixa, até 96 x 96 e acima disso. Esses valores abrangem ambas as classes em conjunto. O estudo SynDroneVision indica que a maioria dos drones anotados no Drone-vs-Bird tem menos de 32 x 32 píxeis, por isso observa a AP_small apenas para drones e a recuperação.

Para obter esses valores, avalia predictions.json contra anotações correspondentes de referência, usando a área da caixa em píxeis da imagem original. O Ultralytics escreve as caixas em coordenadas da imagem original, usa o nome-base do ficheiro de imagem como ID da imagem e numera as classes personalizadas a partir de 1; neste caso, a classe dos drones é a categoria 1 e a das aves é a categoria 2. Converte os rótulos de teste para um JSON no formato COCO com os mesmos IDs de imagem e de categoria e, em seguida, limita a avaliação a catIds=[1].

A categoria de objetos pequenos do COCO é demasiado abrangente para tarefas de longo alcance, porque um drone de 12 píxeis e um drone de 30 x 30 pertencem à mesma categoria. Define intervalos de áreas mais precisos da mesma forma, como menos de 64 píxeis de área (8 x 8), de 64 a 256 (16 x 16) e de 256 a 1024 (32 x 32), e consulta a AP e a recuperação dos drones em cada intervalo. Se os teus rótulos incluírem a distância, como os do LRDDv3, apresenta também a recuperação por distância. Apresenta a precisão ao lado, com uma contagem separada das previsões de drones em fotogramas só com aves e de céu vazio.

Dois hábitos ajudam a manter os valores fiáveis:

• Valida com o tamanho de implementação. Um modelo treinado a 1280 e validado a 640 vê os drones com metade do tamanho usado no treino, pelo que as pontuações diminuem por motivos que não estão relacionados com o modelo.
• Interpreta o mAP_50-95 com cuidado. Um desvio de 2 píxeis numa caixa de 10 píxeis representa uma grande parte do IoU, pelo que os limiares rigorosos penalizam os alvos minúsculos. Acompanha a recuperação para detetar drones não encontrados e a AP₅₀ para deteções corretamente classificadas que cumprem um IoU de 0,5.

Treina, recorta em mosaicos e avalia um detetor de drones YOLO26#

Estes passos levam-te de um conjunto de dados combinado de drones e aves à comparação entre a inferência com a imagem completa e a inferência em mosaicos, no mesmo conjunto de teste reservado.

1. Instala os pacotes com pip install -U ultralytics sahi.

2. Cria um YAML do conjunto de dados com as aves como segunda classe e uma divisão de teste reservada:

path: datasets/drones
train: images/train
val: images/val
test: images/test
names:
  0: drone
  1: bird

1. Treina a 1280 a partir de pesos pré-treinados. batch=-1 permite que o AutoBatch escolha um tamanho de lote que utilize cerca de 60% da memória da GPU:

from ultralytics import YOLO

model = YOLO("yolo26s.pt")
model.train(data="drones.yaml", epochs=100, imgsz=1280, batch=-1, name="drone_1280")

1. Avalia a referência da imagem completa na divisão de teste com a mesma resolução. Isto grava predictions.json na pasta da execução:

best = YOLO("runs/detect/drone_1280/weights/best.pt")
metrics = best.val(data="drones.yaml", split="test", imgsz=1280, save_json=True)

1. Exporta as previsões em mosaicos para as mesmas imagens de teste, em coordenadas da imagem original, com a passagem adicional do SAHI na imagem completa desativada:

import json
from pathlib import Path

from sahi import AutoDetectionModel
from sahi.predict import get_sliced_prediction

detector = AutoDetectionModel.from_pretrained(
    model_type="ultralytics",
    model_path="runs/detect/drone_1280/weights/best.pt",
    confidence_threshold=0.001,
    image_size=1280,
    device="cuda:0",
)
preds = []
for img in sorted(Path("datasets/drones/images/test").glob("*.jpg")):
    result = get_sliced_prediction(
        str(img),
        detector,
        slice_height=1280,
        slice_width=1280,
        overlap_height_ratio=0.2,
        overlap_width_ratio=0.2,
        perform_standard_pred=False,
    )
    image_id = int(img.stem) if img.stem.isnumeric() else img.stem
    for p in result.to_coco_predictions(image_id=image_id):
        p["category_id"] += 1  # corresponde aos IDs a partir de 1 em predictions.json
        preds.append(p)
Path("sahi_predictions.json").write_text(json.dumps(preds))

1. Avalia os dois ficheiros de previsões face à mesma verdade de referência, apenas para a classe de drones:

from faster_coco_eval import COCO, COCOeval_faster

gt = COCO("test_coco.json")  # os teus rótulos de teste no formato COCO
for name in ["runs/detect/val/predictions.json", "sahi_predictions.json"]:
    ev = COCOeval_faster(gt, gt.loadRes(name), "bbox")
    ev.params.catIds = [1]  # drone
    ev.evaluate()
    ev.accumulate()
    ev.summarize()

Compara a AP dos drones por tamanho, as previsões de drones em fotogramas só com aves e de céu vazio e a latência de ponta a ponta por fotograma no hardware de implementação. Mantém o recorte em mosaicos apenas se o ganho com drones pequenos justificar as passagens adicionais.

1. Rastreia entre fotogramas como exemplo separado com a imagem completa: best.track(source="perimeter.mp4", imgsz=1280, tracker="bytetrack.yaml") usa o modo de rastreamento e não utiliza as previsões SAHI acima. O ByteTrack pode reativar um rastreamento perdido quando uma deteção posterior corresponde a ele antes de expirar.

2. Exporta para edge. Para um NVIDIA Jetson junto à câmara, exporta para TensorRT com best.export(format="engine", imgsz=1280, half=True) e segue o guia do Jetson. Mede a latência no dispositivo à resolução de implementação.

Se a tua GPU não suportar o treino a 1280 píxeis, podes usar o mesmo conjunto de dados e os mesmos argumentos no treino na nuvem da Ultralytics Platform.

Quem deve criar um detetor de drones desta forma#

Este fluxo de trabalho é adequado para equipas que protegem um local fixo, como o perímetro de um aeroporto, uma prisão, um estádio ou uma infraestrutura crítica, com câmaras RGB ou térmicas a vigiar o céu. Também é adequado para integradores que acrescentam visão a sensores de radar ou RF em implementações de segurança. Em ambos os casos, a câmara tem de reconhecer um drone a distâncias em que este ocupa apenas algumas dezenas de píxeis.

Começa com DUT Anti-UAV e Drone-vs-Bird como referência, acrescenta rótulos de aves e as tuas próprias gravações, treina o YOLO26 a 1280 e avalia cada alteração pela AP_small apenas para drones, pela recuperação e pelos falsos alarmes de aves. Acrescenta SAHI quando os fotogramas tiverem 4K ou mais e a avaliação em mosaicos mostrar um ganho com drones pequenos. Para uma perspetiva mais ampla, consulta o nosso guia sobre deteção de objetos pequenos e a lista de verificação do mAP para objetos pequenos.