Introdução à segmentação de instâncias no Ultralytics YOLOv5 v7.0

YOLOv5 v7.0, a versão mais recente da nossa arquitetura de IA, foi lançado e estamos entusiasmados por apresentar os nossos novos modelos de segmentação de instâncias!

Enquanto trabalhávamos nesta última versão, mantivemos dois objetivos em mente. O primeiro foi a nossa missão de facilitar a IA e o segundo foi o nosso objetivo de redefinir o que realmente significa “ultra moderno”.

Assim, com melhorias significativas, correcções e actualizações, fizemos exatamente isso. Mantendo os mesmos fluxos de trabalho simples dos nossos modelos de deteção de objectos YOLOv5 existentes, agora é mais fácil do que nunca treinar, validar e implementar os seus modelos com o YOLOv5 v7.0. Para além disso, ultrapassámos todos os benchmarks SOTA, tornando YOLOv5 o mais rápido e preciso do mundo.

Como esta é a nossa primeira versão de modelos de segmentação, estamos imensamente orgulhosos deste marco. Devemos muitos agradecimentos à nossa dedicada comunidade e colaboradores, que ajudaram a tornar esta versão possível.  

Então, vamos começar com as notas de lançamento YOLOv5 v7.0!

Actualizações importantes YOLOv5

Eis o que foi atualizado no YOLOv5 desde o nosso último lançamento do YOLOv5 v6.2 em agosto de 2022.

• Modelos de segmentação ⭐ NOVO: Os modelos de segmentação COCO pelo SOTA YOLOv5 COCO estão agora disponíveis pela primeira vez(#9052 por @glenn-jocher, @AyushExel e @Laughing-q)
• ExportaçãoPaddlePaddle : Exportar qualquer modelo YOLOv5 (cls, seg, det) para o formato Paddle com python export.py --include paddle #9459 by @glenn-jocher)
• YOLOv5 AutoCache: Usar python train.py --cache ram agora examinará a memória disponível e comparará com o uso previsto de RAM do conjunto de dados. Isso reduz o risco no cache e deve ajudar a melhorar a adoção do recurso de cache de conjunto de dados, que pode acelerar significativamente o treinamento.(#10027 por @glenn-jocher)
• Integração de registo e visualização deComet : Grátis para sempre, Comet permite-lhe guardar modelos YOLOv5 , retomar a formação e visualizar e depurar interactivamente as previsões.(#9232 por @DN6)

Novos Checkpoints de Segmentação

Treinámos os modelos de segmentação YOLOv5 no COCO durante 300 épocas com o tamanho de imagem 640 utilizando GPUs A100. Exportámos todos os modelos para ONNX FP32 para testes de velocidade CPU e para TensorRT FP16 para testes de velocidade GPU . Executámos todos os testes de velocidade em computadores portáteis Google Colab Pro para facilitar a reprodutibilidade.

• Todos os pontos de controlo são treinados para 300 épocas com o optimizador SGD com lr0=0,01 e weight_decay=5e-5 com o tamanho de imagem 640 e todas as predefinições. Todas as execuções são registadas aqui.
• Os valores de exatidão são para um modelo único de escala única no conjunto de dados COCO . Reproduzir por python segment.py --data cocoyaml --weights yolov5s-seg.pt
• Velocidade média de 100 imagens de inferência usando uma instância Colab Pro A100 High-RAM. Os valores indicam apenas a velocidade de inferênciaNMS acrescenta cerca de 1ms por imagem). Reproduzir por python segment.py --data cocoyaml --weights yolov5s-seg.pt --batch 1
• Exportação para ONNX em FP32 e TensorRT em FP16 efectuada com export.py. Reproduzir com python export.py --weights yolov5s-seg.pt --include engine --device 0 --half

Novos Exemplos de Uso de Segmentação

Trem

O treino de segmentação YOLOv5 suporta o descarregamento automático do conjunto de dados de segmentação COCO128 com o argumento --data coco128-segyaml e o descarregamento manual do conjunto de dados COCO com bash data/scripts/get_coco.sh --train --val --segments e depois python train.py --data cocoyaml.

GPU única

python segment.py --model yolov5s-seg.pt --data coco128-segyaml --epochs 5 --img 640

DDP GPU

python -m torch.distributed.run --nproc_per_node 4 --master_port 1 segment.py --model yolov5s-seg.pt --data coco128-segyaml --epochs 5 --img 640 --device 0,1,2,3

Val

Validação da precisão do YOLOv5m-seg no conjunto de dados ImageNet:

bash data/scripts/get_coco.sh --val --segments # descarrega COCO val segments split (780MB, 5000 imagens) python segment.py --weights yolov5s-seg.pt --data cocoyaml --img 640 # valida

Prever

Use o YOLOv5m-seg pré-treinado para prever bus.jpg:

python segment.py --weights yolov5m-seg.pt --data data/images/bus.jpg

model = torch.hub.load(ultralyticsyolov5', 'custom', 'yolov5m-seg.pt') # carregar a partir do PyTorch Hub (AVISO: inferência ainda não suportada)

Exportar

Exportar o modelo YOLOv5s-seg para ONNX e TensorRT:

python export.py --weights yolov5s-seg.pt --include onnx engine --img 640 --device 0

Tem alguma dúvida? Pergunte no fórumUltralytics , levante um problema ou envie um PR no repositório. Também pode começar a utilizar o nosso bloco de notas Colab de segmentaçãoYOLOv5 para obter tutoriais de início rápido.

‍