Introdução à Segmentação de Instâncias no YOLOv5 v7.0 da Ultralytics

YOLOv5 v7.0, a versão mais recente da nossa arquitetura de IA, foi lançada, e estamos entusiasmados em apresentar nossos novos modelos de segmentação de instâncias!

Ao trabalhar neste lançamento mais recente, mantivemos dois objetivos em destaque. O primeiro foi nossa missão de tornar a IA fácil, e o segundo foi nosso objetivo de redefinir o que o "estado da arte" realmente significa.

Portanto, com melhorias significativas, correções e atualizações, fizemos exatamente isso. Mantendo os mesmos fluxos de trabalho simples dos nossos modelos de detecção de objetos YOLOv5 existentes, agora está mais fácil do que nunca treinar, validar e implantar seus modelos com o YOLOv5 v7.0. Além disso, superamos todos os benchmarks SOTA, tornando efetivamente o YOLOv5 o mais rápido e preciso do mundo.

Como este é nosso primeiro lançamento de modelos de segmentação, estamos imensamente orgulhosos deste marco. Devemos muitos agradecimentos à nossa comunidade dedicada e aos contribuidores, que ajudaram a tornar este lançamento possível.

Então, vamos começar com as notas de lançamento do YOLOv5 v7.0!

Link to this sectionAtualizações importantes do YOLOv5#

Aqui está o que foi atualizado no YOLOv5 desde o nosso último lançamento do YOLOv5 v6.2 em agosto de 2022.

• Modelos de segmentação ⭐ NOVO: Os modelos de segmentação SOTA YOLOv5-seg pré-treinados em COCO já estão disponíveis pela primeira vez (#9052 por @glenn-jocher, @AyushExel e @Laughing-q)
• Exportação PaddlePaddle: Exporte qualquer modelo YOLOv5 (cls, seg, det) para o formato Paddle com python export.py --include paddle #9459 por @glenn-jocher)
• YOLOv5 AutoCache: Usar python train.py --cache ram agora escaneará a memória disponível e comparará com o uso de RAM previsto do conjunto de dados. Isso reduz o risco no cache e deve ajudar a melhorar a adoção do recurso de cache de conjunto de dados, o que pode acelerar significativamente o treinamento. (#10027 por @glenn-jocher)
• Integração de registro e visualização Comet: Gratuito para sempre, o Comet permite salvar modelos YOLOv5, retomar o treinamento e visualizar e depurar previsões de forma interativa. (#9232 por @DN6)

Link to this sectionNovos pontos de verificação de segmentação#

Treinamos os modelos de segmentação YOLOv5 no COCO por 300 épocas com tamanho de imagem 640 usando GPUs A100. Exportamos todos os modelos para ONNX FP32 para testes de velocidade de CPU e para TensorRT FP16 para testes de velocidade de GPU. Executamos todos os testes de velocidade em notebooks Colab Pro do Google para facilitar a reprodutibilidade.

• Todos os checkpoints são treinados por 300 épocas com o otimizador SGD com lr0=0.01 e weight_decay=5e-5 em um tamanho de imagem de 640 e todas as configurações padrão. Todas as execuções são registradas nos Weights & Biases training logs.
• Os valores de precisão são para modelo único e escala única no conjunto de dados COCO. Reproduza com python segment/val.py --data coco.yaml --weights yolov5s-seg.pt
• Velocidade média em 100 imagens de inferência usando uma instância Colab Pro A100 High-RAM. Os valores indicam apenas a velocidade de inferência (NMS adiciona cerca de 1ms por imagem). Reproduza com python segment/val.py --data coco.yaml --weights yolov5s-seg.pt --batch 1
• Exportação para ONNX em FP32 e TensorRT em FP16 feita com export.py. Reproduza com python export.py --weights yolov5s-seg.pt --include engine --device 0 --half

Link to this sectionNovos exemplos de uso de segmentação#

Link to this sectionTreinar#

O treinamento de segmentação YOLOv5 suporta o download automático do conjunto de dados de segmentação COCO128-seg com o argumento --data coco128-seg.yaml e o download manual do conjunto de dados COCO-segments com bash data/scripts/get_coco.sh --train --val --segments e então python train.py --data coco.yaml.

Link to this sectionGPU única#

python segment/train.py --model yolov5s-seg.pt --data coco128-seg.yaml --epochs 5 --img 640

Link to this sectionDDP Multi-GPU#

python -m torch.distributed.run --nproc_per_node 4 --master_port 1 segment/train.py --model yolov5s-seg.pt --data coco128-seg.yaml --epochs 5 --img 640 --device 0,1,2,3

Link to this sectionVal#

Valide a precisão do YOLOv5m-seg no conjunto de dados COCO:

bash data/scripts/get_coco.sh --val --segments # baixar divisão de segmentos de validação do COCO (780MB, 5000 imagens) python segment/val.py --weights yolov5s-seg.pt --data coco.yaml --img 640 # validar

Link to this sectionPrever#

Use o YOLOv5m-seg pré-treinado para prever bus.jpg:

python segment/predict.py --weights yolov5m-seg.pt --data data/images/bus.jpg

model = torch.hub.load('ultralytics/yolov5', 'custom', 'yolov5m-seg.pt') # carregar do PyTorch Hub (AVISO: inferência ainda não suportada)

Link to this sectionExportar#

Exporte o modelo YOLOv5s-seg para ONNX e TensorRT:

python export.py --weights yolov5s-seg.pt --include onnx engine --img 640 --device 0

Tem alguma dúvida? Pergunte no fórum da Ultralytics, abra uma issue ou envie um PR no repositório. Você também pode começar com nosso notebook Colab de segmentação YOLOv5 para tutoriais de início rápido.