Como treinar de forma personalizada o Ultralytics YOLO26 para segmentação de instâncias

Graças aos recentes avanços tecnológicos, muitos sistemas inteligentes que desempenham um papel silencioso, mas impactante, em nossas vidas são alimentados por IA. Por exemplo, quando um carro avança um sinal vermelho e uma câmera registra a infração automaticamente, ou quando um sistema automatizado de inspeção de qualidade detecta um defeito de fabricação em uma linha de produção, a IA está realizando o trabalho nos bastidores.

Em particular, um ramo da IA conhecido como visão computacional permite que máquinas interpretem e compreendam imagens e vídeos. A visão computacional possibilita que sistemas reconheçam objetos, rastreiem movimentos e analisem detalhes visuais em tempo real, tornando-a essencial para aplicações como monitoramento de tráfego, inspeção industrial e robótica.

Essas capacidades são possíveis graças a modelos de visão computacional como o Ultralytics YOLO26, que suporta uma variedade de tarefas de visão, incluindo detecção de objetos e segmentação de instâncias. Enquanto a detecção de objetos identifica objetos usando caixas delimitadoras simples, a segmentação de instâncias vai além, delineando cada objeto ao nível do pixel, permitindo resultados mais precisos e confiáveis em cenários do mundo real.

Fig 1. Segmentando objetos em uma imagem usando o YOLO26

Modelos como o YOLO26 são pré-treinados e podem segmentar objetos cotidianos, como pessoas, carros e animais, prontos para uso. No entanto, para aplicações mais específicas, eles também podem ser treinados de forma personalizada. Em outras palavras, os modelos podem aprender a entender como são os objetos e como delineá-los com precisão.

Neste artigo, veremos como treinar o Ultralytics YOLO26 de forma personalizada para segmentação de instâncias. Vamos começar!

Link to this sectionO que é segmentação de instâncias?#

Antes de mergulharmos no treinamento de modelos, vamos dar um passo atrás e entender o que a segmentação de instâncias realmente significa.

A segmentação de instâncias é uma tarefa de visão computacional que permite que um modelo encontre cada objeto individual em uma imagem e delineie sua forma exata. Em vez de apenas identificar que um objeto existe, o modelo analisa cada pixel na imagem e decide se ele pertence a um objeto específico.

Isso significa que ele pode separar objetos mesmo quando eles se sobrepõem ou estão muito próximos. Um conceito chave que facilita a visualização da segmentação de instâncias é uma máscara.

Uma máscara é um contorno ao nível do pixel que cobre apenas a área de um objeto. Você pode pensar nela como colorir o objeto com um marca-texto, deixando todo o resto intacto.

Cada objeto recebe sua própria máscara, o que permite que o modelo diferencie um objeto do outro, mesmo que sejam do mesmo tipo, como dois carros ou duas pessoas em pé uma ao lado da outra.

Fig 2. Um olhar sobre a segmentação de instâncias

Para ter uma ideia melhor do que é a segmentação de instâncias, podemos compará-la com outras tarefas de visão computacional comuns. A detecção de objetos usa caixas delimitadoras, que são retângulos simples desenhados ao redor dos objetos. Caixas delimitadoras são rápidas e úteis, mas não capturam a forma exata de um objeto.

Enquanto isso, a segmentação semântica rotula cada pixel na imagem por categoria, mas não distingue entre objetos separados da mesma classe. A segmentação de instâncias combina o melhor de ambas as abordagens, identificando categorias de objetos e atribuindo uma máscara separada a cada objeto individual.

Como a segmentação de instâncias fornece informações tão detalhadas, ela é especialmente útil em aplicações do mundo real, como inspeção de qualidade automatizada, imagens médicas e robótica. Tarefas que exigem medições precisas, limites exatos ou separação de objetos podem se beneficiar desse entendimento ao nível do pixel.

Link to this sectionO Ultralytics YOLO26 suporta segmentação de instâncias#

O Ultralytics YOLO26 é um modelo de visão computacional de última geração, de ponta a ponta e livre de NMS (non-maximum suppression), projetado para lidar com tarefas de visão do mundo real de forma rápida e eficiente. Ele pertence à família de modelos de detecção Ultralytics YOLO, que pode processar imagens e vídeos em tempo real enquanto entrega resultados precisos.

O YOLO26 suporta múltiplas tarefas de visão dentro de uma única estrutura, incluindo detecção de objetos, estimativa de pose, classificação de imagem, detecção de caixa delimitadora orientada (detecção obb) e segmentação de instâncias.

Pronto para uso, o YOLO26 vem pré-treinado, o que significa que ele já aprendeu a reconhecer objetos comuns, como pessoas, veículos e itens do dia a dia, a partir de grandes conjuntos de dados amplamente utilizados, como o conjunto de dados COCO e o conjunto de dados ImageNet. Você pode começar a usar o modelo imediatamente sem qualquer treinamento adicional.

No entanto, quando sua aplicação envolve objetos únicos, ambientes específicos ou condições de iluminação incomuns, o treinamento de modelo personalizado pode melhorar significativamente os resultados. Ao treinar o YOLO26 em suas próprias imagens rotuladas, você pode ensinar ao modelo exatamente o que procurar e como delinear objetos com mais precisão para o seu caso de uso específico.

Esse processo também é chamado de ajuste fino (fine-tuning). Em vez de treinar um modelo do zero, o ajuste fino começa com um modelo YOLO26 pré-treinado e o adapta suavemente usando seus próprios dados. Como o modelo já entende padrões visuais gerais como bordas, formas e texturas, ele precisa de muito menos imagens rotuladas e muito menos tempo para aprender seus objetos específicos.

Simplificando, o ajuste fino é mais rápido, mais eficiente e mais acessível do que treinar um modelo do zero. O treinamento personalizado do YOLO26 é uma opção prática mesmo para iniciantes ou equipes que trabalham com dados e recursos computacionais limitados.

Link to this sectionExplorando aplicações de segmentação de instâncias do YOLO26#

Então, onde a segmentação de instâncias pode ser impactante? Em situações onde é importante distinguir objetos e entender suas formas exatas, especialmente quando as coisas ficam aglomeradas ou se sobrepõem.

Aqui estão alguns fluxos de trabalho comuns onde a segmentação de instâncias faz uma diferença real:

• Imagens aéreas e de drones: Esta tarefa permite que drones separem objetos como edifícios, veículos e vegetação em imagens aéreas para mapeamento, inspeção e levantamento topográfico.
• Análise esportiva: A segmentação de instâncias ajuda a analisar o movimento e as interações dos jogadores separando atletas individuais do fundo durante jogos ou sessões de treinamento.
• Monitoramento de construção e infraestrutura: Ajuda a identificar elementos estruturais, rachaduras ou áreas danificadas em edifícios, pontes e estradas para planejamento de manutenção.
• Saúde e imagens médicas: A segmentação de instâncias torna possível delinear com precisão células, tecidos ou ferramentas médicas, apoiando análises e diagnósticos mais precisos.
• Monitoramento agrícola e ambiental: Pode identificar e separar culturas, frutas ou doenças de plantas, facilitando a estimativa de produtividade e a aplicação de tratamentos direcionados.

Fig 3. Um exemplo de segmentação de ervas daninhas usando o YOLO26 (Fonte)

Link to this sectionComo funciona o treinamento personalizado do YOLO26 para segmentação de instâncias#

A seguir, vamos discutir como o treinamento personalizado funciona. Embora o treinamento de um modelo possa parecer técnico, o processo geral é direto.

Você pode preparar suas imagens, rotular os objetos que deseja que o modelo aprenda, configurar um pequeno arquivo de definições e, em seguida, treinar o YOLO26 usando o pacote Python da Ultralytics. O pacote Python da Ultralytics é uma biblioteca de software que fornece ferramentas prontas para uso para treinar, testar e implantar modelos YOLO sem a necessidade de construir tudo do zero.

Link to this sectionPasso 1: Prepare seu conjunto de dados personalizado#

O primeiro passo é preparar seu conjunto de dados de segmentação personalizado. Um conjunto de dados é simplesmente uma coleção de imagens que exibem os objetos que você deseja que o modelo aprenda.

Tente incluir imagens que reflitam condições do mundo real, como diferentes ângulos, iluminação, fundos e tamanhos de objetos. Quanto mais variadas forem suas imagens, melhor será o desempenho do seu modelo.

Para segmentação de instâncias, suas imagens também precisam de anotações. A anotação envolve rotular os objetos em cada imagem para que o modelo saiba o que aprender. Em vez de desenhar caixas simples, você desenhará contornos detalhados (polígonos) ao redor de cada objeto para marcar sua forma exata. Esses contornos se tornam as máscaras que o modelo aprende a prever.

Existem várias ferramentas de anotação de código aberto que você pode usar para criar esses rótulos. Muitas dessas ferramentas oferecem interfaces fáceis de usar onde você pode carregar imagens e desenhar contornos de objetos diretamente nelas.

Assim que suas imagens e anotações estiverem prontas, você pode organizá-las em pastas de treinamento e validação. Uma divisão típica é 80% das imagens para treinamento e 20% para validação, embora 70% para treinamento e 30% para validação também seja comum, dependendo do tamanho do seu conjunto de dados. O conjunto de treinamento ensina o modelo, enquanto o conjunto de validação é usado para medir o desempenho em imagens que ele ainda não viu.

Manter essa divisão equilibrada e garantir que ambas as pastas contenham uma variedade de exemplos é importante. Um conjunto de dados limpo e bem rotulado, com uma divisão adequada de treino e validação, forma a base de um modelo de segmentação de instâncias forte.

Link to this sectionPasso 2: Crie um arquivo YAML de conjunto de dados#

Após preparar suas imagens e anotações, o próximo passo é criar um arquivo YAML de conjunto de dados. Este arquivo destaca onde seu conjunto de dados está localizado e quais classes de objetos o modelo deve aprender durante o treinamento.

Neste arquivo, você pode definir o diretório raiz do conjunto de dados, os caminhos para suas pastas de imagens de treinamento e validação, e a lista de nomes de classes. Os nomes das classes devem ser listados na mesma ordem que os números de classe usados em seus arquivos de anotação, para que tudo corresponda corretamente.

Se você tiver alguma dúvida sobre o formato exato, pode consultar a documentação oficial da Ultralytics para mais detalhes.

Link to this sectionPasso 3: Instale o pacote Python da Ultralytics#

Agora que seu conjunto de dados e arquivo YAML estão prontos, o próximo passo é instalar o pacote Python da Ultralytics.

Este pacote inclui as ferramentas necessárias para treinar, validar, executar inferência e exportar modelos YOLO26. Ele fornece uma maneira simplificada de trabalhar com modelos YOLO sem criar pipelines de treinamento complexos do zero.

Antes de instalar o pacote Python da Ultralytics, também é importante escolher onde você deseja executar seu código. Você pode trabalhar com o pacote Ultralytics em vários ambientes de desenvolvimento diferentes, como:

• Interface de linha de comando (CLI): É um ambiente baseado em texto onde você interage com seu computador digitando comandos. Em vez de clicar em botões ou navegar em menus como faria em uma interface gráfica, você insere instruções escritas para executar programas e realizar tarefas diretamente.
• Jupyter Notebooks: Um ambiente interativo onde você escreve e executa código em pequenas seções e vê o resultado imediatamente. Isso é útil para experimentação e aprendizado.
• Google Colab: Uma plataforma de notebook baseada em nuvem que não requer instalação local e fornece acesso opcional a unidades de processamento gráfico (GPUs). Esta é frequentemente a opção mais fácil para iniciantes.

Depois de escolher seu ambiente, você pode instalar o pacote Python da Ultralytics. Para instalá-lo, execute o seguinte comando:

pip install ultralytics

Se você estiver usando um ambiente baseado em notebook, como o Google Colab ou Jupyter Notebook, adicione um ponto de exclamação no início do comando. Se você encontrar algum problema de instalação, pode consultar a documentação da Ultralytics ou o guia de solução de problemas para correções comuns e dicas de configuração de ambiente.

Após a instalação, você estará pronto para carregar um modelo de segmentação YOLO26 pré-treinado e começar o treinamento.

Link to this sectionPasso 4: Treine o YOLO26 para segmentação de instâncias#

Antes de iniciar o treinamento, você precisará escolher um tamanho de modelo. Os modelos YOLO26 estão disponíveis em diferentes tamanhos: Nano (n), Small (s), Medium (m), Large (l) e Extra Large (x).

Modelos menores treinam mais rápido e funcionam de forma mais eficiente em unidades de processamento central (CPUs) ou dispositivos de borda, enquanto modelos maiores normalmente oferecem maior precisão, mas exigem mais memória e se beneficiam da aceleração de GPU. Se você está apenas começando ou trabalhando com hardware limitado, a versão Nano (YOLO26n) é uma escolha prática.

Depois de selecionar um tamanho de modelo, o próximo passo é carregar um modelo de segmentação pré-treinado e começar a treiná-lo no seu conjunto de dados personalizado. Para fazer isso, você precisará especificar o arquivo do modelo pré-treinado, o caminho para o seu arquivo YAML de conjunto de dados, o número de épocas e o tamanho da imagem, conforme mostrado abaixo.

from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
results = model.train(data="path/to/file.yaml", epochs=100, imgsz=640)

O número de épocas determina quantas vezes o modelo percorre todo o conjunto de dados de treinamento. A cada época, o modelo faz previsões, compara-as com as anotações corretas, calcula erros e atualiza seus parâmetros internos para melhorar o desempenho.

Se o treinamento começar corretamente, você verá a configuração do modelo, a varredura do conjunto de dados e o progresso do treinamento exibidos em seu terminal ou notebook. À medida que o treinamento continua, os valores de perda e as métricas de avaliação serão atualizados após cada época, mostrando como o modelo está melhorando ao longo do tempo.

Link to this sectionPasso 5: Avalie o desempenho do modelo treinado de forma personalizada#

Após a conclusão do processo de treinamento, você pode revisar e validar as métricas de desempenho do modelo. No Google Colab, você pode navegar até a pasta “runs”, depois para a pasta “segment” e, finalmente, para a pasta “train”, onde encontrará logs exibindo os principais indicadores de desempenho.

Para usuários que trabalham em um ambiente Python, os resultados do treinamento são salvos por padrão no diretório “runs/train/” dentro do seu diretório de trabalho atual. Cada execução de treinamento cria um novo subdiretório, como runs/train/exp ou runs/train/exp2, onde você pode encontrar logs, pesos salvos e outras saídas relacionadas a esse experimento.

Se você estiver usando a CLI, pode acessar e gerenciar esses resultados usando o comando “yolo settings”. Este comando permite visualizar ou modificar os caminhos e configurações relacionados aos logs de treinamento e detalhes do experimento.

Entre as saídas salvas, você também encontrará gráficos gerados durante o treinamento. Esses gráficos mostram como o modelo melhorou ao longo do tempo. Por exemplo, eles exibem como a perda diminuiu à medida que o modelo aprendeu e como métricas de avaliação como precisão, recall e média de precisão média (mean average precision) aumentaram ao longo das épocas.

Fig 4. O tipo de gráficos que você pode analisar para avaliar seu modelo (Fonte)

Essas tendências visuais podem ajudá-lo a entender se o modelo foi treinado com sucesso e quanto ele melhorou do início ao fim do treinamento. Revisar tanto as métricas numéricas quanto os gráficos oferece uma imagem mais clara de quão bem seu modelo de segmentação de instâncias está funcionando antes de prosseguir para os testes com novas imagens.

Link to this sectionPasso 6: Teste seu modelo e execute inferências#

Após validar seu modelo, o passo final é testá-lo em novas imagens. Esse processo é chamado de inferência, que significa simplesmente usar seu modelo treinado para fazer previsões em dados não vistos.

Você pode executar a inferência em Python da seguinte forma:

results = model.predict("path/to/image.jpg", save=True, conf=0.3)

Neste exemplo, "path/to/image.jpg" pode ser substituído pelo caminho da imagem que você deseja testar.

A configuração “save=True” diz ao modelo para gerar e armazenar uma nova imagem que inclui as máscaras de segmentação previstas desenhadas sobre a imagem original.

A configuração “conf=0.3” controla o limite de confiança, o que significa que o modelo mostrará apenas previsões que ele tenha pelo menos 30% de certeza de estarem corretas. Diminuir esse valor pode mostrar mais detecções, enquanto aumentá-lo tornará o modelo mais seletivo.

Depois de executar o comando, o modelo cria uma nova pasta dentro do diretório runs onde ele salva a imagem de saída. Você pode abrir essa imagem salva para verificar visualmente quão bem as máscaras de segmentação seguem os limites do objeto e se objetos sobrepostos são separados corretamente.

Testar o modelo em diferentes imagens, fundos e condições de iluminação pode lhe dar uma compreensão mais clara de como ele se comporta fora do conjunto de dados de treinamento. Uma vez que os resultados pareçam consistentes e precisos, o modelo estará pronto para ser exportado e implantado.

Link to this sectionPasso 7: Exporte e implante seu modelo#

Após testar seu modelo e confirmar que ele funciona bem, o passo final é exportá-lo e implantá-lo. A exportação converte seu modelo YOLO26 treinado em um formato que pode ser executado em diferentes ambientes, como servidores de produção, dispositivos de borda ou aplicativos móveis.

A Ultralytics suporta vários formatos de exportação, permitindo que você escolha o que melhor se adapta à sua configuração de implantação. Por exemplo, você pode exportar para ONNX para ampla compatibilidade entre plataformas, TensorRT para desempenho de GPU otimizado em hardware NVIDIA ou OpenVINO para implantação eficiente baseada em CPU em dispositivos Intel. Essas integrações facilitam a execução do seu modelo fora do ambiente de treinamento e garantem um alto desempenho em tempo real.

Você pode exportar seu modelo em Python usando o seguinte comando:

model.export(format="onnx")

Este comando converte seu modelo treinado para o formato ONNX. Você pode substituir "onnx" por outros formatos suportados, dependendo de suas necessidades de implantação.

Uma vez exportado, seu modelo pode ser integrado em aplicações como serviços web, sistemas de visão embarcados, plataformas de robótica ou sistemas de inspeção industrial. Nesta fase, seu modelo de segmentação de instâncias YOLO26 treinado de forma personalizada pode passar da experimentação para a implantação no mundo real.

Link to this sectionPrincipais pontos#

O treinamento personalizado do Ultralytics YOLO26 para segmentação de instâncias oferece a flexibilidade de construir um modelo que realmente se ajusta ao seu caso de uso específico. Ao preparar um conjunto de dados claro, configurar seu arquivo YAML, treinar com pesos de segmentação pré-treinados e revisar os resultados, você pode ensinar o modelo a delinear com precisão cada objeto ao nível do pixel. Uma vez testado e exportado, seu modelo YOLO26 pode avançar do desenvolvimento para aplicações do mundo real em múltiplas escalas.

Junte-se à nossa comunidade e dê uma olhada em nosso repositório GitHub para descobrir mais sobre IA. Se você deseja construir seu próprio projeto de IA de visão, confira nossas opções de licenciamento. Explore mais sobre aplicações como IA na saúde e IA de visão no varejo visitando nossas páginas de soluções.