Como treinar de forma personalizada o Ultralytics YOLO26 para segmentação de instâncias

Graças aos recentes avanços tecnológicos, muitos sistemas inteligentes que desempenham um papel silencioso, mas impactante, em nossas vidas são alimentados por IA. Por exemplo, quando um carro avança um sinal vermelho e uma câmera registra a infração automaticamente, ou quando um sistema automatizado de inspeção de qualidade detecta um defeito de fabricação em uma linha de produção, a IA está realizando o trabalho nos bastidores.

Em particular, um ramo da inteligência artificial conhecido como computer vision permite que as máquinas interpretem e compreendam imagens e vídeos. A computer vision permite que os sistemas reconheçam objetos, rastreiem movimentos e analisem detalhes visuais em tempo real, tornando-se essencial para aplicações como monitoramento de tráfego, inspeção industrial e robótica.

Essas capacidades são viabilizadas por computer vision models como o Ultralytics YOLO26, que suporta uma variedade de tarefas de visão, incluindo detecção de objetos e segmentação de instâncias. Enquanto a detecção de objetos identifica objetos usando caixas delimitadoras simples, a segmentação de instâncias vai além, contornando cada objeto a nível de pixel, permitindo resultados mais precisos e confiáveis em cenários do mundo real.

Fig 1. Segmentando objetos em uma imagem usando Ultralytics YOLO26

Modelos como o Ultralytics YOLO26 são pré-treinados e podem segmentar objetos do dia a dia, como pessoas, carros e animais, de forma imediata. No entanto, para aplicações mais específicas, eles também podem ser treinados de forma personalizada. Em outras palavras, os modelos podem aprender a entender a aparência dos objetos e como contorná-los com precisão.

Neste artigo, veremos como treinar o Ultralytics YOLO26 de forma personalizada para segmentação de instâncias. Vamos começar!

O que é segmentação de instâncias?#

Antes de mergulharmos no treinamento de modelos, vamos dar um passo atrás e entender o que a instance segmentation realmente significa.

A segmentação de instâncias é uma tarefa de visão computacional que permite que um modelo encontre cada objeto individual em uma imagem e delineie sua forma exata. Em vez de apenas identificar que um objeto existe, o modelo analisa cada pixel na imagem e decide se ele pertence a um objeto específico.

Isso significa que ele pode separar objetos mesmo quando eles se sobrepõem ou estão muito próximos. Um conceito chave que facilita a visualização da segmentação de instâncias é uma máscara.

Uma máscara é um contorno ao nível do pixel que cobre apenas a área de um objeto. Você pode pensar nela como colorir o objeto com um marca-texto, deixando todo o resto intacto.

Cada objeto recebe sua própria máscara, o que permite que o modelo diferencie um objeto do outro, mesmo que sejam do mesmo tipo, como dois carros ou duas pessoas em pé uma ao lado da outra.

Fig 2. Um olhar sobre a segmentação de instâncias

Para ter uma ideia melhor do que é a segmentação de instâncias, podemos compará-la com outras computer vision tasks comuns. A detecção de objetos usa caixas delimitadoras, que são retângulos simples desenhados ao redor dos objetos. As caixas delimitadoras são rápidas e úteis, mas não capturam a forma exata de um objeto.

Enquanto isso, a segmentação semântica rotula cada pixel na imagem por categoria, mas não distingue entre objetos separados da mesma classe. A segmentação de instâncias combina o melhor de ambas as abordagens, identificando categorias de objetos e atribuindo uma máscara separada a cada objeto individual.

Como a segmentação de instâncias fornece informações tão detalhadas, ela é especialmente útil em aplicações do mundo real, como inspeção de qualidade automatizada, imagens médicas e robótica. Tarefas que exigem medições precisas, limites exatos ou separação de objetos podem se beneficiar desse entendimento ao nível do pixel.

O Ultralytics YOLO26 suporta segmentação de instâncias#

O Ultralytics YOLO26 é um modelo de visão computacional de última geração, de ponta a ponta e livre de NMS (non-maximum suppression), projetado para lidar com tarefas de visão do mundo real de forma rápida e eficiente. Ele pertence à família de modelos de detecção Ultralytics YOLO, que pode processar imagens e vídeos em tempo real enquanto entrega resultados precisos.

O Ultralytics YOLO26 suporta várias tarefas de visão dentro de um único framework, incluindo detecção de objetos, estimativa de pose, classificação de imagem, detecção de caixa delimitadora orientada (detecção OBB) e segmentação de instâncias.

De fábrica, o Ultralytics YOLO26 vem pré-treinado, o que significa que ele já aprendeu a reconhecer objetos comuns, como pessoas, veículos e itens do dia a dia, a partir de grandes conjuntos de dados amplamente utilizados, como o dataset COCO e o dataset ImageNet. Podes começar a usar o modelo imediatamente sem nenhum treinamento adicional.

No entanto, quando a tua aplicação envolve objetos únicos, ambientes específicos ou condições de iluminação incomuns, o treinamento de modelo personalizado pode melhorar significativamente os resultados. Ao treinar o Ultralytics YOLO26 com as tuas próprias imagens rotuladas, podes ensinar o modelo exatamente o que procurar e como contornar objetos com mais precisão para o teu caso de uso específico.

Esse processo também é conhecido como fine-tuning. Em vez de treinar um modelo do zero, o fine-tuning começa com um modelo Ultralytics YOLO26 pré-treinado e o adapta suavemente usando os teus próprios dados. Como o modelo já entende padrões visuais gerais, como bordas, formas e texturas, ele precisa de muito menos imagens rotuladas e muito menos tempo para aprender os teus objetos específicos.

Em termos simples, o fine-tuning é mais rápido, mais eficiente e mais acessível do que treinar um modelo desde o início. O treinamento personalizado do Ultralytics YOLO26 é uma opção prática mesmo para iniciantes ou equipes que trabalham com dados e recursos computacionais limitados.

Explorando aplicações de segmentação de instâncias com Ultralytics YOLO26#

Então, onde a segmentação de instâncias pode ser impactante? Em situações onde é importante distinguir objetos e entender suas formas exatas, especialmente quando as coisas ficam aglomeradas ou se sobrepõem.

Aqui estão alguns fluxos de trabalho comuns onde a segmentação de instâncias faz uma diferença real:

• Aerial and drone imaging: Esta tarefa permite que os drones separem objetos como edifícios, veículos e vegetação em imagens aéreas para mapeamento, inspeção e levantamento.
• Análise esportiva: A segmentação de instâncias ajuda a analisar o movimento e as interações dos jogadores separando atletas individuais do fundo durante jogos ou sessões de treinamento.
• Monitoramento de construção e infraestrutura: Ajuda a identificar elementos estruturais, rachaduras ou áreas danificadas em edifícios, pontes e estradas para planejamento de manutenção.
• Saúde e imagens médicas: A segmentação de instâncias torna possível delinear com precisão células, tecidos ou ferramentas médicas, apoiando análises e diagnósticos mais precisos.
• Monitoramento agrícola e ambiental: Pode identificar e separar culturas, frutas ou doenças de plantas, facilitando a estimativa de produtividade e a aplicação de tratamentos direcionados.

Fig 3. Um exemplo de segmentação de ervas daninhas usando o YOLO26 (Source)

Como funciona o treinamento personalizado do Ultralytics YOLO26 para segmentação de instâncias#

A seguir, vamos discutir como o treinamento personalizado funciona. Embora o treinamento de um modelo possa parecer técnico, o processo geral é direto.

Podes preparar as tuas imagens, rotular os objetos que queres que o modelo aprenda, configurar um pequeno ficheiro de definições e, em seguida, treinar o YOLO26 usando o Ultralytics Python package. O Ultralytics Python package é uma biblioteca de software que fornece ferramentas prontas a usar para treinar, testar e implantar modelos YOLO sem precisares de construir tudo do zero.

Passo 1: Prepare seu conjunto de dados personalizado#

O primeiro passo é preparar o teu segmentation dataset personalizado. Um dataset é simplesmente uma coleção de imagens que mostram os objetos que queres que o modelo aprenda.

Tente incluir imagens que reflitam condições do mundo real, como diferentes ângulos, iluminação, fundos e tamanhos de objetos. Quanto mais variadas forem suas imagens, melhor será o desempenho do seu modelo.

Para segmentação de instâncias, suas imagens também precisam de anotações. A anotação envolve rotular os objetos em cada imagem para que o modelo saiba o que aprender. Em vez de desenhar caixas simples, você desenhará contornos detalhados (polígonos) ao redor de cada objeto para marcar sua forma exata. Esses contornos se tornam as máscaras que o modelo aprende a prever.

Existem várias ferramentas de anotação de código aberto que você pode usar para criar esses rótulos. Muitas dessas ferramentas oferecem interfaces fáceis de usar onde você pode carregar imagens e desenhar contornos de objetos diretamente nelas.

Assim que suas imagens e anotações estiverem prontas, você pode organizá-las em pastas de treinamento e validação. Uma divisão típica é 80% das imagens para treinamento e 20% para validação, embora 70% para treinamento e 30% para validação também seja comum, dependendo do tamanho do seu conjunto de dados. O conjunto de treinamento ensina o modelo, enquanto o conjunto de validação é usado para medir o desempenho em imagens que ele ainda não viu.

Manter essa divisão equilibrada e garantir que ambas as pastas contenham uma variedade de exemplos é importante. Um conjunto de dados limpo e bem rotulado, com uma divisão adequada de treino e validação, forma a base de um modelo de segmentação de instâncias forte.

Passo 2: Crie um arquivo YAML de conjunto de dados#

Após preparar suas imagens e anotações, o próximo passo é criar um arquivo YAML de conjunto de dados. Este arquivo destaca onde seu conjunto de dados está localizado e quais classes de objetos o modelo deve aprender durante o treinamento.

Neste arquivo, você pode definir o diretório raiz do conjunto de dados, os caminhos para suas pastas de imagens de treinamento e validação, e a lista de nomes de classes. Os nomes das classes devem ser listados na mesma ordem que os números de classe usados em seus arquivos de anotação, para que tudo corresponda corretamente.

Se tiveres alguma dúvida sobre o formato exato, podes consultar a official Ultralytics documentation para mais detalhes.

Passo 3: Instale o pacote Python da Ultralytics#

Agora que seu conjunto de dados e arquivo YAML estão prontos, o próximo passo é instalar o pacote Python da Ultralytics.

Este pacote inclui as ferramentas necessárias para treinar, validar, executar inferência e exportar modelos Ultralytics YOLO26. Ele fornece uma maneira simplificada de trabalhar com modelos YOLO sem construir pipelines de treinamento complexos do zero.

Antes de instalar o pacote Python da Ultralytics, também é importante escolher onde você deseja executar seu código. Você pode trabalhar com o pacote Ultralytics em vários ambientes de desenvolvimento diferentes, como:

• Interface de linha de comando (CLI): É um ambiente baseado em texto onde você interage com seu computador digitando comandos. Em vez de clicar em botões ou navegar em menus como faria em uma interface gráfica, você insere instruções escritas para executar programas e realizar tarefas diretamente.
• Jupyter Notebooks: Um ambiente interativo onde você escreve e executa código em pequenas seções e vê o resultado imediatamente. Isso é útil para experimentação e aprendizado.
• Google Colab: Uma plataforma de notebook baseada em nuvem que não requer instalação local e fornece acesso opcional a unidades de processamento gráfico (GPUs). Esta é frequentemente a opção mais fácil para iniciantes.

Depois de escolher seu ambiente, você pode instalar o pacote Python da Ultralytics. Para instalá-lo, execute o seguinte comando:

pip install ultralytics

Se estás a usar um ambiente baseado em blocos de notas como o Google Colab ou o Jupyter Notebook, adiciona um ponto de exclamação no início do comando. Se tiveres algum problema de instalação, podes consultar a documentação da Ultralytics ou o troubleshooting guide para correções comuns e dicas de configuração de ambiente.

Após a instalação, estarás pronto para carregar um modelo de segmentação Ultralytics YOLO26 pré-treinado e começar o treinamento.

Passo 4: Treinar o Ultralytics YOLO26 para segmentação de instâncias#

Antes de iniciar o treinamento, precisarás de escolher um tamanho de modelo. Os modelos Ultralytics YOLO26 estão disponíveis em diferentes tamanhos: Nano (n), Small (s), Medium (m), Large (l) e Extra Large (x).

Modelos menores treinam mais rápido e funcionam de forma mais eficiente em unidades de processamento central (CPUs) ou dispositivos de borda, enquanto modelos maiores normalmente oferecem maior precisão, mas exigem mais memória e se beneficiam da aceleração de GPU. Se você está apenas começando ou trabalhando com hardware limitado, a versão Nano (YOLO26n) é uma escolha prática.

Depois de selecionar um tamanho de modelo, o próximo passo é carregar um modelo de segmentação pré-treinado e começar a treiná-lo no seu conjunto de dados personalizado. Para fazer isso, você precisará especificar o arquivo do modelo pré-treinado, o caminho para o seu arquivo YAML de conjunto de dados, o número de épocas e o tamanho da imagem, conforme mostrado abaixo.

from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
results = model.train(data="path/to/file.yaml", epochs=100, imgsz=640)

O número de épocas determina quantas vezes o modelo percorre todo o conjunto de dados de treinamento. A cada época, o modelo faz previsões, compara-as com as anotações corretas, calcula erros e atualiza seus parâmetros internos para melhorar o desempenho.

Se o treinamento começar corretamente, você verá a configuração do modelo, a varredura do conjunto de dados e o progresso do treinamento exibidos em seu terminal ou notebook. À medida que o treinamento continua, os valores de perda e as métricas de avaliação serão atualizados após cada época, mostrando como o modelo está melhorando ao longo do tempo.

Passo 5: Avalie o desempenho do modelo treinado de forma personalizada#

Após a conclusão do processo de treinamento, você pode revisar e validar as métricas de desempenho do modelo. No Google Colab, você pode navegar até a pasta “runs”, depois para a pasta “segment” e, finalmente, para a pasta “train”, onde encontrará logs exibindo os principais indicadores de desempenho.

Para usuários que trabalham em um ambiente Python, os resultados do treinamento são salvos por padrão no diretório “runs/train/” dentro do seu diretório de trabalho atual. Cada execução de treinamento cria um novo subdiretório, como runs/train/exp ou runs/train/exp2, onde você pode encontrar logs, pesos salvos e outras saídas relacionadas a esse experimento.

Se você estiver usando a CLI, pode acessar e gerenciar esses resultados usando o comando “yolo settings”. Este comando permite visualizar ou modificar os caminhos e configurações relacionados aos logs de treinamento e detalhes do experimento.

Entre as saídas salvas, você também encontrará gráficos gerados durante o treinamento. Esses gráficos mostram como o modelo melhorou ao longo do tempo. Por exemplo, eles exibem como a perda diminuiu à medida que o modelo aprendeu e como métricas de avaliação como precisão, recall e média de precisão média (mean average precision) aumentaram ao longo das épocas.

Fig 4. O tipo de gráficos que podes analisar para avaliar o teu modelo (Source)

Essas tendências visuais podem ajudá-lo a entender se o modelo foi treinado com sucesso e quanto ele melhorou do início ao fim do treinamento. Revisar tanto as métricas numéricas quanto os gráficos oferece uma imagem mais clara de quão bem seu modelo de segmentação de instâncias está funcionando antes de prosseguir para os testes com novas imagens.

Passo 6: Teste seu modelo e execute inferências#

Após validar seu modelo, o passo final é testá-lo em novas imagens. Esse processo é chamado de inferência, que significa simplesmente usar seu modelo treinado para fazer previsões em dados não vistos.

Você pode executar a inferência em Python da seguinte forma:

results = model.predict("path/to/image.jpg", save=True, conf=0.3)

Neste exemplo, "path/to/image.jpg" pode ser substituído pelo caminho da imagem que você deseja testar.

A configuração “save=True” diz ao modelo para gerar e armazenar uma nova imagem que inclui as máscaras de segmentação previstas desenhadas sobre a imagem original.

A configuração “conf=0.3” controla o limite de confiança, o que significa que o modelo mostrará apenas previsões que ele tenha pelo menos 30% de certeza de estarem corretas. Diminuir esse valor pode mostrar mais detecções, enquanto aumentá-lo tornará o modelo mais seletivo.

Depois de executar o comando, o modelo cria uma nova pasta dentro do diretório runs onde ele salva a imagem de saída. Você pode abrir essa imagem salva para verificar visualmente quão bem as máscaras de segmentação seguem os limites do objeto e se objetos sobrepostos são separados corretamente.

Testar o modelo em diferentes imagens, fundos e condições de iluminação pode lhe dar uma compreensão mais clara de como ele se comporta fora do conjunto de dados de treinamento. Uma vez que os resultados pareçam consistentes e precisos, o modelo estará pronto para ser exportado e implantado.

Passo 7: Exporte e implante seu modelo#

Após testar o teu modelo e confirmar que ele tem um bom desempenho, o passo final é exportá-lo e implantá-lo. A exportação converte o teu modelo Ultralytics YOLO26 treinado num formato que pode ser executado em diferentes ambientes, como servidores de produção, dispositivos de borda ou aplicativos móveis.

A Ultralytics suporta vários export formats, permitindo-te escolher o que melhor se adapta à tua configuração de implantação. Por exemplo, podes exportar para ONNX para ampla compatibilidade entre plataformas, TensorRT para desempenho de GPU otimizado em hardware NVIDIA, ou OpenVINO para implantação eficiente baseada em CPU em dispositivos Intel. Essas integrações tornam mais fácil executar o teu modelo fora do ambiente de treinamento e obter um forte desempenho em tempo real.

Você pode exportar seu modelo em Python usando o seguinte comando:

model.export(format="onnx")

Este comando converte seu modelo treinado para o formato ONNX. Você pode substituir "onnx" por outros formatos suportados, dependendo de suas necessidades de implantação.

Uma vez exportado, o teu modelo pode ser integrado em aplicações como serviços web, sistemas de visão embarcados, plataformas de robótica ou sistemas de inspeção industrial. Nesta etapa, o teu modelo de segmentação de instâncias Ultralytics YOLO26 treinado de forma personalizada pode passar da experimentação para a implantação no mundo real.

Principais pontos#

O treinamento personalizado do Ultralytics YOLO26 para segmentação de instâncias oferece a flexibilidade de construir um modelo que realmente se ajusta ao seu caso de uso específico. Ao preparar um conjunto de dados claro, configurar seu arquivo YAML, treinar com pesos de segmentação pré-treinados e revisar os resultados, você pode ensinar o modelo a delinear com precisão cada objeto ao nível do pixel. Uma vez testado e exportado, seu modelo YOLO26 pode avançar do desenvolvimento para aplicações do mundo real em múltiplas escalas.

Junta-te à our community e dá uma vista de olhos ao nosso GitHub repository para descobrires mais sobre IA. Se pretendes construir o teu próprio projeto de IA de visão, confere as nossas licensing options. Explora mais sobre aplicações como AI in healthcare e vision AI in retail visitando as nossas páginas de soluções.