Robótica guiada por visão para montagem e separação e posicionamento de objetos

O melhor software de visão computacional para um robô de separação e colocação depende primeiro da cena. Use uma pilha configurável de visão computacional 2D, como Ultralytics YOLO, quando os objetos forem visualmente distinguíveis e a profundidade puder ser limitada ou fornecida separadamente. Considere produtos integrados de visão robótica 3D de fornecedores como Pickit, Mech-Mind, Photoneo, Zivid ou Apera AI quando a geometria de peças em caixas desordenadas, o processamento de nuvens de pontos, a calibração e a geração de preensões precisarem ser fornecidos como um único sistema com suporte. Os conjuntos tradicionais de visão industrial da Cognex ou da Keyence podem ser ideais para células rigidamente controladas e ambientes de automação consolidados.

Nenhum modelo é um sistema completo de separação e colocação. Uma célula de produção integra detecção, percepção, transformações de coordenadas, seleção de preensões, planejamento de movimento, controle do robô e recuperação de falhas.

Comparação das opções de visão para separação e colocação#

Os fornecedores oferecem diferentes camadas. Compare a lista completa de materiais e as responsabilidades operacionais, não apenas a interface de percepção.

Comece pela geometria da tarefa de separação#

Classifique a tarefa antes de escolher o software:

• Separação 2D fixa: As peças ficam em planos conhecidos, e o robô precisa da posição da imagem e da orientação.
• Separação em esteira: Os objetos se movem, então detecção, rastreamento, sincronização temporal e sincronização com o encoder são importantes.
• Bandeja estruturada: Compartimentos conhecidos limitam as posições, mas ainda é preciso verificar as variantes ou a orientação.
• Separação aleatória em caixas: As peças se sobrepõem em diferentes profundidades e exigem percepção 3D e planejamento de preensões que considere colisões.
• Objetos flexíveis ou deformáveis: O formato muda entre as tentativas de preensão, dificultando a segmentação e a seleção da preensão.
• Inserção na montagem: A tolerância e o alinhamento final podem exigir detecção adicional além da localização aproximada do objeto.

Um sistema 2D pode ser a opção confiável mais simples para uma geometria restrita. Em geral, caixas desordenadas exigem profundidade ou reconstrução a partir de várias vistas, pois a posição na imagem, por si só, não fornece um alvo seguro para o robô.

As seis camadas de um robô guiado por visão#

1. Detecção#

Escolha sensores de varredura de área, varredura linear, estéreo, luz estruturada, tempo de voo ou outros com base nas evidências necessárias. Registre o campo de visão, o menor elemento, a distância de trabalho, o alcance de profundidade, as propriedades da superfície, o movimento e as restrições ambientais.

Peças reflexivas, escuras, transparentes e sem textura podem dificultar a detecção de profundidade. Teste as peças, caixas, revestimentos e iluminação reais. Demonstrações de fornecedores com objetos favoráveis não substituem um teste na célula.

2. Percepção#

A detecção localiza e classifica objetos; a segmentação fornece os contornos dos objetos; as caixas delimitadoras orientadas estimam extensões rotacionadas; os modelos de pose podem identificar pontos-chave; o rastreamento associa objetos ao longo do tempo. Ultralytics YOLO é compatível com várias dessas tarefas de visão computacional em um único ecossistema de modelos.

A saída da percepção precisa ser estável o suficiente para o planejador de preensões subsequente. Avalie o erro de localização, objetos não detectados e duplicados, a qualidade das máscaras, o erro de orientação e o comportamento em situações de sobreposição, não apenas uma pontuação geral do conjunto de dados.

3. Calibração e coordenadas#

O sistema transforma observações das coordenadas da câmera para as coordenadas do robô ou da célula. A calibração mão-olho, a montagem da câmera, os efeitos da lente, o alinhamento da profundidade e a calibração do ponto central da ferramenta influenciam o erro de separação.

Trate a calibração como um ativo de produção que precisa de manutenção. Registre o procedimento e os resíduos aceitos, proteja os suportes da câmera e defina quando o ferramental ou a manutenção exigirem uma recalibração.

4. Planejamento de preensões#

A seleção de preensões considera as superfícies alcançáveis, a geometria da pinça, a estabilidade do objeto, o risco de colisão, as peças vizinhas e a pose de destino. Um modelo 2D pode fornecer a localização e a orientação do objeto para uma lógica de preensão baseada em regras. Uma solução 3D pode gerar candidatos de preensão classificados a partir de nuvens de pontos.

A detecção com maior confiança não é necessariamente a opção mais segura para pegar a peça. Mantenha a confiança da percepção, a qualidade da preensão e a viabilidade da trajetória como sinais separados.

5. Movimento e integração do robô#

Adaptadores de robô ou APIs transmitem alvos ao controlador. O integrador precisa gerenciar o tempo, os referenciais de coordenadas, a velocidade, as zonas, os modelos de colisão, o movimento da esteira e as confirmações. As funções de segurança devem fazer parte da arquitetura de segurança validada do robô e da célula, não de uma saída de modelo não verificada.

6. Recuperação#

Projete para os estados de falha previstos: nenhum objeto válido, classe incerta, nenhuma preensão segura, peça caída, falha na coleta, caixa deslocada, quadro desatualizado, câmera indisponível ou tentativas repetidas. Uma célula que funciona em separações fáceis, mas exige reinicialização manual após cada exceção, não poderá ser ampliada.

Onde a Ultralytics se encaixa#

A Ultralytics Platform pode organizar e anotar dados de imagem, treinar modelos Ultralytics YOLO e gerenciar versões de modelos. Depois, os modelos podem ser implantados por meio dos endpoints da Platform ou exportados para integração em um ambiente de execução de robótica próximo à célula.

Essa abordagem é útil quando a diferenciação depende de classes de objetos personalizadas, SKUs em constante mudança, condições visuais incomuns ou percepção específica da aplicação. Ela também permite que as equipes escolham a câmera, a fonte de profundidade, o planejador de preensões e a estrutura robótica ao redor.

Essa abordagem não substitui todos os componentes de um produto integrado de separação 3D em caixas. Organizações sem experiência em percepção robótica e integração podem preferir um pacote com suporte que inclua calibração, processamento 3D, lógica de preensão e adaptadores de robô certificados.

Como avaliar fornecedores#

Use as mesmas peças e condições da célula em todos os testes. Inclua caixas cheias e quase vazias, sobreposição nos piores casos, embalagens danificadas, misturas de variantes, superfícies reflexivas, contaminação normal e mudanças esperadas na iluminação.

Meça:

• Taxa de coletas válidas por peça e estado da caçamba.
• Distribuição do tempo de ciclo, incluindo percepção e recuperação.
• Confirmação da coleta na primeira tentativa.
• Eventos de classificação incorreta, alvos duplicados e risco de colisão.
• Intervenções manuais e tempo de reinicialização.
• Estabilidade da calibração após manutenção ou vibração.
• Tempo para adicionar um novo SKU e validar a atualização.
• Disponibilidade de registros e evidências para diagnóstico.

Peça a cada fornecedor que identifique quais medições vêm da câmera, do modelo, do planejador de preensão, do robô e dos sensores externos. Isso torna visíveis a arquitetura e as responsabilidades.

Guia de decisão entre 2D e 3D#

Escolha 2D primeiro quando as peças permanecerem em um plano conhecido, a altura de preensão for fixa, a sobreposição for limitada e características visuais nítidas determinarem a classe e a orientação. Em geral, é mais fácil iluminar, rotular, depurar e operar.

Escolha 3D quando a altura variar, pilhas criarem sobreposição significativa, a geometria da superfície determinar a preensão, a folga contra colisões for pequena ou o robô precisar interpretar um volume desordenado. Algumas células combinam percepção 2D aprendida com profundidade registrada para manter a classificação personalizada e obter coordenadas 3D.

Não decida com base na moda dos sensores. Use a configuração de sensoriamento menos complexa que passe nos testes de pior caso da célula.

Lista de verificação da implementação#

• Defina os requisitos de objeto, pose, ciclo e recuperação.
• Capture peças reais em toda a faixa de condições da caçamba e do ambiente.
• Selecione o sensoriamento com base na geometria e no comportamento da superfície.
• Valide a calibração e as transformações de coordenadas independentemente da precisão do modelo.
• Teste o planejador de preensão com a garra real e os objetos vizinhos.
• Separe as funções de segurança do robô da percepção aprendida.
• Registre detecções, transformações, candidatos a preensão, respostas do controlador e resultados.
• Ofereça recuperação humana para casos incertos ou esgotados.
• Faça testes de regressão para cada novo modelo, SKU, garra, câmera e configuração de célula.