Robótica guiada por visão para montagem e pick-and-place

O melhor software de visão para um robô de pick-and-place depende primeiramente da cena. Usa uma stack de visão computacional 2D configurável como o Ultralytics YOLO quando os objetos são visualmente distinguíveis e a profundidade pode ser limitada ou fornecida separadamente. Considera produtos integrados de visão robótica 3D de fornecedores como Pickit, Mech-Mind, Photoneo, Zivid ou Apera AI quando a geometria de contentores aleatórios, o processamento de nuvens de pontos, a calibração e a geração de agarres precisam de chegar como um sistema suportado único. As suites de visão industrial tradicionais da Cognex ou Keyence podem ser uma excelente opção para células estritamente controladas e ambientes de automação estabelecidos.

Nenhum modelo é um sistema de apanha completo. Uma célula de produção junta deteção, perceção, transformações de coordenadas, seleção de agarres, planeamento de movimento, controlo de robôs e recuperação de falhas.

Opções de visão para pick-and-place comparadas#

Os fornecedores empacotam diferentes camadas. Compara a lista de materiais completa e a responsabilidade operacional, e não apenas a interface de perceção.

Começa com a geometria de apanha#

Classifica a tarefa antes de escolheres o software:

• Apanha 2D fixa: As peças encontram-se em planos conhecidos e o robô precisa de uma localização de imagem com orientação.
• Apanha em tapete transportador: Os objetos movem-se, pelo que a deteção, o rastreio, a temporização e a sincronização do codificador são importantes.
• Tabuleiro estruturado: Cavidades conhecidas limitam a posição, mas as variantes ou a orientação ainda precisam de verificação.
• Apanha em contentor aleatório: As peças sobrepõem-se a diferentes profundidades e exigem perceção 3D combinada com planeamento de agarre com deteção de colisões.
• Objetos flexíveis ou deformáveis: A forma muda entre apanhas, tornando a segmentação e a seleção de agarres mais difíceis.
• Inserção por montagem: A tolerância e o alinhamento final podem requerer sensores adicionais para além da localização grosseira de objetos.

Um sistema 2D pode ser a opção fiável mais simples para geometria restrita. Os contentores aleatórios normalmente precisam de profundidade ou de reconstrução multi-vista, uma vez que a posição da imagem por si só não fornece um alvo seguro para o robô.

As seis camadas de um robô guiado por visão#

1. Deteção#

Escolhe sensores de varrimento de área, varrimento de linha, estéreo, luz estruturada, tempo de voo ou outros com base nas evidências necessárias. Regista o campo de visão, a menor característica, a distância de trabalho, o intervalo de profundidade, as propriedades da superfície, o movimento e as restrições ambientais.

Peças refletoras, escuras, transparentes e sem textura podem desafiar a deteção de profundidade. Testa as peças reais, os contentores, os revestimentos e a iluminação. As demonstrações de fornecedores com objetos favoráveis não substituem um teste na célula.

2. Perceção#

A deteção localiza e classifica objetos; a segmentação fornece os contornos dos objetos; caixas delimitadoras orientadas estimam extensões rotacionadas; os modelos de pose podem identificar pontos-chave; o rastreio associa objetos ao longo do tempo. O Ultralytics YOLO suporta várias destas tarefas de visão computacional num único ecossistema de modelos.

A saída da perceção deve ser suficientemente estável para o planeador de agarres a jusante. Avalia o erro de localização, objetos em falta e duplicados, qualidade da máscara, erro de orientação e comportamento sob sobreposição: e não apenas uma pontuação para todo o conjunto de dados.

3. Calibração e coordenadas#

O sistema transforma as observações das coordenadas da câmara em coordenadas do robô ou da célula. A calibração mão-olho, a montagem da câmara, os efeitos de lente, o alinhamento de profundidade e a calibração do ponto central da ferramenta influenciam o erro de apanha.

Trata a calibração como um ativo de produção mantido. Regista o procedimento e os resíduos aceites, protege os suportes da câmara e define quando é que a manutenção ou as ferramentas acionam uma recalibração.

4. Planeamento de agarre#

A seleção de agarres considera superfícies alcançáveis, geometria da garra, estabilidade do objeto, risco de colisão, peças vizinhas e a pose de destino. Um modelo 2D pode fornecer a localização e a orientação do objeto à lógica de agarre baseada em regras. Uma solução 3D pode gerar candidatos a agarre ordenados a partir de nuvens de pontos.

A deteção com maior grau de confiança não é necessariamente a apanha mais segura. Mantém a confiança da perceção, a qualidade do agarre e a viabilidade da trajetória como sinais separados.

5. Movimento e integração de robôs#

Os adaptadores de robôs ou APIs passam os alvos para o controlador. O integrador deve gerir a temporização, os referenciais de coordenadas, a velocidade, as zonas, os modelos de colisão, o movimento do transportador e as confirmações. As funções de segurança pertencem à arquitetura de segurança validada do robô e da célula, e não a uma saída de modelo não verificada.

6. Recuperação#

Concebe estados de falha esperados: nenhum objeto válido, classe incerta, nenhum agarre seguro, peça caída, falha na recolha, contentor deslocado, fotograma desatualizado, câmara indisponível ou tentativa repetida. Uma célula que tem sucesso em apanhas fáceis mas requer reinicialização manual após cada exceção não será dimensionável.

Onde o Ultralytics se enquadra#

A Ultralytics Platform pode organizar e anotar dados de imagem, treinar modelos Ultralytics YOLO e gerir versões de modelos. Os modelos podem depois ser implementados através de endpoints da plataforma ou exportados para integração num tempo de execução robótico perto da célula.

Esta abordagem é útil quando a diferenciação reside em classes de objetos personalizadas, SKUs em alteração, condições visuais invulgares ou perceção específica da aplicação. Também permite que as equipas escolham a câmara circundante, a fonte de profundidade, o planeador de agarre e a framework de robôs.

Não substitui todos os componentes de um produto integrado de recolha em caixas 3D. Organizações sem experiência em perceção e integração robótica podem preferir um pacote suportado que inclua calibração, processamento 3D, lógica de agarre e adaptadores de robôs certificados.

Como avaliar fornecedores#

Usa as mesmas peças e condições de célula para cada teste. Inclui contentores cheios e quase vazios, sobreposição no pior caso, embalagens danificadas, misturas de variantes, superfícies refletoras, contaminação normal e alterações de iluminação esperadas.

Mede:

• Taxa de apanha válida por peça e estado do contentor.
• Distribuição do tempo de ciclo, incluindo perceção e recuperação.
• Confirmação de recolha na primeira tentativa.
• Eventos de classificação incorreta, alvo duplicado e risco de colisão.
• Intervenções manuais e tempo de reinicialização.
• Estabilidade da calibração após manutenção ou vibração.
• Tempo para adicionar um novo SKU e validar a atualização.
• Registos e evidências disponíveis para diagnóstico.

Pede a cada fornecedor para identificar quais as medições que provêm da câmara, do modelo, do planeador de agarres, do robô e de sensores externos. Isto torna a arquitetura e a responsabilidade visíveis.

Guia de decisão 2D versus 3D#

Escolhe 2D primeiro quando as peças permanecem num plano conhecido, a altura de agarre é fixa, a sobreposição é limitada e caraterísticas visuais claras determinam a classe e a orientação. É frequentemente mais fácil de iluminar, rotular, depurar e operar.

Escolhe 3D quando a altura varia, as pilhas criam uma sobreposição significativa, a geometria da superfície determina o agarre, a folga de colisão é apertada ou o robô tem de raciocinar sobre um volume cheio de tralha. Algumas células combinam perceção aprendida em 2D com profundidade registada para preservar a classificação personalizada enquanto obtêm coordenadas 3D.

Não decidas com base em modas de sensores. Usa a configuração de sensores de menor complexidade que passe nos testes de pior caso da célula.

Lista de verificação de implementação#

• Define os requisitos de objeto, pose, ciclo e recuperação.
• Captura peças reais em todo o intervalo do contentor e do ambiente.
• Seleciona a deteção com base na geometria e no comportamento da superfície.
• Valida a calibração e as transformações de coordenadas independentemente da precisão do modelo.
• Testa o planeador de agarres com a garra real e os objetos vizinhos.
• Separa as funções de segurança do robô da perceção aprendida.
• Regista as deteções, transformações, candidatos a agarre, respostas do controlador e resultados.
• Fornece recuperação humana para casos incertos ou esgotados.
• Testa por regressão cada novo modelo, SKU, garra, câmara e configuração de célula.