Explorando como a visão computacional pode ser usada para detecção de olhar

Computer vision é um ramo da inteligência artificial (AI) que se concentra em permitir que as máquinas analisem e interpretem dados visuais de maneira semelhante aos humanos. Uma aplicação particularmente fascinante da visão AI é a deteção do olhar, que torna possível às máquinas rastrear e entender para onde uma pessoa está a olhar.

Como humanos, conseguimos seguir naturalmente o olhar de alguém e entender em que a pessoa está focada. Por exemplo, se estiveres a conversar com um amigo e ele olhar subitamente para a porta, podes instintivamente virar-te para ver o que chamou a atenção dele. As máquinas, por outro lado, não possuem esta capacidade inata - precisam de ser treinadas usando técnicas de visão computacional para reconhecer movimentos oculares e interpretar a direção do olhar.

Com o mercado de deteção do olhar global previsto para atingir 11,9 mil milhões de dólares até 2032, muitas indústrias estão a adotá-lo para diferentes aplicações. Por exemplo, a deteção do olhar em carros está a ser usada para melhorar a segurança do condutor, monitorizando os níveis de atenção e detetando sinais de sonolência ou distração.

Neste artigo, vamos explorar como a visão computacional é usada para rastreio ocular e detecção de olhar. Também veremos algumas das suas principais aplicações em várias indústrias. Vamos começar!

O que é rastreio ocular e detecção de olhar?#

Rastreio ocular e detecção de olhar são técnicas usadas para determinar o foco de atenção de uma pessoa ao analisar movimentos oculares e a direção do olhar. Graças aos avanços na IA e na tecnologia de sensores, é agora possível rastrear os olhos de uma pessoa em tempo real.

Tradicionalmente, a maioria dos sistemas de rastreio ocular baseia-se em câmaras de infravermelhos (IR), que detectam movimentos das pupilas ao iluminar os olhos com luz infravermelha próxima e capturar reflexos da córnea. Estes sistemas proporcionam alta precisão. No entanto, muitas vezes exigem equipamentos de cabeça especializados, que podem ser desconfortáveis de usar e propensos a problemas de calibração.

Com o crescimento da AI, os investigadores têm explorado ativamente métodos de rastreio ocular baseados em computer vision. Ao contrário dos sistemas tradicionais baseados em IR, estas abordagens dependem de computer vision models como o Ultralytics YOLO11 para detetar características faciais como olhos e pupilas, bem como realizar a estimativa da pose da cabeça. Além disso, modelos de deep learning especializados como o GazeNet da NVIDIA são desenhados especificamente para a estimativa do olhar.

Fig 1. Um exemplo de uso do Ultralytics YOLO11 para detetar o olho e a pupila de uma pessoa.

Embora ainda seja um campo em evolução, o rastreio de olhar baseado em visão computacional tem o potencial de tornar o rastreio ocular mais acessível, reduzindo custos e melhorando a usabilidade para aplicações em marketing, psicologia e neurociência.

A evolução da detecção de olhar e do rastreio ocular#

A seguir, vamos explorar a mudança de sistemas tradicionais baseados em infravermelhos para soluções mais acessíveis orientadas por software.

Podes estar a perguntar-te se o rastreio ocular e a detecção de olhar podem ser feitos sem IA - então por que há pesquisa contínua sobre a integração de IA e visão computacional nestas tecnologias? Embora existam métodos tradicionais de rastreio ocular, estes frequentemente dependem de câmaras infravermelhas especializadas e dispositivos de rastreio ocular montados na cabeça, que podem ser caros, complicados e exigir condições de iluminação controladas. As soluções orientadas por IA, contudo, permitem o rastreio ocular usando webcams padrão e câmaras de smartphone, reduzindo custos e melhorando a acessibilidade.

Fig 2. Um dispositivo de rastreio ocular montado na cabeça.

Aqui estão alguns dos outros fatores por trás da evolução da tecnologia de rastreio ocular e detecção de olhar:

• Aplicações: Abordagens orientadas por software permitem que este espaço se expanda além da pesquisa para dispositivos de consumo e áreas como jogos.
• Escalabilidade: A IA pode intervir para tornar as soluções de detecção de olhar disponíveis para um público mais vasto, desde utilizadores individuais até indústrias de larga escala.
• Avanços na tecnologia de câmaras: Hoje, temos acesso a câmaras de smartphone e webcam de maior resolução que melhoram a precisão do rastreio ocular - algo que não era viável há 20 anos.

Usando o Ultralytics YOLO11 para detecção de olhar e rastreio ocular#

Agora que já discutimos o papel da visão computacional no rastreio ocular e na deteção de olhar, vamos ver como o Ultralytics YOLO11 pode ser usado aqui.

O Ultralytics YOLO11 suporta tarefas como deteção de objetos e estimativa de pose. Pré-treinado no COCO dataset, alcança alta precisão na deteção de vários objetos. Especificamente para uma solução de deteção do olhar, o YOLO11 pode desempenhar um papel de apoio.

Embora não consiga prever diretamente a direção do olhar, pode ser ajustado para detectar rostos, olhos e pupilas, que são fundamentais para análises posteriores. Uma vez identificadas estas características, modelos adicionais podem processar dados de movimento ocular para estimar a direção do olhar.

Por exemplo, para melhorar a precisão, o Ultralytics YOLO11 pode ser treinado de forma personalizada em datasets como o WIDER FACE para detecção de rostos. Além disso, no que diz respeito às capacidades de estimativa de pose do YOLO11, ele pode ajudar a rastrear a orientação da cabeça, o que aumenta a precisão da detecção do olhar.

Fig 3. O YOLO11 pode ser usado para detetar rostos humanos.

Aplicações do mundo real da detecção de olhar#

A detecção de olhar, ativada pela visão computacional, tem uma ampla gama de aplicações em várias indústrias, desde a melhoria da segurança no setor automóvel até à análise de foco nos jogos. Vamos explorar como diferentes campos estão a aproveitar esta tecnologia.

Rastreio de olhar em jogos#

O rastreio ocular está a ser usado em gaming para fornecer insights em tempo real sobre o foco, a tomada de decisões e os tempos de reação dos jogadores. Ao rastrear os movimentos oculares, esta tecnologia ajuda os jogadores a refinar as suas estratégias, melhora os programas de treino e aumenta o envolvimento do público, mostrando visualmente para onde os jogadores estão a olhar durante momentos-chave.

Um exemplo interessante disto é o sim racing, um desporto motorizado virtual competitivo onde os jogadores competem usando simulações de condução realistas. O rastreio ocular ajuda a analisar como os condutores se focam na pista, reagem aos oponentes e navegam em curvas fechadas. Ao rastrear o seu olhar em tempo real, os treinadores podem identificar padrões, detectar distrações e melhorar estratégias de corrida.

Fig 4. O rastreio ocular pode ser usado para monitorizar e analisar pilotos de simulação.

Para além do sim racing, o rastreio ocular também está a ser usado em jogos competitivos de ritmo acelerado para analisar reflexos dos jogadores, tempos de reação e como eles se focam em elementos-chave dentro do jogo. Ao entender para onde um jogador olha antes de fazer um movimento, estes dados ajudam a refinar a tomada de decisão, melhorar a precisão e melhorar o treino para jogabilidade de alto nível.

Estimativa de olhar para pesquisa psicológica#

Existem muitas aplicações de IA de visão para estimativa de olhar relacionadas com a pesquisa. Um bom exemplo disto é o seu uso na psicologia para estudar atenção, carga cognitiva e comportamento social. Ao analisar movimentos oculares, os investigadores podem obter insights sobre perceção, tomada de decisão e condições de saúde mental como autismo e PHDA.

Especificamente, o rastreio de olhar usando visão computacional ajuda a identificar padrões no movimento ocular, duração da fixação e atenção visual, que podem revelar estados cognitivos e emocionais. Com o avanço do deep learning e da estimativa de olhar orientada por IA, estes métodos estão a tornar-se mais precisos e acessíveis, permitindo aplicações mais amplas na pesquisa neurológica.

Segurança automóvel#

Ao longo dos anos, os investigadores usaram diferentes métodos para estudar a atenção e o foco dos condutores durante diferentes traffic conditions. Entre estes métodos, o rastreio ocular tem sido crucial e pode fornecer insights sobre para onde o condutor está a olhar enquanto conduz.

Com a ajuda de modelos de visão computacional, a detecção de olhar pode melhorar ainda mais esta análise ao rastrear com precisão movimentos oculares em tempo real. Esta análise pode dar-nos uma melhor compreensão do comportamento do condutor, ajudando a identificar distrações, fadiga ou lapsos de atenção, o que pode melhorar a segurança rodoviária e ajudar no desenvolvimento de sistemas avançados de assistência ao condutor.

Fig 5. Um exemplo de monitorização de um condutor usando a deteção de rostos e o rastreio do olhar.

Por exemplo, se um condutor olha frequentemente para longe da estrada para verificar o seu telemóvel ou demora a reagir em cruzamentos, o sistema pode detectar estes comportamentos e emitir alertas para que foquem novamente a sua atenção, potencialmente prevenindo acidentes.

Prós e contras do rastreio ocular e detecção de olhar#

Aqui estão alguns dos principais benefícios que as tecnologias de rastreio ocular e detecção de olhar podem trazer para o nosso dia a dia:

• Maior consciencialização: O rastreio ocular fornece insights sobre como as pessoas interagem visualmente com o que as rodeia, ajudando a entender melhor os padrões de atenção e foco.
• Melhor tomada de decisão: Os dados recolhidos a partir do rastreio ocular ajudam investigadores e profissionais a tomar decisões informadas baseadas em padrões de atenção objetivos.
• Melhor ergonomia visual: Analisar o comportamento do olhar pode ajudar a projetar ecrãs, espaços de trabalho e ambientes que reduzem o cansaço ocular e melhoram o conforto.

Embora estes benefícios destaquem como a detecção de olhar pode impactar positivamente as nossas vidas, também é importante considerar os desafios envolvidos na sua implementação. Aqui estão algumas das principais limitações a ter em conta:

• Privacy concerns: O rastreio ocular contínuo pode levantar questões de privacidade, deixando os utilizadores desconfortáveis. Garantir a transparência, o consentimento do utilizador e o processamento local de dados pode ajudar a mitigar estas preocupações.

• Alta demanda computacional: O rastreio de olhar em tempo real pode exigir hardware poderoso, limitando a acessibilidade em dispositivos de baixo consumo. No entanto, modelos otimizados estão a ajudar a melhorar a eficiência.

• Limitações de precisão: O rastreio de olhar pode ser menos fiável em ambientes do mundo real devido a mudanças de iluminação, movimentos da cabeça ou obstáculos como óculos e cabelo. Ângulos de câmara também podem afetar o desempenho.

Mantendo os olhos no futuro#

O rastreio ocular e a deteção de olhar, suportados por modelos de visão computacional como o Ultralytics YOLO11, estão a mudar a forma como interagimos com o mundo. Desde tornar as estradas mais seguras até compreender o comportamento humano, esta tecnologia está a tornar-se cada vez mais útil no dia a dia.

Embora existam desafios como preocupações de privacidade e a necessidade de computadores potentes, os avanços na IA e na visão computacional estão a tornar o rastreio ocular mais preciso e fácil de usar. À medida que continua a melhorar, provavelmente desempenhará um papel maior numa série de indústrias.

Para saberes mais, visita o nosso GitHub repository e interage com our community. Explora inovações em setores como AI in self-driving cars e computer vision in agriculture nas nossas páginas de soluções. Vê our licensing options e dá vida aos teus projetos de vision AI. 🚀