Explorando como a visão computacional pode ser usada para detecção de olhar

A visão computacional é um ramo da inteligência artificial (IA) que foca em permitir que máquinas analisem e interpretem dados visuais de forma semelhante aos humanos. Uma aplicação particularmente fascinante da IA de visão é a detecção de olhar, que torna possível para as máquinas rastrear e entender para onde uma pessoa está olhando.

Como humanos, conseguimos seguir naturalmente o olhar de alguém e entender em que a pessoa está focada. Por exemplo, se estiveres a conversar com um amigo e ele olhar subitamente para a porta, podes instintivamente virar-te para ver o que chamou a atenção dele. As máquinas, por outro lado, não possuem esta capacidade inata - precisam de ser treinadas usando técnicas de visão computacional para reconhecer movimentos oculares e interpretar a direção do olhar.

Com o mercado global de detecção de olhar esperado para atingir 11,9 mil milhões de dólares até 2032, muitas indústrias estão a adotá-lo para diferentes aplicações. Por exemplo, a detecção de olhar em carros está a ser usada para melhorar a segurança do condutor ao monitorizar níveis de atenção e detectar sinais de sonolência ou distração.

Neste artigo, vamos explorar como a visão computacional é usada para rastreio ocular e detecção de olhar. Também veremos algumas das suas principais aplicações em várias indústrias. Vamos começar!

Link to this sectionO que é rastreio ocular e detecção de olhar?#

Rastreio ocular e detecção de olhar são técnicas usadas para determinar o foco de atenção de uma pessoa ao analisar movimentos oculares e a direção do olhar. Graças aos avanços na IA e na tecnologia de sensores, é agora possível rastrear os olhos de uma pessoa em tempo real.

Tradicionalmente, a maioria dos sistemas de rastreio ocular baseia-se em câmaras de infravermelhos (IR), que detectam movimentos das pupilas ao iluminar os olhos com luz infravermelha próxima e capturar reflexos da córnea. Estes sistemas proporcionam alta precisão. No entanto, muitas vezes exigem equipamentos de cabeça especializados, que podem ser desconfortáveis de usar e propensos a problemas de calibração.

Com a ascensão da IA, investigadores têm explorado ativamente métodos de rastreio ocular baseados em visão computacional. Ao contrário dos sistemas tradicionais baseados em IR, estas abordagens dependem de modelos de visão computacional como o Ultralytics YOLO11 para detectar características faciais como olhos e pupilas, bem como realizar a estimativa da pose da cabeça. Além disso, modelos especializados de deep learning como o GazeNet da NVIDIA são projetados especificamente para a estimativa de olhar.

Fig 1. Um exemplo de uso do YOLO11 para detectar o olho e a pupila de uma pessoa.

Embora ainda seja um campo em evolução, o rastreio de olhar baseado em visão computacional tem o potencial de tornar o rastreio ocular mais acessível, reduzindo custos e melhorando a usabilidade para aplicações em marketing, psicologia e neurociência.

Link to this sectionA evolução da detecção de olhar e do rastreio ocular#

A seguir, vamos explorar a mudança de sistemas tradicionais baseados em infravermelhos para soluções mais acessíveis orientadas por software.

Podes estar a perguntar-te se o rastreio ocular e a detecção de olhar podem ser feitos sem IA - então por que há pesquisa contínua sobre a integração de IA e visão computacional nestas tecnologias? Embora existam métodos tradicionais de rastreio ocular, estes frequentemente dependem de câmaras infravermelhas especializadas e dispositivos de rastreio ocular montados na cabeça, que podem ser caros, complicados e exigir condições de iluminação controladas. As soluções orientadas por IA, contudo, permitem o rastreio ocular usando webcams padrão e câmaras de smartphone, reduzindo custos e melhorando a acessibilidade.

Fig 2. Um dispositivo de rastreio ocular montado na cabeça.

Aqui estão alguns dos outros fatores por trás da evolução da tecnologia de rastreio ocular e detecção de olhar:

• Aplicações: Abordagens orientadas por software permitem que este espaço se expanda além da pesquisa para dispositivos de consumo e áreas como jogos.
• Escalabilidade: A IA pode intervir para tornar as soluções de detecção de olhar disponíveis para um público mais vasto, desde utilizadores individuais até indústrias de larga escala.
• Avanços na tecnologia de câmaras: Hoje, temos acesso a câmaras de smartphone e webcam de maior resolução que melhoram a precisão do rastreio ocular - algo que não era viável há 20 anos.

Link to this sectionUsando o Ultralytics YOLO11 para detecção de olhar e rastreio ocular#

Agora que discutimos o papel da visão computacional no rastreio ocular e detecção de olhar, vamos percorrer como o YOLO11 pode ser usado aqui.

O Ultralytics YOLO11 suporta tarefas como detecção de objetos e estimativa de pose. Pré-treinado no conjunto de dados COCO, alcança alta precisão na detecção de vários objetos. Especificamente, para uma solução de detecção de olhar, o YOLO11 pode desempenhar um papel de suporte.

Embora não consiga prever diretamente a direção do olhar, pode ser ajustado para detectar rostos, olhos e pupilas, que são fundamentais para análises posteriores. Uma vez identificadas estas características, modelos adicionais podem processar dados de movimento ocular para estimar a direção do olhar.

Por exemplo, para melhorar a precisão, o YOLO11 pode ser treinado de forma personalizada em conjuntos de dados como o WIDER FACE para detecção de rostos. Além disso, no que diz respeito às capacidades de estimativa de pose do YOLO11, pode ajudar a rastrear a orientação da cabeça, o que aumenta a precisão da detecção de olhar.

Fig 3. O YOLO11 pode ser usado para detectar rostos humanos.

Link to this sectionAplicações do mundo real da detecção de olhar#

A detecção de olhar, ativada pela visão computacional, tem uma ampla gama de aplicações em várias indústrias, desde a melhoria da segurança no setor automóvel até à análise de foco nos jogos. Vamos explorar como diferentes campos estão a aproveitar esta tecnologia.

Link to this sectionRastreio de olhar em jogos#

O rastreio ocular está a ser usado em jogos para fornecer insights em tempo real sobre o foco do jogador, tomada de decisão e tempos de reação. Ao rastrear movimentos oculares, esta tecnologia ajuda os jogadores a refinar as suas estratégias, melhora programas de treino e aumenta o envolvimento do público ao exibir visualmente onde os jogadores estão a olhar durante momentos-chave.

Um exemplo interessante disto é o sim racing, um desporto motorizado virtual competitivo onde os jogadores competem usando simulações de condução realistas. O rastreio ocular ajuda a analisar como os condutores se focam na pista, reagem aos oponentes e navegam em curvas fechadas. Ao rastrear o seu olhar em tempo real, os treinadores podem identificar padrões, detectar distrações e melhorar estratégias de corrida.

Fig 4. O rastreio ocular pode ser usado para monitorizar e analisar sim racers.

Para além do sim racing, o rastreio ocular também está a ser usado em jogos competitivos de ritmo acelerado para analisar reflexos dos jogadores, tempos de reação e como eles se focam em elementos-chave dentro do jogo. Ao entender para onde um jogador olha antes de fazer um movimento, estes dados ajudam a refinar a tomada de decisão, melhorar a precisão e melhorar o treino para jogabilidade de alto nível.

Link to this sectionEstimativa de olhar para pesquisa psicológica#

Existem muitas aplicações de IA de visão para estimativa de olhar relacionadas com a pesquisa. Um bom exemplo disto é o seu uso na psicologia para estudar atenção, carga cognitiva e comportamento social. Ao analisar movimentos oculares, os investigadores podem obter insights sobre perceção, tomada de decisão e condições de saúde mental como autismo e PHDA.

Especificamente, o rastreio de olhar usando visão computacional ajuda a identificar padrões no movimento ocular, duração da fixação e atenção visual, que podem revelar estados cognitivos e emocionais. Com o avanço do deep learning e da estimativa de olhar orientada por IA, estes métodos estão a tornar-se mais precisos e acessíveis, permitindo aplicações mais amplas na pesquisa neurológica.

Link to this sectionSegurança automóvel#

Ao longo dos anos, os investigadores usaram diferentes métodos para estudar a atenção e o foco dos condutores durante diferentes condições de tráfego. Entre estes métodos, o rastreio ocular tem sido crucial e pode fornecer insights sobre onde o condutor está a olhar enquanto conduz.

Com a ajuda de modelos de visão computacional, a detecção de olhar pode melhorar ainda mais esta análise ao rastrear com precisão movimentos oculares em tempo real. Esta análise pode dar-nos uma melhor compreensão do comportamento do condutor, ajudando a identificar distrações, fadiga ou lapsos de atenção, o que pode melhorar a segurança rodoviária e ajudar no desenvolvimento de sistemas avançados de assistência ao condutor.

Fig 5. Um exemplo de monitorização de um condutor usando detecção de rosto e rastreio de olhar.

Por exemplo, se um condutor olha frequentemente para longe da estrada para verificar o seu telemóvel ou demora a reagir em cruzamentos, o sistema pode detectar estes comportamentos e emitir alertas para que foquem novamente a sua atenção, potencialmente prevenindo acidentes.

Link to this sectionPrós e contras do rastreio ocular e detecção de olhar#

Aqui estão alguns dos principais benefícios que as tecnologias de rastreio ocular e detecção de olhar podem trazer para o nosso dia a dia:

• Maior consciencialização: O rastreio ocular fornece insights sobre como as pessoas interagem visualmente com o que as rodeia, ajudando a entender melhor os padrões de atenção e foco.
• Melhor tomada de decisão: Os dados recolhidos a partir do rastreio ocular ajudam investigadores e profissionais a tomar decisões informadas baseadas em padrões de atenção objetivos.
• Melhor ergonomia visual: Analisar o comportamento do olhar pode ajudar a projetar ecrãs, espaços de trabalho e ambientes que reduzem o cansaço ocular e melhoram o conforto.

Embora estes benefícios destaquem como a detecção de olhar pode impactar positivamente as nossas vidas, também é importante considerar os desafios envolvidos na sua implementação. Aqui estão algumas das principais limitações a ter em conta:

• Preocupações com a privacidade: O rastreio ocular contínuo pode levantar problemas de privacidade, deixando os utilizadores desconfortáveis. Garantir transparência, consentimento do utilizador e processamento local de dados pode ajudar a mitigar estas preocupações.

• Alta demanda computacional: O rastreio de olhar em tempo real pode exigir hardware poderoso, limitando a acessibilidade em dispositivos de baixo consumo. No entanto, modelos otimizados estão a ajudar a melhorar a eficiência.

• Limitações de precisão: O rastreio de olhar pode ser menos fiável em ambientes do mundo real devido a mudanças de iluminação, movimentos da cabeça ou obstáculos como óculos e cabelo. Ângulos de câmara também podem afetar o desempenho.

Link to this sectionMantendo os olhos no futuro#

O rastreio ocular e a detecção de olhar, apoiados por modelos de visão computacional como o YOLO11, estão a mudar a forma como interagimos com o mundo. Desde tornar as estradas mais seguras até entender o comportamento humano, esta tecnologia está a tornar-se cada vez mais útil na vida quotidiana.

Embora existam desafios como preocupações de privacidade e a necessidade de computadores potentes, os avanços na IA e na visão computacional estão a tornar o rastreio ocular mais preciso e fácil de usar. À medida que continua a melhorar, provavelmente desempenhará um papel maior numa série de indústrias.

Para saber mais, visita o nosso repositório no GitHub e interage com a nossa comunidade. Explora inovações em setores como IA em carros autónomos e visão computacional na agricultura nas nossas páginas de soluções. Confere as nossas opções de licenciamento e dá vida aos teus projetos de IA de visão. 🚀