Yolo Vision Shenzhen
Shenzhen
Junte-se agora

Explorando como a visão computacional pode ser usada para a detecção do olhar

Descubra como as técnicas de Visão de IA, como detecção de objetos e estimativa de pose, podem ser usadas para rastreamento ocular e detecção de olhar em diversas aplicações.

A visão computacional é um ramo da inteligência artificial (IA) que se concentra em permitir que as máquinas analisem e interpretem dados visuais de uma forma semelhante à dos humanos. Uma aplicação particularmente fascinante da IA de visão é a deteção do olhar, que permite às máquinas track e compreender para onde uma pessoa está a olhar.

Como seres humanos, podemos naturalmente seguir o olhar de alguém e compreender em que é que se está a concentrar. Por exemplo, se estiver a falar com um amigo e ele olhar subitamente para a porta, pode instintivamente virar-se para ver o que lhe chamou a atenção. As máquinas, por outro lado, não têm esta capacidade inerente - precisam de ser treinadas utilizando técnicas de visão computacional para reconhecer os movimentos dos olhos e interpretar a direção do olhar. 

Com o mercado global de detecção de olhar com previsão de atingir US$ 11,9 bilhões até 2032, muitas indústrias estão adotando-o para diferentes aplicações. Por exemplo, a detecção de olhar em carros está sendo usada para melhorar a segurança do motorista, monitorando os níveis de atenção e detectando sinais de sonolência ou distração.

Neste artigo, exploraremos como a visão computacional é usada para rastreamento ocular e detecção de olhar. Também veremos algumas de suas principais aplicações em vários setores. Vamos começar!

O que é rastreamento ocular e detecção de olhar?

O seguimento dos olhos e a deteção do olhar são técnicas utilizadas para determinar o foco de atenção de uma pessoa através da análise dos movimentos oculares e da direção do olhar. Graças aos avanços na IA e na tecnologia de sensores, é agora possível track os olhos de uma pessoa em tempo real. 

Tradicionalmente, a maioria dos sistemas de rastreio ocular baseia-se em câmaras de infravermelhos (IR), que detect os movimentos da pupila iluminando os olhos com luz infravermelha próxima e captando os reflexos da córnea. Estes sistemas proporcionam uma elevada precisão. No entanto, requerem muitas vezes um arnês especializado, que pode ser desconfortável de usar e propenso a problemas de calibração.

Com o aumento da IA, os investigadores têm explorado ativamente os métodos de seguimento ocular baseados na visão por computador. Ao contrário dos sistemas tradicionais baseados em IR, estas abordagens baseiam-se em modelos de visão por computador como Ultralytics YOLO11 para detect caraterísticas faciais, como os olhos e as pupilas, bem como para efetuar a estimativa da pose da cabeça. Para além disso, modelos especializados de aprendizagem profunda, como o GazeNet da NVIDIA, foram concebidos especificamente para a estimativa do olhar. 

__wf_reserved_inherit
Fig. 1. Um exemplo de utilização do YOLO11 para detect o olho e a pupila de uma pessoa.

Embora ainda seja um campo em evolução, o rastreamento do olhar baseado em visão computacional tem o potencial de tornar o rastreamento ocular mais acessível, reduzindo custos e melhorando a usabilidade para aplicações em marketing, psicologia e neurociência.

A evolução da detecção de olhar e rastreamento ocular

Em seguida, vamos explorar a mudança de sistemas tradicionais baseados em infravermelho para soluções mais acessíveis e orientadas por software.

Você pode estar se perguntando se o rastreamento ocular e a detecção de olhar podem ser feitos sem IA - então, por que há pesquisas em andamento sobre a integração de IA e visão computacional nessas tecnologias? Embora existam métodos tradicionais de rastreamento ocular, eles geralmente dependem de câmeras infravermelhas especializadas e dispositivos de rastreamento ocular montados na cabeça, que podem ser caros, incômodos e exigir condições de iluminação controladas. As soluções orientadas por IA, no entanto, permitem o rastreamento ocular usando webcams padrão e câmeras de smartphones, reduzindo custos e melhorando a acessibilidade. 

__wf_reserved_inherit
Fig. 2. Um dispositivo de rastreamento ocular montado na cabeça.

Aqui estão alguns dos outros fatores por trás da evolução da tecnologia de rastreamento ocular e detecção de olhar:

  • Aplicações: As abordagens orientadas por software permitem que este espaço se expanda além da pesquisa para dispositivos de consumo e áreas como jogos.
  • Escalabilidade: A IA pode intervir para tornar as soluções de detecção de olhar disponíveis para um público mais amplo, desde usuários individuais até indústrias de grande escala.
  • Avanços na tecnologia de câmeras: Hoje, temos acesso a câmeras de smartphone e webcam de maior resolução que melhoram a precisão do rastreamento ocular - algo que não era viável há 20 anos.

Utilização do Ultralytics YOLO11 para deteção e seguimento do olhar

Agora que já discutimos o papel da visão por computador no seguimento dos olhos e na deteção do olhar, vamos ver como YOLO11 pode ser utilizado neste caso.

Ultralytics YOLO11 suporta tarefas como a deteção de objectos e a estimativa de pose. Pré-treinado no conjunto de dadosCOCO , atinge uma elevada precisão na deteção de vários objectos. Especificamente, para uma solução de deteção do olhar, YOLO11 pode desempenhar um papel de apoio. 

Embora não possa prever diretamente a direção do olhar, pode ser aperfeiçoado para detect rostos, olhos e pupilas, que são fundamentais para uma análise mais aprofundada. Uma vez identificadas estas caraterísticas, modelos adicionais podem processar dados de movimentos oculares para estimar a direção do olhar. 

Por exemplo, para melhorar a precisão, YOLO11 pode ser treinado à medida em conjuntos de dados como o WIDER FACE para deteção de rostos. Além disso, no que diz respeito às capacidades de estimativa de pose do YOLO11, este pode ajudar a track a orientação da cabeça, o que melhora a precisão da deteção do olhar.

__wf_reserved_inherit
Fig. 3. YOLO11 pode ser utilizado para detect rostos humanos.

Aplicações reais da deteção do olhar

A deteção do olhar, possibilitada pela visão computacional, tem uma vasta gama de aplicações em vários setores, desde a melhoria da segurança no setor automóvel até à análise do foco nos jogos. Vamos explorar como diferentes áreas estão a tirar partido desta tecnologia.

Rastreamento do olhar em jogos

O rastreamento ocular está sendo usado em jogos para fornecer insights em tempo real sobre o foco, a tomada de decisões e os tempos de reação dos jogadores. Ao rastrear os movimentos dos olhos, essa tecnologia ajuda os jogadores a refinar suas estratégias, aprimora os programas de treinamento e melhora o envolvimento do público, exibindo visualmente para onde os jogadores estão olhando durante os momentos cruciais.

Um exemplo interessante é a corrida simulada, um desporto automóvel virtual competitivo em que os jogadores correm utilizando simulações de condução realistas. O seguimento do olhar ajuda a analisar a forma como os condutores se concentram na track, reagem aos adversários e navegam em curvas apertadas. Ao seguir o seu olhar em tempo real, os instrutores podem identificar padrões, detetar distracções e melhorar as estratégias de corrida. 

__wf_reserved_inherit
Fig 4. O rastreamento ocular pode ser usado para monitorar e analisar pilotos de simulador de corrida. 

Além das corridas de simulação, o rastreamento ocular também está sendo usado em jogos competitivos de ritmo acelerado para analisar os reflexos, os tempos de reação dos jogadores e como eles se concentram nos principais elementos do jogo. Ao entender para onde um jogador olha antes de fazer um movimento, esses dados ajudam a refinar a tomada de decisões, melhorar a precisão e aprimorar o treinamento para jogos de alto nível.

Estimativa do olhar para investigação psicológica

Existem muitas aplicações de IA de Visão da estimativa do olhar relacionadas à pesquisa. Um bom exemplo disso é seu uso em psicologia para estudar a atenção, a carga cognitiva e o comportamento social. Ao analisar os movimentos oculares, os pesquisadores podem obter insights sobre a percepção, a tomada de decisões e condições de saúde mental, como autismo e TDAH. 

Especificamente, o rastreamento do olhar usando visão computacional ajuda a identificar padrões no movimento dos olhos, duração da fixação e atenção visual, o que pode revelar estados cognitivos e emocionais. Com o avanço do aprendizado profundo e da estimativa do olhar orientada por IA, esses métodos estão se tornando mais precisos e acessíveis, permitindo aplicações mais amplas na pesquisa neurológica.

Segurança automotiva

Ao longo dos anos, os pesquisadores têm usado diferentes métodos para estudar a atenção e o foco dos motoristas durante diferentes condições de tráfego. Entre esses métodos, o rastreamento ocular tem sido crucial e pode fornecer insights sobre para onde o motorista está olhando enquanto dirige. 

Com a ajuda de modelos de visão computacional, a detecção de olhar pode melhorar ainda mais essa análise, rastreando com precisão os movimentos oculares em tempo real. Essa análise pode nos dar uma melhor compreensão do comportamento do motorista, ajudando a identificar distrações, fadiga ou lapsos de atenção, o que pode melhorar a segurança rodoviária e auxiliar no desenvolvimento de sistemas avançados de assistência ao motorista.

__wf_reserved_inherit
Fig 5. Um exemplo de monitoramento de um motorista usando detecção facial e rastreamento do olhar.

Por exemplo, se um condutor desviar frequentemente o olhar da estrada para ver o telemóvel ou se for lento a reagir nos cruzamentos, o sistema pode detect estes comportamentos e emitir alertas para reorientar a sua atenção, potencialmente evitando acidentes.

Prós e contras do rastreamento ocular e detecção de olhar

Aqui estão alguns dos principais benefícios que as tecnologias de rastreamento ocular e detecção de olhar podem trazer para o nosso dia a dia:

  • Maior conscientização: O rastreamento ocular fornece insights sobre como as pessoas interagem visualmente com o ambiente, ajudando a entender melhor os padrões de atenção e foco.
  • Melhor tomada de decisão: Os dados coletados do rastreamento ocular ajudam pesquisadores e profissionais a tomar decisões informadas com base em padrões de atenção objetivos.
  • Ergonomia visual aprimorada: A análise do comportamento do olhar pode ajudar a projetar telas, espaços de trabalho e ambientes que reduzem o cansaço visual e melhoram o conforto.

Embora esses benefícios destaquem como a detecção do olhar pode impactar positivamente nossas vidas, também é importante considerar os desafios envolvidos em sua implementação. Aqui estão algumas das principais limitações a serem lembradas:

  • Preocupações com a privacidade: O rastreamento contínuo dos olhos pode levantar questões de privacidade, deixando os usuários desconfortáveis. Garantir a transparência, o consentimento do usuário e o processamento de dados local pode ajudar a mitigar essas preocupações.
  • Alta demanda computacional: O rastreamento do olhar em tempo real pode exigir hardware poderoso, limitando a acessibilidade em dispositivos de baixa potência. No entanto, modelos otimizados estão ajudando a melhorar a eficiência.
  • Limitações de precisão: O rastreamento do olhar pode ser menos confiável em ambientes reais devido a mudanças de iluminação, movimentos da cabeça ou obstáculos como óculos e cabelo. Os ângulos da câmera também podem afetar o desempenho.

De olho no futuro

O seguimento dos olhos e a deteção do olhar, apoiados por modelos de visão por computador como o YOLO11, estão a mudar a forma como interagimos com o mundo. Desde tornar as estradas mais seguras até à compreensão do comportamento humano, esta tecnologia está a tornar-se cada vez mais útil na vida quotidiana.

Embora existam desafios como preocupações com a privacidade e a necessidade de computadores poderosos, os avanços em IA e visão computacional estão tornando o rastreamento ocular mais preciso e fácil de usar. À medida que continua a melhorar, provavelmente desempenhará um papel maior em uma variedade de setores.

Para saber mais, visite nosso repositório GitHub e interaja com nossa comunidade. Explore as inovações em setores como IA em carros autônomos e visão computacional na agricultura em nossas páginas de soluções. Confira nossas opções de licenciamento e dê vida aos seus projetos de Visão de IA. 🚀

Vamos construir o futuro
da IA juntos!

Comece sua jornada com o futuro do aprendizado de máquina

Comece gratuitamente