Explorar como a visão computacional pode ser utilizada para detetar o olhar

A visão computacional é um ramo da inteligência artificial (AI) que se concentra em permitir que máquinas analisem e interpretem dados visuais de maneira semelhante às pessoas. Uma aplicação interessante da IA de visão é a detecção do olhar, que permite às máquinas acompanhar e entender para onde uma pessoa está olhando.

Como humanos, conseguimos acompanhar naturalmente o olhar de alguém e perceber em que essa pessoa está concentrada. Por exemplo, se estiveres a conversar com um amigo e ele olhar de repente para a porta, podes virar-te instintivamente para ver o que lhe chamou a atenção. As máquinas, por outro lado, não têm esta capacidade inata: têm de ser treinadas com técnicas de visão por computador para reconhecer movimentos oculares e interpretar a direção do olhar.

Com a expectativa de que o mercado de detecção do olhar alcance US$ 11,9 bilhões até 2032, vários setores estão adotando essa tecnologia para diferentes aplicações. Por exemplo, a detecção do olhar em carros está sendo usada para melhorar a segurança ao volante, monitorando os níveis de atenção e detectando sinais de sonolência ou distração.

Neste artigo, vamos explorar como a visão computacional é usada para rastrear os olhos e detectar o olhar. Também vamos conhecer algumas de suas principais aplicações em diversos setores.

O que são o rastreamento ocular e a deteção do olhar?#

O rastreamento ocular e a deteção do olhar são técnicas utilizadas para determinar o foco de atenção de uma pessoa através da análise dos movimentos oculares e da direção do olhar. Graças aos avanços em IA e na tecnologia de sensores, agora é possível acompanhar os olhos de uma pessoa em tempo real.

Tradicionalmente, a maioria dos sistemas de rastreamento ocular depende de câmaras de infravermelhos (IR), que detetam os movimentos das pupilas iluminando os olhos com luz infravermelha próxima e captando os reflexos da córnea. Estes sistemas oferecem elevada precisão. No entanto, muitas vezes exigem equipamento especializado para a cabeça, que pode ser desconfortável de usar e estar sujeito a problemas de calibração.

Com o crescimento da IA, os investigadores têm explorado ativamente métodos de rastreamento ocular baseados em visão por computador. Ao contrário dos sistemas tradicionais baseados em IR, estas abordagens dependem de modelos de visão por computador, como o Ultralytics YOLO11, para detetar características faciais como olhos e pupilas, bem como estimar a pose da cabeça. Além disso, modelos especializados de aprendizagem profunda, como o GazeNet da NVIDIA, foram concebidos especificamente para estimar o olhar.

Fig. 1. Exemplo da utilização do Ultralytics YOLO11 para detetar o olho e a pupila de uma pessoa.

Embora ainda seja um campo em evolução, o rastreamento do olhar baseado em visão por computador tem potencial para tornar o rastreamento ocular mais acessível, reduzindo custos e melhorando a usabilidade em aplicações de marketing, psicologia e neurociência.

A evolução da deteção do olhar e do rastreamento ocular#

A seguir, vamos explorar a transição dos sistemas tradicionais baseados em infravermelhos para soluções de software mais acessíveis.

Podes estar a perguntar-te se é possível fazer rastreamento ocular e deteção do olhar sem IA — então, por que razão continua a haver investigação sobre a integração de IA e visão por computador nestas tecnologias? Embora existam métodos tradicionais de rastreamento ocular, estes dependem frequentemente de câmaras de infravermelhos especializadas e dispositivos de rastreamento ocular montados na cabeça, que podem ser caros, incómodos e exigir condições de iluminação controladas. As soluções baseadas em IA, no entanto, permitem o rastreamento ocular através de câmaras Web convencionais e câmaras de smartphones, reduzindo custos e melhorando a acessibilidade.

Fig. 2. Um dispositivo de rastreamento ocular montado na cabeça.

Eis alguns outros fatores que impulsionam a evolução da tecnologia de rastreamento ocular e deteção do olhar:

• Aplicações: As abordagens baseadas em software permitem que esta área se expanda para além da investigação, chegando a dispositivos de consumo e a áreas como os videojogos.
• Escalabilidade: A IA pode ajudar a disponibilizar soluções de deteção do olhar a um público mais vasto, desde utilizadores individuais até indústrias de grande escala.
• Avanços na tecnologia das câmaras: Atualmente, temos acesso a câmaras de smartphones e câmaras Web com maior resolução, que melhoram a precisão do rastreamento ocular — algo que não era viável há 20 anos.

Utilizar o Ultralytics YOLO11 para a deteção do olhar e o rastreamento ocular#

Agora que abordámos o papel da visão por computador no rastreamento ocular e na deteção do olhar, vamos ver como o Ultralytics YOLO11 pode ser utilizado neste contexto.

O Ultralytics YOLO11 suporta tarefas como a deteção de objetos e a estimativa de pose. Pré-treinado no conjunto de dados COCO, alcança elevada precisão na deteção de vários objetos. Mais especificamente, numa solução de deteção do olhar, o YOLO11 pode desempenhar um papel complementar.

Embora não consiga prever diretamente a direção do olhar, pode ser ajustado para detetar rostos, olhos e pupilas, elementos essenciais para análises posteriores. Depois de identificar estas características, modelos adicionais podem processar dados dos movimentos oculares para estimar a direção do olhar.

Por exemplo, para melhorar a precisão, o Ultralytics YOLO11 pode ser treinado sob medida com conjuntos de dados como o WIDER FACE para detecção de rostos. Além disso, os recursos de estimativa de pose do YOLO11 podem ajudar a rastrear a orientação da cabeça, aumentando a precisão da detecção do olhar.

Fig. 3. O YOLO11 pode ser utilizado para detetar rostos humanos.

Aplicações da deteção do olhar no mundo real#

A deteção do olhar, possibilitada pela visão por computador, tem uma vasta gama de aplicações em vários setores, desde melhorar a segurança no setor automóvel até analisar a concentração nos videojogos. Vamos explorar como diferentes áreas estão a tirar partido desta tecnologia.

Rastreamento do olhar nos videojogos#

O rastreamento ocular é utilizado nos videojogos para fornecer informações em tempo real sobre a concentração, a tomada de decisões e os tempos de reação dos jogadores. Ao acompanhar os movimentos oculares, esta tecnologia ajuda os jogadores a aperfeiçoar as suas estratégias, melhora os programas de treino e aumenta o envolvimento do público ao mostrar visualmente para onde os jogadores estão a olhar em momentos decisivos.

Um exemplo interessante é o sim racing, uma modalidade virtual de desporto motorizado competitivo em que os jogadores competem com simuladores de condução realistas. O rastreamento ocular ajuda a analisar como os condutores se concentram na pista, reagem aos adversários e fazem curvas apertadas. Ao acompanhar o olhar em tempo real, os treinadores podem identificar padrões, detetar distrações e melhorar as estratégias de corrida.

Fig. 4. O rastreamento ocular pode ser utilizado para monitorizar e analisar pilotos de sim racing.

Além do sim racing, o rastreamento ocular também é utilizado em jogos competitivos de ritmo acelerado para analisar os reflexos e os tempos de reação dos jogadores, bem como a forma como se concentram em elementos importantes do jogo. Ao compreender para onde um jogador olha antes de fazer uma jogada, estes dados ajudam a aperfeiçoar a tomada de decisões, melhorar a precisão e reforçar o treino para jogos de alto nível.

Estimativa do olhar para investigação psicológica#

Existem muitas aplicações de IA visual relacionadas com a investigação que utilizam a estimativa do olhar. Um bom exemplo é a sua utilização em psicologia para estudar a atenção, a carga cognitiva e o comportamento social. Ao analisar os movimentos oculares, os investigadores podem obter informações sobre a perceção, a tomada de decisões e condições de saúde mental como o autismo e a PHDA.

Mais especificamente, o rastreamento do olhar com visão por computador ajuda a identificar padrões nos movimentos oculares, na duração das fixações e na atenção visual, que podem revelar estados cognitivos e emocionais. Com os avanços na aprendizagem profunda e na estimativa do olhar baseada em IA, estes métodos estão a tornar-se mais precisos e acessíveis, permitindo aplicações mais amplas na investigação neurológica.

Segurança automóvel#

Ao longo dos anos, pesquisadores usaram diferentes métodos para estudar a atenção e o foco dos motoristas em diversas condições de trânsito. Entre esses métodos, o rastreamento ocular tem sido fundamental e pode revelar para onde o motorista está olhando enquanto dirige.

Com a ajuda de modelos de visão computacional, a detecção do olhar pode aprimorar ainda mais essa análise, rastreando com precisão os movimentos dos olhos em tempo real. Essa análise pode nos ajudar a entender melhor o comportamento do motorista e identificar distrações, fadiga ou lapsos de atenção, contribuindo para a segurança nas estradas e para o desenvolvimento de sistemas avançados de assistência ao motorista.

Fig. 5. Exemplo de monitorização de um condutor através da deteção facial e do rastreamento do olhar.

Por exemplo, se um condutor desviar frequentemente o olhar da estrada para consultar o telemóvel ou reagir lentamente em cruzamentos, o sistema pode detetar estes comportamentos e emitir alertas para que volte a concentrar-se, evitando potencialmente acidentes.

Vantagens e desvantagens do rastreamento ocular e da deteção do olhar#

Eis algumas das principais vantagens que as tecnologias de rastreamento ocular e deteção do olhar podem trazer ao nosso dia a dia:

• Maior perceção: O rastreamento ocular fornece informações sobre a forma como as pessoas interagem visualmente com o ambiente, ajudando a compreender melhor os padrões de atenção e concentração.
• Melhor tomada de decisões: Os dados recolhidos através do rastreamento ocular ajudam investigadores e profissionais a tomar decisões informadas com base em padrões objetivos de atenção.
• Melhor ergonomia visual: Analisar o comportamento do olhar pode ajudar a conceber ecrãs, espaços de trabalho e ambientes que reduzam a fadiga ocular e melhorem o conforto.

Embora estas vantagens realcem o impacto positivo que a deteção do olhar pode ter nas nossas vidas, também é importante considerar os desafios da sua implementação. Eis algumas das principais limitações a ter em conta:

• Questões de privacidade: O rastreamento ocular contínuo pode suscitar problemas de privacidade e deixar os utilizadores desconfortáveis. Garantir a transparência, o consentimento dos utilizadores e o processamento local dos dados pode ajudar a atenuar estas preocupações.
• Elevada exigência computacional: O rastreamento do olhar em tempo real pode exigir hardware potente, limitando a acessibilidade em dispositivos de baixo consumo. No entanto, os modelos otimizados estão a ajudar a melhorar a eficiência.
• Limitações de precisão: O rastreamento do olhar pode ser menos fiável em situações reais devido a alterações de iluminação, movimentos da cabeça ou obstáculos como óculos e cabelo. Os ângulos da câmara também podem afetar o desempenho.

De olhos postos no futuro#

O rastreamento ocular e a deteção do olhar, apoiados por modelos de visão por computador como o Ultralytics YOLO11, estão a mudar a forma como interagimos com o mundo. Desde tornar as estradas mais seguras até compreender o comportamento humano, esta tecnologia está a tornar-se cada vez mais útil no dia a dia.

Apesar de desafios como as preocupações com a privacidade e a necessidade de computadores potentes, os avanços em IA e visão por computador estão a tornar o rastreamento ocular mais preciso e fácil de utilizar. À medida que continua a melhorar, é provável que desempenhe um papel mais importante em vários setores.

Para saber mais, visite nosso repositório no GitHub e participe da nossa comunidade. Explore inovações em setores como IA em carros autônomos e visão computacional na agricultura em nossas páginas de soluções. Confira nossas opções de licenciamento e dê vida aos seus projetos de IA visual.