Explorando avanços na tecnologia de RA e os óculos Orion da Meta

Embora vivamos em um mundo tridimensional (3D) rico cheio de dados e informações, a maioria dos dispositivos que usamos diariamente depende de uma tela bidimensional (2D). Com o avanço da tecnologia, no entanto, isso está mudando lentamente com a introdução de inovações como a realidade aumentada (AR). A AR é usada para mesclar conteúdo digital, como imagens, sons e dados, com o nosso ambiente do mundo real, tornando-o mais interativo e envolvente.

A inteligência artificial (IA), especialmente a computer vision, é uma das principais forças impulsionadoras por trás da realidade aumentada. A Vision AI possibilita que os dispositivos AR analisem e interpretem seu ambiente detectando objetos, rastreando movimentos e reconhecendo recursos espaciais. Neste artigo, exploraremos como a realidade aumentada funciona e suas aplicações em áreas como educação, saúde e entretenimento. Também discutiremos avanços recentes como os novos óculos de realidade aumentada Orion da Meta, que estão tornando a AR mais acessível. Vamos começar!

Fig 1. Um estudante usando RA na sala de aula (Fonte: elearningindustry.com).

A evolução da realidade aumentada#

A realidade aumentada adiciona elementos digitais, como imagens, vídeos ou modelos 3D, ao mundo real por meio de dispositivos como smartphones, tablets ou óculos AR. Por exemplo, se você apontar a câmera do seu telefone para uma mesa vazia, a AR pode fazer parecer que há uma xícara de café virtual sobre ela. A AR pode aprimorar a forma como vemos nosso entorno, misturando elementos gerados por computador com o que vemos na vida real.

Em 1968, Ivan Sutherland, conhecido como o "pai da computação gráfica", criou o primeiro visor de cabeça de AR em Harvard. Inicialmente, a AR era usada em áreas como aviação, forças armadas e treinamento industrial. O primeiro uso comercial da AR apareceu em 2008 com um anúncio interativo da BMW Mini. Ao segurar um anúncio impresso de revista em frente à câmera de um computador, os usuários podiam ver um modelo digital do carro em sua tela e controlar seus movimentos, fazendo com que parecessem estar interagindo com o carro na vida real. Isso abriu as portas para a AR entrar em setores como marketing, turismo, moda e entretenimento. Com aplicativos de jogos populares como o Pokémon Go em 2016, a adoção da AR aumentou. Projeta-se que o mercado global de realidade aumentada alcance a marca impressionante de US$ 2.804,82 bilhões até 2034.

Fig 2. Um gráfico mostrando o crescimento do tamanho do mercado global de AR.

O papel da visão computacional na RA#

Várias tecnologias, incluindo computer vision, sensores e machine learning, trabalham juntas para criar experiências imersivas de realidade aumentada. A computer vision, em particular, forma a base de como o conteúdo digital é facilmente integrado em ambientes do mundo real por meio da AR. Aqui está uma visão mais detalhada das diferentes maneiras pelas quais a computer vision contribui para a AR:

• Reconhecimento de objetos: Usando técnicas de computer vision como object detection, image segmentation e object tracking, os sistemas de AR podem reconhecer objetos analisando seu tamanho, forma e cor. Uma vez identificados, conteúdos virtuais como modelos 3D ou texto podem ser sobrepostos.
• Localização e mapeamento: A visão computacional pode ser usada para localização e mapeamento simultâneos (SLAM) para rastrear a posição e orientação do dispositivo em tempo real, garantindo que os elementos virtuais permaneçam alinhados com precisão à visão do usuário para uma experiência estável.
• Reconhecimento de gestos e movimentos: A Vision AI pode ser usada para rastrear os gestos do usuário, expressões faciais e movimentos, permitindo interações naturais com conteúdo virtual em AR.
• Estimativa de profundidade: A análise de imagem ajuda os dispositivos AR a entender a distância em que os objetos estão no ambiente analisando o que eles veem. Isso ajuda a posicionar elementos virtuais à distância correta, fazendo com que eles se misturem naturalmente com o mundo real e melhorando a experiência geral de AR.
• Adaptação ambiental: A visão computacional pode ser usada para ajustar objetos virtuais para responder a condições do mundo real, como iluminação, reflexos e sombras em RA.

Por exemplo, digamos que você esteja usando um aplicativo de AR para visualizar uma escultura digital na sua sala de estar. À medida que você move seu telefone ou headset de AR, o sistema de computer vision começa a reconhecer objetos ao redor da sala, como seu sofá ou mesa de centro, usando object detection.

Simultaneamente, a tecnologia SLAM mapeia o layout da sala e rastreia a posição do seu dispositivo para garantir que a escultura permaneça fixa em um só lugar. Conforme você se aproxima, a depth estimation ajuda o aplicativo a ajustar o tamanho da escultura, fazendo com que pareça posicionada de forma realista. Se você acenar com a mão, o gesture recognition pode permitir que você rotacione ou redimensione a escultura. O aplicativo também pode adaptar a iluminação e as sombras da escultura para corresponder às condições de iluminação da sala, fazendo com que ela se misture perfeitamente à sua sala de estar.

Orion: os óculos de realidade aumentada da Meta#

A AR está avançando rapidamente e a Meta anunciou recentemente seus óculos Orion AR em 25 de setembro de 2024, no evento Meta Connect 2024. De acordo com o CEO da Meta, Mark Zuckerberg, o Orion são os óculos AR mais avançados já feitos, combinando muitos recursos de ponta. Eles parecem um par de óculos comum, mas vêm com recursos imersivos de AR, oferecendo o maior campo de visão visto em óculos AR até o momento.

Os óculos são leves, com uma armação feita de magnésio, semelhante ao que é usado em carros de F1, e um sistema de refrigeração avançado inspirado em satélites da NASA para maior conforto. Eles usam um visor de próxima geração feito de carboneto de silício personalizado, com pequenos projetores que podem criar hologramas de diferentes profundidades e tamanhos bem na sua frente.

Os óculos Orion AR vêm com opções de controle por voz, rastreamento de mãos, eye tracking e uma interface de pulseira que capta impulsos elétricos dos seus músculos para controlar elementos de AR com movimentos sutis. A pulseira funciona como uma interface neural, permitindo que você interaja com os óculos usando gestos simples, tornando-a uma parte fundamental da experiência geral. Os óculos também vêm com um pequeno processador de bolso que fornece o poder de computação necessário em movimento.

Fig 3. Óculos Orion AR da Meta, pulseira neural e processador.

O que faz o Orion se destacar é sua integração com o Meta AI, um assistente inteligente que pode reconhecer objetos do mundo real e fornecer insights úteis. Por exemplo, se você olhar para um conjunto de ingredientes, o AI pode sugerir receitas. Você também pode transformar qualquer parede em uma tela para assistir a vídeos, participar de chamadas de vídeo holográficas ou jogar jogos interativos, tornando o Orion um passo emocionante nas experiências de AR.

As aplicações da tecnologia de RA vestível#

A tecnologia de RA vestível, como os óculos ou headsets de RA Orion, permite que você experimente a realidade aumentada sem precisar segurar um dispositivo, ao contrário do uso de um celular ou tablet. Vamos analisar diferentes aplicações onde a RA vestível está fazendo a diferença.

A RA está tornando a educação mais acessível#

Muitos alunos são aprendizes práticos ou visuais, e a realidade aumentada pode ajudar os professores a criar aulas mais interativas. Com a tecnologia AR vestível, como headsets ou óculos inteligentes, professores e alunos podem interagir com o conteúdo educacional de uma maneira mais dinâmica que lhes permite aprender a qualquer hora, em qualquer lugar.

Esses dispositivos vestíveis são especialmente úteis em áreas remotas porque muitos aplicativos de RA podem rodar offline ou com conectividade mínima após o download dos dados necessários. Países em desenvolvimento estão usando RA vestível para fornecer educação de qualidade para estudantes necessitados. Em países como Ruanda, Nigéria e África do Sul, a RA vestível está ajudando a educar estudantes em áreas remotas, alcançando mais de 500,000 estudantes apenas em Ruanda.

Fig 4. Um estudante em uma localização remota na África usando tecnologia de RA para estudar (Fonte: nepad.org).

Óculos de RA para jogos#

A aplicação mais popular da AR é em gaming. A indústria de jogos está começando a reconhecer como os óculos AR podem tornar os jogos mais imersivos e interativos. Os jogadores podem ver elementos virtuais no mundo real através da AR, fazendo com que se sintam verdadeiramente parte do jogo. Por exemplo, os jogadores podem explorar e interagir com o ambiente ao seu redor sem usar as mãos, tornando a experiência mais natural.

Embora os jogos de AR tenham se tornado populares pela primeira vez em dispositivos móveis, como com o Pokémon Go, onde os jogadores usavam as câmeras de seus telefones para capturar Pokémon, espera-se que a transição para óculos AR torne os jogos ainda mais envolventes. O Pokémon Go marca um marco importante porque demonstrou o potencial da AR ao atingir mais de 20 milhões de jogadores ativos em apenas 7 dias.

Fig 5. Jogadores usando AR no jogo Pokémon Go.

Como a RA está ajudando médicos e cirurgiões#

Graças à realidade aumentada, médicos e profissionais de saúde podem acessar e estudar imagens médicas em 3D. De fato, ferramentas de imagem médica habilitadas para AR podem ajudar os médicos a visualizar a anatomia do paciente em um ambiente 3D. Uma visualização mais clara pode levar a diagnósticos mais precisos, melhores resultados cirúrgicos e procedimentos mais seguros.

A AR também pode ajudar os profissionais de healthcare a oferecer um atendimento mais personalizado e eficaz, identificando a localização e a extensão das doenças, planejando procedimentos cirúrgicos e proporcionando aos pacientes uma melhor compreensão de suas condições. Por exemplo, usando headsets de AR, os cirurgiões podem revisar os sinais vitais de um paciente durante um procedimento médico sem precisar manipular vários dispositivos e telas de exibição. Ao fazer isso, é menos provável que leiam mal ou interpretem mal os dados.

Fig 5. Um profissional médico usando um headset de AR durante a cirurgia.

Principais pontos#

A realidade aumentada está pronta para mudar a forma como interagimos com o mundo digital. Ao combinar elementos virtuais com o mundo real, a RA cria uma experiência mais imersiva do que as telas tradicionais. Os óculos de RA Orion da Meta, com seus recursos avançados, design confortável e capacidades de IA, representam um grande passo à frente na tecnologia de RA. À medida que a RA se torna mais comum em nossas vidas diárias, podemos esperar que a linha entre os mundos físico e digital se torne tênue, levando a novas possibilidades de inovação e criatividade.

Quer saber mais sobre IA? Confira nosso GitHub repository para ver nossas contribuições para a IA e a computer vision, e não se esqueça de interagir com nossa community. Descubra como estamos redefinindo indústrias como manufacturing e agriculture com tecnologia de IA de ponta.