컴퓨터 비전을 활용한 시선 감지 살펴보기

컴퓨터 비전은 기계가 사람과 유사한 방식으로 시각 데이터를 분석하고 해석할 수 있도록 하는 데 중점을 둔 인공지능(AI) 분야입니다. 비전 AI의 특히 흥미로운 응용 분야 중 하나는 시선 감지로, 기계가 사람이 바라보는 곳을 추적하고 파악할 수 있게 해줍니다.

사람은 자연스럽게 다른 사람의 시선을 따라가고 그 사람이 무엇에 집중하는지 이해할 수 있습니다. 예를 들어 친구와 대화하다가 친구가 갑자기 문 쪽을 바라보면, 무엇이 친구의 관심을 끌었는지 확인하려고 본능적으로 그쪽을 바라볼 수 있습니다. 반면 기계에는 이러한 능력이 내재되어 있지 않으므로 컴퓨터 비전 기술을 사용해 눈의 움직임을 인식하고 시선 방향을 해석하도록 학습해야 합니다.

전 세계 시선 감지 시장이 2032년까지 119억 달러 규모에 이를 것으로 예상되면서, 다양한 산업 분야에서 여러 용도로 시선 감지를 도입하고 있습니다. 예를 들어 자동차 분야에서는 운전자의 주의 수준을 모니터링하고 졸음이나 산만함의 징후를 감지해 운전 안전을 개선하는 데 시선 감지를 활용합니다.

이 문서에서는 컴퓨터 비전이 시선 추적과 시선 감지에 어떻게 사용되는지 살펴봅니다. 또한 여러 산업 분야의 주요 응용 사례도 알아봅니다. 시작하겠습니다!

시선 추적과 시선 감지란 무엇인가요?#

시선 추적과 시선 감지는 눈의 움직임과 시선 방향을 분석해 사람의 주의 집중 대상을 파악하는 기술입니다. AI와 센서 기술의 발전으로 이제 사람의 눈을 실시간으로 추적할 수 있습니다.

기존의 시선 추적 시스템은 대부분 적외선(IR) 카메라를 사용합니다. 이 카메라는 근적외선을 눈에 비추고 각막 반사를 포착해 동공의 움직임을 감지합니다. 이러한 시스템은 높은 정밀도를 제공합니다. 그러나 특수 헤드기어가 필요한 경우가 많아 착용이 불편하고 보정 문제가 발생하기 쉽습니다.

AI의 발전과 함께 연구자들은 컴퓨터 비전 기반 시선 추적 방법을 활발히 연구해 왔습니다. 기존의 IR 기반 시스템과 달리 이러한 방법은 컴퓨터 비전 모델인 Ultralytics YOLO11을 사용해 눈과 동공 등의 얼굴 특징을 감지하고 머리 자세 추정을 수행합니다. 이뿐만 아니라 NVIDIA의 GazeNet과 같은 특수 딥러닝 모델은 시선 추정을 위해 특별히 설계되었습니다.

그림 1. Ultralytics YOLO11을 사용해 사람의 눈과 동공을 감지하는 예시입니다.

컴퓨터 비전 기반 시선 추적은 아직 발전 중인 분야이지만, 시선 추적의 접근성을 높이고 비용을 절감하며 마케팅, 심리학, 신경과학 분야의 사용성을 개선할 잠재력이 있습니다.

시선 감지와 시선 추적의 발전 과정#

이제 기존 적외선 기반 시스템에서 접근성이 더 높은 소프트웨어 기반 솔루션으로의 전환을 살펴보겠습니다.

AI 없이도 시선 추적과 시선 감지를 수행할 수 있는지 궁금하실 수 있습니다. 그렇다면 이 기술에 AI와 컴퓨터 비전을 통합하는 연구가 계속되는 이유는 무엇일까요? 기존 시선 추적 방식도 있지만, 특수 적외선 카메라와 머리에 착용하는 시선 추적 장치를 사용하는 경우가 많아 비용이 많이 들고 번거로우며 조명을 제어해야 합니다. 반면 AI 기반 솔루션은 일반 웹캠과 스마트폰 카메라로 시선을 추적해 비용을 절감하고 접근성을 높입니다.

그림 2. 머리에 착용하는 시선 추적 장치입니다.

시선 추적과 시선 감지 기술이 발전한 데에는 다음과 같은 다른 요인도 있습니다.

• 응용 분야: 소프트웨어 기반 접근 방식은 이 분야의 활용 범위를 연구에서 소비자 기기와 게임 등의 영역으로 확장합니다.
• 확장성: AI를 활용하면 개인 사용자부터 대규모 산업 분야까지 더 많은 사용자가 시선 감지 솔루션을 사용할 수 있습니다.
• 카메라 기술의 발전: 오늘날에는 해상도가 더 높은 스마트폰 카메라와 웹캠을 사용할 수 있어 시선 추적의 정확도가 높아집니다. 이는 20년 전에는 실현하기 어려웠던 일입니다.

시선 감지와 시선 추적에 Ultralytics YOLO11 사용하기#

컴퓨터 비전이 시선 추적과 시선 감지에서 어떤 역할을 하는지 살펴보았으니, 이제 이 분야에서 Ultralytics YOLO11을 어떻게 활용할 수 있는지 알아보겠습니다.

Ultralytics YOLO11은 객체 감지와 자세 추정 등의 작업을 지원합니다. COCO 데이터 세트로 사전 학습되어 다양한 객체를 높은 정확도로 감지합니다. 특히 시선 감지 솔루션에서 YOLO11은 보조적인 역할을 할 수 있습니다.

YOLO11은 시선 방향을 직접 예측할 수는 없지만, 얼굴, 눈, 동공을 감지하도록 파인튜닝할 수 있으며 이러한 특징은 후속 분석에 핵심적입니다. 이러한 특징을 식별한 후에는 추가 모델이 눈의 움직임 데이터를 처리해 시선 방향을 추정할 수 있습니다.

예를 들어 정확도를 높이기 위해 Ultralytics YOLO11을 얼굴 감지용 WIDER FACE와 같은 데이터 세트로 커스텀 학습할 수 있습니다. 또한 YOLO11의 자세 추정 기능을 활용하면 머리 방향을 추적해 시선 감지 정확도를 높일 수 있습니다.

그림 3. YOLO11을 사용해 사람의 얼굴을 감지할 수 있습니다.

시선 감지의 실제 응용 사례#

컴퓨터 비전으로 구현되는 시선 감지는 자동차 분야의 안전성 향상부터 게임에서의 집중도 분석까지 산업 전반에 걸쳐 폭넓게 활용됩니다. 여러 분야에서 이 기술을 어떻게 활용하는지 살펴보겠습니다.

게임 분야의 시선 추적#

게임 분야에서는 플레이어의 집중도, 의사 결정, 반응 시간을 실시간으로 파악하기 위해 시선 추적을 활용합니다. 시선 추적 기술은 눈의 움직임을 추적해 플레이어가 전략을 개선하고 훈련 프로그램을 강화하도록 지원하며, 주요 순간에 플레이어가 바라보는 곳을 시각적으로 보여 주어 관중의 참여도를 높입니다.

흥미로운 사례로는 시뮬레이션 레이싱이 있습니다. 이는 플레이어가 사실적인 주행 시뮬레이션을 통해 경쟁하는 가상 모터스포츠입니다. 시선 추적은 운전자가 트랙에 어떻게 집중하는지, 상대방에게 어떻게 반응하는지, 급커브를 어떻게 통과하는지 분석하는 데 도움이 됩니다. 트레이너는 실시간으로 시선을 추적해 패턴을 식별하고, 집중을 방해하는 요소를 발견하며, 레이싱 전략을 개선할 수 있습니다.

그림 4. 시선 추적을 사용해 시뮬레이션 레이싱 선수의 상태를 모니터링하고 분석할 수 있습니다.

시뮬레이션 레이싱뿐만 아니라 빠르게 진행되는 경쟁 게임에서도 플레이어의 반사 신경과 반응 시간, 게임 내 주요 요소에 집중하는 방식을 분석하기 위해 시선 추적을 사용합니다. 플레이어가 움직이기 전에 어디를 바라보는지 파악하면 의사 결정을 개선하고 정확도를 높이며 고수준 게임 플레이를 위한 훈련을 강화하는 데 도움이 됩니다.

심리학 연구를 위한 시선 추정#

연구와 관련된 시선 추정의 비전 AI 응용 사례는 다양합니다. 심리학 분야에서 주의력, 인지 부하, 사회적 행동을 연구하는 것이 좋은 예입니다. 연구자는 눈의 움직임을 분석해 지각, 의사 결정, 자폐증과 ADHD 같은 정신 건강 상태에 관한 통찰을 얻을 수 있습니다.

특히 컴퓨터 비전을 활용한 시선 추적은 눈의 움직임, 시선 고정 시간, 시각적 주의력에서 패턴을 식별해 인지 및 감정 상태를 파악하는 데 도움이 됩니다. 딥러닝과 AI 기반 시선 추정이 발전하면서 이러한 방법의 정확도와 접근성이 향상되어 신경학 연구에서 더 폭넓게 활용될 수 있습니다.

자동차 안전#

연구자들은 수년간 다양한 교통 상황에서 운전자의 주의와 집중을 연구하기 위해 여러 방법을 사용해 왔습니다. 이러한 방법 중 시선 추적은 매우 중요하며, 운전 중 운전자가 어디를 바라보는지 파악하는 데 도움이 됩니다.

컴퓨터 비전 모델을 활용하면 시선 감지로 눈의 움직임을 실시간으로 정확하게 추적해 이러한 분석을 한층 개선할 수 있습니다. 이 분석을 통해 운전자의 행동을 더 잘 이해하고, 산만함, 피로 또는 주의력 저하를 식별할 수 있습니다. 이는 도로 안전을 개선하고 첨단 운전자 보조 시스템의 개발을 지원합니다.

그림 5. 얼굴 감지와 시선 추적을 사용해 운전자를 모니터링하는 예시입니다.

예를 들어 운전자가 도로에서 시선을 자주 돌려 휴대전화를 확인하거나 교차로에서 반응이 느리면, 시스템이 이러한 행동을 감지하고 운전자의 주의를 다시 집중시키도록 경고를 보내 사고를 예방할 수 있습니다.

시선 추적과 시선 감지의 장단점#

시선 추적 및 시선 감지 기술이 일상생활에 가져올 수 있는 주요 이점은 다음과 같습니다.

• 상황 인식 향상: 시선 추적은 사람이 주변 환경과 시각적으로 어떻게 상호작용하는지 파악해 주의력과 집중 패턴을 더 잘 이해하도록 돕습니다.
• 더 나은 의사 결정: 시선 추적으로 수집한 데이터는 연구자와 전문가가 객관적인 주의력 패턴을 바탕으로 충분한 정보를 갖춘 결정을 내리는 데 도움이 됩니다.
• 시각적 인체공학 개선: 시선 행동을 분석하면 눈의 피로를 줄이고 편안함을 높이는 화면, 작업 공간, 환경을 설계하는 데 도움이 됩니다.

이러한 이점은 시선 감지가 우리의 삶에 긍정적인 영향을 미칠 수 있음을 보여 주지만, 구현 과정에서 발생하는 어려움도 고려해야 합니다. 유념해야 할 주요 한계는 다음과 같습니다.

• 개인정보 보호 문제: 지속적인 시선 추적은 개인정보 보호 문제를 일으켜 사용자를 불편하게 할 수 있습니다. 투명성을 보장하고 사용자의 동의를 얻으며 데이터를 로컬에서 처리하면 이러한 우려를 완화할 수 있습니다.

• 높은 연산 요구량: 실시간 시선 추적에는 강력한 하드웨어가 필요할 수 있어 저전력 기기의 접근성이 제한됩니다. 하지만 최적화된 모델을 통해 효율성이 개선되고 있습니다.

• 정확도 한계: 조명 변화, 머리 움직임, 안경과 머리카락 같은 장애물로 인해 실제 환경에서 시선 추적의 신뢰도가 낮아질 수 있습니다. 카메라 각도도 성능에 영향을 줄 수 있습니다.

시선으로 바라보는 미래#

Ultralytics YOLO11과 같은 컴퓨터 비전 모델을 기반으로 하는 시선 추적과 시선 감지는 우리가 세상과 상호작용하는 방식을 바꾸고 있습니다. 도로 안전을 높이는 일부터 인간 행동을 이해하는 일까지, 이 기술은 일상생활에서 점점 더 유용해지고 있습니다.

개인정보 보호 문제와 고성능 컴퓨터의 필요성 같은 과제가 있지만, AI와 컴퓨터 비전의 발전으로 시선 추적의 정확도가 높아지고 사용이 편리해지고 있습니다. 기술이 계속 발전함에 따라 다양한 산업 분야에서 더 중요한 역할을 할 가능성이 높습니다.

자세한 내용은 GitHub 저장소를 방문하고 커뮤니티에 참여해 보세요. 솔루션 페이지에서 자율주행 차량의 AI와 농업 분야의 컴퓨터 비전 등 여러 분야의 혁신 사례를 살펴보세요. 라이선스 옵션을 확인하고 비전 AI 프로젝트를 실현해 보세요. 🚀