Meta FAIR의 AI 연구 업데이트: SAM 2.1 및 CoTracker3

인공지능(AI)은 최근 새로운 혁신과 그 어느 때보다 빠른 속도로 나타나는 획기적인 발전과 함께 흥분과 활기로 가득 찬 연구 분야입니다. 지난 몇 주 동안 메타의 Fundamental AI Research(FAIR) 팀은 AI의 다양한 영역에서 과제를 해결하는 것을 목표로 하는 일련의 도구와 모델을 공개했습니다. 이러한 릴리스에는 의료, 로보틱스, 증강 현실과 같이 다양한 분야에 영향을 미칠 수 있는 업데이트가 포함되어 있습니다.

예를 들어, 업데이트된 SAM 2.1 모델은 객체 세분화를 개선하여 이미지와 비디오에서 객체를 더 정확하게 식별하고 분리하기 쉽게 만듭니다. 한편, CoTracker3는 포인트 트래킹에 중점을 두어 객체가 이동하거나 부분적으로 가려질 때도 비디오 프레임의 포인트를 계속 추적할 수 있도록 도와줍니다.

또한 메타는 효율적인 온디바이스 사용을 위해 더 가볍고 빠른 Llama 언어 모델 버전을 로보틱스용 새로운 촉각 센싱 기술과 함께 소개했습니다. 이 글에서는 메타 FAIR의 최신 릴리스를 살펴보고 각 도구가 제공하는 기능을 분석해 보겠습니다. 시작하겠습니다!

Meta의 향상된 Segment Anything Model: SAM 2.1#

핵심 컴퓨터 비전 태스크인 객체 세분화를 통해 이미지 또는 비디오 내에서 개별 객체를 식별하고 분리할 수 있으므로 특정 관심 영역을 더 쉽게 분석할 수 있습니다. 출시 이후 메타의 Segment Anything Model 2 (SAM 2)는 의학 영상 및 기상학과 같은 다양한 분야에서 객체 세분화에 사용되어 왔습니다. 커뮤니티의 피드백을 바탕으로 메타는 이제 원본 모델에서 발생한 몇 가지 과제를 해결하고 전반적인 성능을 향상시키도록 설계된 개선된 버전인 SAM 2.1을 선보였습니다.

그림 1. SAM 2.1 모델 성능 벤치마킹.

SAM 2.1에는 새로운 데이터 증강 기법 덕분에 시각적으로 유사하고 더 작은 객체를 더 잘 처리할 수 있는 업데이트가 포함되어 있습니다. 또한 더 긴 비디오 시퀀스에서 모델을 학습시켜 가려짐(객체의 일부가 시야에서 가려지는 경우)을 처리하는 방식을 개선하여, 일시적으로 차단되더라도 시간이 지남에 따라 객체를 '기억하고' 인식할 수 있도록 합니다. 예를 들어, 누군가 나무 뒤를 걸어가는 사람의 비디오를 촬영하고 있는 경우, SAM 2.1은 객체의 위치와 움직임에 대한 기억을 사용하여 시야가 잠시 중단되었을 때 빈틈을 메우면서 그 사람이 다시 나타날 때 추적할 수 있습니다.

이러한 업데이트와 함께 메타는 오픈소스 학습 코드와 완전한 데모 인프라를 제공하는 SAM 2 Developer Suite를 출시하여 개발자가 자체 데이터로 SAM 2.1을 파인튜닝하고 다양한 애플리케이션에 통합할 수 있도록 지원합니다.

CoTracker3: Meta의 추적 모델과 주요 기능 및 업데이트#

또 다른 흥미로운 컴퓨터 비전 태스크는 포인트 트래킹입니다. 이는 비디오의 여러 프레임에 걸쳐 특정 포인트나 특징을 따라가는 것을 포함합니다. 트랙을 따라 자전거를 타는 사이클리스트의 비디오를 생각해 보세요. 포인트 트래킹을 사용하면 장애물에 잠시 가려지더라도 헬멧이나 바퀴와 같이 사이클리스트의 포인트를 계속 추적할 수 있습니다.

3D 재구성, 로보틱스, 비디오 편집 등의 애플리케이션에는 포인트 트래킹이 필수적입니다. 기존 모델은 복잡한 설정과 대규모 합성 데이터셋에 의존하는 경우가 많기 때문에 실제 시나리오에 적용할 때 효과가 제한적입니다.

메타의 CoTracker3 트래킹 모델은 모델의 아키텍처를 단순화하여 이러한 제한 사항을 해결합니다. 또한 모델이 실제 주석이 없는 비디오에서 학습할 수 있는 의사 라벨링 기법을 도입하여 실제 사용 시 CoTracker3의 효율성과 확장성을 높였습니다.

그림 2. 다른 트래킹 모델과 CoTracker3 비교.

CoTracker3가 돋보이는 기능 중 하나는 가려짐을 잘 처리할 수 있다는 점입니다. 모델이 여러 추적된 포인트 간에 정보를 공유할 수 있는 기술인 교차 트랙 어텐션을 사용하여, CoTracker3는 보이는 포인트를 참조하여 숨겨진 포인트의 위치를 유추할 수 있습니다. 이를 통해 CoTracker3는 혼잡한 장면에서 사람을 따라가는 것과 같은 동적 환경에서 매우 효과적으로 작동하도록 설계되었습니다.

또한 CoTracker3는 온라인 및 오프라인 모드를 모두 제공합니다. 온라인 모드는 실시간 트래킹을 제공하며, 오프라인 모드는 비디오 편집이나 애니메이션과 같은 태스크에 이상적인 전체 비디오 시퀀스에 걸친 더 포괄적인 트래킹에 사용할 수 있습니다.

Meta FAIR의 기타 업데이트 및 연구#

SAM 2.1과 CoTracker3는 컴퓨터 비전 분야에서 메타의 최신 발전 사항을 보여주지만, 자연어 처리(NLP) 및 로보틱스와 같은 AI의 다른 영역에서도 흥미로운 업데이트가 있습니다. 메타 FAIR의 다른 최근 개발 사항 중 일부를 살펴보겠습니다.

Meta의 Spirit LM: 언어 및 멀티모달 모델의 AI 혁신#

메타의 Spirit LM은 텍스트와 음성 기능을 결합한 새로운 멀티모달 언어 모델로, AI와의 상호작용을 더욱 자연스럽게 느끼게 해줍니다. 텍스트만 처리하거나 음성만 처리하는 기존 모델과 달리, Spirit LM은 두 가지를 원활하게 전환할 수 있습니다.

Spirit LM은 더욱 인간다운 방식으로 언어를 이해하고 생성할 수 있습니다. 예를 들어, 음성 또는 텍스트 언어로 듣고 응답할 수 있는 가상 비서를 강화하거나 음성과 텍스트 간을 변환하는 접근성 도구를 지원할 수 있습니다.

그림 3. Meta Spirit LM을 사용한 텍스트 음성 변환 예시.

또한 메타는 대규모 언어 모델의 효율성을 높이기 위한 기술을 개발했습니다. Layer Skip이라는 기술 중 하나는 주어진 태스크에 필요한 레이어만 활성화하여 연산 수요와 에너지 비용을 줄이는 데 도움을 줍니다. 이는 메모리와 전력이 제한된 디바이스의 애플리케이션에 특히 유용합니다.

Taking the need to deploy AI applications on such devices a step further, Meta has also rolled out quantized versions of its Llama models. These models are compressed to run faster on mobile devices without sacrificing accuracy.

Meta Lingua를 통한 최적화의 미래 전망#

AI 모델이 크기와 복잡성이 커짐에 따라 학습 프로세스를 최적화하는 것이 중요해졌습니다. 최적화와 관련하여 메타는 대규모 언어 모델 학습을 더 쉽게 만들어 주는 유연하고 효율적인 코드베이스인 Meta Lingua를 도입했습니다. Meta Lingua의 모듈식 설계를 통해 연구자들은 실험을 신속하게 사용자 지정하고 확장할 수 있습니다.

연구원들은 기술 설정에 소요되는 시간을 줄이고 실제 연구에 더 많은 시간을 할애할 수 있습니다. 또한 코드베이스가 가볍고 통합하기 쉬워 소규모 실험과 대규모 프로젝트 모두에 적합합니다. 이러한 기술적 장벽을 제거함으로써 Meta Lingua는 연구원들이 더 빠르게 진전을 이루고 더 쉽게 새로운 아이디어를 테스트할 수 있도록 지원합니다.

그림 4. Meta Lingua 개요.

Meta의 AI 보안 강화#

양자 컴퓨팅 기술이 발전함에 따라 데이터 보안에 새로운 과제가 제기됩니다. 오늘날의 컴퓨터와 달리 양자 컴퓨터는 복잡한 계산을 훨씬 더 빠르게 해결할 수 있을 것입니다. 이는 민감한 정보를 보호하는 데 현재 사용되는 암호화 방법을 잠재적으로 해독할 수 있음을 의미합니다. 이것이 바로 이 분야의 연구가 점점 더 중요해지고 있는 이유이며, 양자 컴퓨팅의 미래를 준비함에 따라 데이터를 보호하는 새로운 방법을 개발하는 것이 필수적입니다.

이를 해결하기 위해 메타는 포스트 양자 암호 보안 강화를 목표로 하는 도구인 Salsa를 개발했습니다. Salsa는 연구원들이 AI 기반 공격을 테스트하고 잠재적인 취약점을 식별하여 암호화 시스템의 취약점을 더 잘 이해하고 해결할 수 있도록 지원합니다. 고급 공격 시나리오를 시뮬레이션함으로써 Salsa는 양자 시대를 위한 더욱 강력하고 탄력적인 보안 조치의 개발을 안내할 수 있는 유용한 인사이트를 제공합니다.

Meta의 AI: 로봇 공학의 최신 혁신#

메타의 최신 로보틱스 연구는 촉각 지각, 손재주, 인간과의 협업을 강화하여 AI가 물리적 세상과 더 자연스럽게 상호작용하도록 돕는 데 중점을 둡니다. 특히 Meta Digit 360은 로봇에 정교한 촉각 감각을 부여하는 고급 촉각 센서입니다. 센서는 로봇이 질감, 압력, 심지어 객체 모양과 같은 세부 정보를 감지하는 데 도움을 줍니다. 이러한 인사이트를 바탕으로 로봇은 의료 및 제조 분야에서 필수적인 더 높은 정밀도로 객체를 다룰 수 있습니다.

다음은 Meta Digit 360이 포함하는 핵심 기능들입니다:

• 다양한 촉각 세부 정보를 캡처할 수 있도록 18개의 독특한 센싱 기능을 갖추고 있습니다.
• 이 센서는 1밀리뉴턴만큼 작은 압력 변화를 감지할 수 있어 로봇이 미세한 질감과 섬세한 움직임에 반응할 수 있습니다.
• 손가락 끝 표면에 800만 개 이상의 택셀(tiny sensing points)이 포함되어 있어 고해상도의 촉각 정보 지도를 제공합니다.

Meta Digit 360의 확장판은 다양한 촉각 센서를 하나의 로봇 손에 통합하는 플랫폼인 Meta Digit Plexus입니다. 이 설정을 통해 로봇은 인간의 손이 감각 데이터를 수집하는 방식과 유사하게 여러 지점에서 발생하는 촉각 정보를 동시에 처리할 수 있습니다.

그림 5. Meta Digit Plexus.

AI의 다음 장을 위한 발판 마련#

SAM 2.1과 CoTracker3를 통한 컴퓨터 비전의 발전부터 언어 모델과 로봇 공학의 새로운 개발에 이르는 Meta의 최신 AI 업데이트는 AI가 어떻게 이론에서 실제적이고 영향력 있는 솔루션으로 꾸준히 이동하고 있는지를 보여줍니다.

이 도구들은 AI를 다양한 분야에서 더 적응력 있고 유용하게 만들도록 설계되었으며, 복잡한 이미지 분할부터 인간 언어 이해, 심지어 물리적 공간에서 우리와 함께 작업하는 것까지 모든 것을 지원합니다.

접근성과 실제 적용을 우선시함으로써 Meta FAIR는 AI가 실제 문제를 해결하고 우리의 일상을 의미 있게 향상할 수 있는 미래에 한 걸음 더 다가가고 있습니다.

AI가 궁금하신가요? 커뮤니티에 가입하여 최신 업데이트와 인사이트를 확인하고 GitHub 저장소를 확인해 보세요. 또한 자율주행차 및 농업과 같은 산업에서 컴퓨터 비전이 어떻게 사용될 수 있는지 탐색할 수도 있습니다!