Meta FAIR의 최신 AI 모델인 SAM 2.1과 CoTracker3를 살펴보세요. 다양한 실제 애플리케이션을 위한 고급 분할 및 추적 기능을 제공합니다.
Meta FAIR의 최신 AI 모델인 SAM 2.1과 CoTracker3를 살펴보세요. 다양한 실제 애플리케이션을 위한 고급 분할 및 추적 기능을 제공합니다.
인공 지능(AI)은 최근 그 어느 때보다 빠르게 새로운 혁신과 획기적인 발전이 나타나면서 흥분과 에너지로 떠들썩한 연구 분야입니다. 지난 몇 주 동안 Meta의 Fundamental AI Research(FAIR) 팀은 AI의 다양한 영역에서 문제를 해결하는 것을 목표로 하는 일련의 도구와 모델을 공개했습니다. 이러한 릴리스에는 헬스케어, 로봇 공학 및 증강 현실과 같이 다양한 분야에 영향을 미칠 수 있는 업데이트가 포함되어 있습니다.
예를 들어, 업데이트된 SAM 2.1 모델은 객체 분할을 개선하여 이미지 및 비디오에서 객체를 보다 정확하게 식별하고 분리할 수 있도록 합니다. 한편, CoTracker3는 포인트 추적에 중점을 두어 객체가 움직이거나 부분적으로 가려진 경우에도 비디오 프레임에서 포인트를 계속 추적할 수 있도록 합니다.
Meta는 또한 효율적인 온디바이스 사용을 위해 더 가볍고 빠른 버전의 Llama 언어 모델과 로보틱스를 위한 새로운 촉각 감지 기술을 도입했습니다. 이 기사에서는 각 도구가 제공하는 기능을 살펴보면서 Meta FAIR의 최신 릴리스를 분석해 보겠습니다. 시작해 볼까요!
주요 컴퓨터 비전 작업인 객체 분할은 이미지 또는 비디오 내에서 뚜렷한 객체를 식별하고 분리하여 특정 관심 영역을 더 쉽게 분석할 수 있도록 합니다. Meta의 SAM(Segment Anything Model) 2는 출시 이후 의료 영상 및 기상학과 같은 다양한 분야에서 객체 분할에 사용되었습니다. 커뮤니티의 피드백을 바탕으로 Meta는 이제 원래 모델에서 발생한 일부 문제를 해결하고 전반적으로 더 강력한 성능을 제공하도록 설계된 개선된 버전인 SAM 2.1을 도입했습니다.
SAM 2.1에는 새로운 데이터 증강 기술 덕분에 시각적으로 유사하고 더 작은 객체를 더 잘 처리할 수 있도록 업데이트가 포함되어 있습니다. 또한 모델이 더 긴 비디오 시퀀스에서 훈련하여 폐색(객체의 일부가 보이지 않게 숨겨진 경우)을 처리하는 방식도 개선하여 일시적으로 차단되더라도 시간이 지남에 따라 객체를 "기억"하고 인식할 수 있습니다. 예를 들어, 누군가가 나무 뒤를 걷는 사람의 비디오를 촬영하는 경우, SAM 2.1은 객체의 위치와 움직임에 대한 기억을 사용하여 뷰가 잠시 중단될 때 간격을 메워 다른 쪽에서 다시 나타날 때 사람을 추적할 수 있습니다.
이러한 업데이트와 함께 Meta는 SAM 2 Developer Suite를 출시하여 개발자가 자체 데이터로 SAM 2.1을 미세 조정하고 다양한 애플리케이션에 통합할 수 있도록 오픈 소스 훈련 코드와 전체 데모 인프라를 제공합니다.
또 다른 흥미로운 컴퓨터 비전 작업은 포인트 추적입니다. 여기에는 비디오의 여러 프레임에서 특정 포인트 또는 특징을 따라가는 것이 포함됩니다. 트랙을 따라 달리는 사이클 선수의 비디오를 생각해 보십시오. 포인트 추적을 통해 모델은 헬멧이나 바퀴와 같이 사이클 선수의 포인트 추적을 유지할 수 있습니다. 잠시 동안 장애물에 가려져 있어도 마찬가지입니다.
점 추적은 3D 재구성, 로봇 공학 및 비디오 편집과 같은 응용 프로그램에 필수적입니다. 기존 모델은 종종 복잡한 설정과 대규모 합성 데이터 세트에 의존하므로 실제 시나리오에 적용할 때 효과가 제한됩니다.
Meta의 CoTracker3 추적 모델은 모델 아키텍처를 단순화하여 이러한 제한 사항을 해결합니다. 또한 모델이 주석이 없는 실제 비디오에서 학습할 수 있도록 하는 pseudo-labeling 기술을 도입하여 CoTracker3를 실제 사용에 더욱 효율적이고 확장 가능하게 만듭니다.
CoTracker3를 돋보이게 만드는 기능 중 하나는 폐색을 잘 처리할 수 있다는 것입니다. 모델이 여러 추적 지점에서 정보를 공유할 수 있도록 하는 기술인 교차 트랙 주의를 사용하여 CoTracker3는 보이는 지점을 참조하여 숨겨진 지점의 위치를 추론할 수 있습니다. 그렇게 함으로써 CoTracker3는 혼잡한 장면에서 사람을 따라가는 것과 같이 역동적인 환경에서 매우 효과적으로 설계되었습니다.
CoTracker3는 온라인 및 오프라인 모드를 모두 제공합니다. 온라인 모드는 실시간 추적을 제공합니다. 오프라인 모드는 전체 비디오 시퀀스에서 보다 포괄적인 추적에 사용할 수 있으며 비디오 편집 또는 애니메이션과 같은 작업에 이상적입니다.
SAM 2.1과 CoTracker3는 Meta의 최신 컴퓨터 비전 발전을 보여주는 반면, 자연어 처리(NLP) 및 로보틱스와 같은 다른 AI 영역에서도 흥미로운 업데이트가 있습니다. Meta FAIR의 다른 최근 개발 사항을 살펴보겠습니다.
Meta의 Spirit LM은 텍스트와 음성 기능을 결합하여 AI와의 상호 작용을 더욱 자연스럽게 느끼도록 하는 새로운 멀티모달 언어 모델입니다. 텍스트 또는 음성만 처리하는 기존 모델과 달리 Spirit LM은 둘 사이를 원활하게 전환할 수 있습니다.
Spirit LM은 더욱 인간과 유사한 방식으로 언어를 이해하고 생성할 수 있습니다. 예를 들어, 음성 또는 서면 언어로 듣고 응답할 수 있는 가상 비서를 개선하거나 음성과 텍스트 간에 변환하는 접근성 도구를 지원할 수 있습니다.
또한 Meta는 대규모 언어 모델을 보다 효율적으로 만드는 기술을 개발했습니다. 이러한 기술 중 하나인 Layer Skip은 특정 작업에 필요한 레이어만 활성화하여 계산 요구 사항 및 에너지 비용을 줄이는 데 도움이 됩니다. 이는 메모리와 전력이 제한된 장치의 애플리케이션에 특히 유용합니다.
이러한 장치에 AI 애플리케이션을 배포해야 할 필요성을 더욱 발전시켜 Meta는 양자화된 버전의 Llama 모델도 출시했습니다. 이러한 모델은 정확도를 희생하지 않고 모바일 장치에서 더 빠르게 실행되도록 압축되었습니다.
AI 모델의 크기와 복잡성이 증가함에 따라 훈련 프로세스를 최적화하는 것이 중요해졌습니다. 최적화와 관련하여 Meta는 대규모 언어 모델 훈련을 더 쉽게 만들어주는 유연하고 효율적인 코드베이스인 Meta Lingua를 도입했습니다. Meta Lingua의 모듈식 설계를 통해 연구원들은 실험을 빠르게 사용자 정의하고 확장할 수 있습니다.
연구자들은 기술 설정에 시간을 덜 소비하고 실제 연구에 더 많은 시간을 할애할 수 있습니다. 코드베이스 또한 가볍고 통합하기 쉬워 소규모 실험과 대규모 프로젝트 모두에 적합합니다. Meta Lingua는 이러한 기술적 장애물을 제거함으로써 연구자들이 더 빠른 진전을 이루고 더 쉽게 새로운 아이디어를 테스트할 수 있도록 지원합니다.
양자 컴퓨팅 기술이 발전함에 따라 데이터 보안에 새로운 과제가 발생합니다. 현재의 컴퓨터와 달리 양자 컴퓨터는 복잡한 계산을 훨씬 빠르게 해결할 수 있을 것입니다. 즉, 현재 민감한 정보를 보호하는 데 사용되는 암호화 방법을 잠재적으로 해독할 수 있습니다. 따라서 이 분야의 연구가 점점 더 중요해지고 있습니다. 양자 컴퓨팅의 미래를 준비하면서 데이터를 보호하는 새로운 방법을 개발하는 것이 필수적입니다.
이러한 문제에 대처하기 위해 Meta는 양자 암호 보안을 강화하는 것을 목표로 하는 도구인 Salsa를 개발했습니다. Salsa는 연구자들이 AI 기반 공격을 테스트하고 잠재적인 취약점을 식별하여 암호화 시스템의 취약점을 더 잘 이해하고 해결할 수 있도록 돕습니다. 고급 공격 시나리오를 시뮬레이션함으로써 Salsa는 양자 시대를 위한 더욱 강력하고 탄력적인 보안 조치 개발을 안내할 수 있는 귀중한 통찰력을 제공합니다.
로봇 공학 분야에서 Meta의 최신 연구는 터치 인식, 손재주 및 인간과의 협업을 향상시켜 AI가 물리적 세계와 보다 자연스럽게 상호 작용하도록 돕는 데 중점을 둡니다. 특히 Meta Digit 360은 로봇에게 세련된 촉각을 제공하는 고급 촉각 센서입니다. 센서는 로봇이 질감, 압력, 심지어 물체 모양과 같은 세부 사항을 감지하는 데 도움이 됩니다. 이러한 통찰력을 통해 로봇은 의료 및 제조와 같은 분야에서 중요한 물체를 더 정밀하게 다룰 수 있습니다.
Meta Digit 360에 포함된 주요 기능은 다음과 같습니다.
Meta Digit 360의 확장판은 다양한 터치 센서를 단일 로봇 손에 통합하는 플랫폼인 Meta Digit Plexus입니다. 이 설정은 로봇이 인간의 손이 감각 데이터를 수집하는 방식과 유사하게 여러 지점에서 터치 정보를 한 번에 처리할 수 있도록 합니다.
SAM 2.1 및 CoTracker3를 사용한 컴퓨터 비전의 발전부터 언어 모델 및 로봇 공학의 새로운 개발에 이르기까지 Meta의 최신 AI 업데이트는 AI가 어떻게 이론에서 실용적이고 영향력 있는 솔루션으로 꾸준히 이동하고 있는지 보여줍니다.
이러한 도구는 AI를 다양한 분야에서 보다 적응 가능하고 유용하게 만들도록 설계되었으며, 복잡한 이미지 분할에서 인간 언어 이해, 심지어 물리적 공간에서 우리와 함께 작업하는 데 이르기까지 모든 것을 지원합니다.
접근성과 실제 적용을 우선시함으로써, Meta FAIR는 AI가 실제 문제를 해결하고 우리의 일상생활을 의미 있는 방식으로 향상시킬 수 있는 미래에 우리를 더 가까이 데려다 줍니다.
AI에 대해 더 궁금하신가요? 커뮤니티에 가입하여 최신 업데이트와 인사이트를 얻고, GitHub 저장소를 확인해 보세요. 또한 자율 주행 자동차 및 농업과 같은 산업에서 컴퓨터 비전이 어떻게 활용될 수 있는지 살펴보세요!
