Meta AI의 SAM 2(Segment Anything Model 2) 응용 분야

2024년 7월 29일, Meta AI는 Segment Anything Model의 두 번째 버전인 SAM 2를 출시했습니다. 이 새로운 모델은 이미지와 비디오 모두에서 대상 객체에 속하는 픽셀을 정확하게 찾아낼 수 있습니다! 가장 큰 장점은 모델이 실시간으로 비디오의 모든 프레임에 걸쳐 객체를 지속적으로 추적할 수 있다는 점입니다. SAM 2는 비디오 편집, 혼합 현실 경험, 그리고 컴퓨터 비전 시스템 학습을 위한 시각 데이터 주석 작업의 속도를 높이는 등 흥미로운 가능성을 열어줍니다.

해양 과학, 위성 이미지, 의료와 같은 분야에서 사용되어 온 오리지널 SAM의 성공을 바탕으로, SAM 2는 빠르게 움직이는 객체와 외형 변화와 같은 문제들을 해결합니다. 향상된 정확도와 효율성 덕분에 다양한 애플리케이션에서 다재다능한 도구로 활용될 수 있습니다. 본 문서에서는 SAM 2를 적용할 수 있는 분야와 이것이 AI 커뮤니티에 중요한 이유를 중점적으로 다룹니다.

Link to this sectionSAM 2란 무엇인가요?#

Segment Anything Model 2는 이미지와 비디오 모두에서 프롬프트 기반 시각적 세그멘테이션(PVS)을 지원하는 고급 파운데이션 모델입니다. PVS는 모델이 사용자가 제공한 특정 프롬프트나 입력값을 기반으로 이미지 또는 비디오의 다양한 부분을 세그멘테이션하거나 식별할 수 있는 기술입니다. 이러한 프롬프트는 관심 영역을 강조하는 클릭, 박스, 또는 마스크 형태일 수 있습니다. 그 후 모델은 지정된 영역을 외곽선으로 표시하는 세그멘테이션 마스크를 생성합니다.

SAM 2 아키텍처는 이미지 세그멘테이션에서 비디오 세그멘테이션까지 확장하여 오리지널 SAM을 기반으로 구축되었습니다. 이미지 데이터와 프롬프트를 사용하여 세그멘테이션 마스크를 생성하는 경량 마스크 디코더가 특징입니다. 비디오의 경우, SAM 2는 이전 프레임의 정보를 기억하여 시간이 지나도 정확한 추적을 보장하는 메모리 시스템을 도입했습니다. 메모리 시스템에는 세그멘테이션 중인 객체에 대한 세부 정보를 저장하고 불러오는 구성 요소가 포함되어 있습니다. 또한 SAM 2는 폐색(occlusion)을 처리하고, 여러 프레임에 걸쳐 객체를 추적하며, 여러 가능한 마스크를 생성하여 모호한 프롬프트를 관리할 수 있습니다. SAM 2의 고급 아키텍처는 정적 및 동적 시각 환경 모두에서 매우 뛰어난 성능을 발휘합니다.

특히 비디오 세그멘테이션과 관련하여 SAM 2는 이전 방식보다 3배 적은 사용자 상호작용으로 더 높은 정확도를 달성합니다. 이미지 세그멘테이션의 경우, SAM 2는 오리지널 Segment Anything Model (SAM)보다 6배 빠르고 정확한 성능을 보입니다. 이러한 향상된 성능은 SAM 2 연구 논문에서 SAM이 이전에 테스트되었던 23개의 데이터셋을 포함한 37개의 서로 다른 데이터셋을 통해 입증되었습니다.

그림 1. SAM과 SAM 2 비교.

흥미롭게도 Meta AI의 SAM 2는 현재까지 가장 방대한 비디오 세그멘테이션 데이터셋인 SA-V 데이터셋을 생성하여 개발되었습니다. 이 광범위한 데이터셋에는 50,000개 이상의 비디오와 3,550만 개의 세그멘테이션 마스크가 포함되어 있으며, 대화형 사용자 기여를 통해 수집되었습니다. 주석 작성자들은 모델이 다양한 시나리오와 객체 유형으로부터 학습할 수 있도록 프롬프트와 수정 사항을 제공했습니다.

Link to this sectionSegment Anything Model 2의 활용 사례#

이미지 및 비디오 세그멘테이션 분야의 고급 기능 덕분에 SAM 2는 다양한 산업 전반에서 활용될 수 있습니다. 이러한 활용 사례 중 일부를 살펴보겠습니다.

Link to this sectionSAM 2로 가능해진 증강 현실(AR)과 가상 현실(VR)#

Meta AI의 새로운 세그멘테이션 모델은 증강 현실(AR) 및 가상 현실(VR) 애플리케이션에 사용될 수 있습니다. 예를 들어, SAM 2는 실제 객체를 정확하게 식별하고 세그멘테이션하여 가상 객체와의 상호작용을 더 현실감 있게 만들 수 있습니다. 가상 요소와 실제 요소 간의 현실적인 상호작용이 필수적인 게임, 교육, 훈련과 같은 다양한 분야에서 유용하게 쓰일 수 있습니다.

AR 글래스와 같은 장치가 더욱 발전함에 따라 곧 SAM 2의 기능을 통합할 수 있게 될 것입니다. 안경을 쓰고 거실을 둘러보는 상황을 상상해 보십시오. 아래 이미지처럼 안경이 강아지의 물그릇을 세그멘테이션하여 인식하면 물을 채우라고 알려줄 수 있습니다. 또는 새로운 요리법을 따라 하는 경우, 안경이 조리대 위의 재료를 식별하여 단계별 지침과 팁을 제공함으로써 요리 경험을 향상하고 필요한 모든 항목을 손쉽게 확인할 수 있도록 도울 것입니다.

그림 2. SAM 2가 곧 AR 글래스에 사용될 수 있습니다.

Link to this sectionSegment Anything Model 2를 활용한 소나(Sonar) 이미징#

SAM 모델을 사용한 연구 결과에 따르면 이 모델은 소나 이미징과 같은 특수 분야에도 적용될 수 있습니다. 소나 이미징은 낮은 해상도, 높은 노이즈 수준, 이미지 내 객체의 복잡한 모양 때문에 고유한 문제들을 안고 있습니다. 연구원들은 SAM을 소나 이미지에 맞게 파인튜닝함으로써 해양 쓰레기, 지질 구조, 기타 관심 대상과 같은 다양한 수중 객체를 정확하게 세그멘테이션하는 능력을 입증했습니다. 정밀하고 신뢰할 수 있는 수중 이미징은 해양 연구, 수중 고고학, 수산업 관리, 감시 분야에서 서식지 매핑, 유물 발견, 위협 탐지와 같은 작업을 수행하는 데 사용될 수 있습니다.

그림 3. 소나 이미지 세그멘테이션을 위해 파인튜닝된 SAM을 사용한 예시.

SAM 2는 SAM이 직면한 많은 과제를 개선하고 이를 바탕으로 구축되었기 때문에 소나 이미징 분석을 더욱 향상할 잠재력이 있습니다. 정밀한 세그멘테이션 기능은 과학 연구 및 수산업을 포함한 다양한 해양 애플리케이션을 도울 수 있습니다. 예를 들어, SAM 2는 수중 구조물을 효과적으로 외곽선 처리하고, 해양 쓰레기를 감지하며, 전방 탐색 소나 이미지에서 객체를 식별하여 보다 정확하고 효율적인 수중 탐사 및 모니터링에 기여할 수 있습니다.

소나 이미징 분석에 SAM 2를 사용할 때의 잠재적 이점은 다음과 같습니다.

• 효율성: 수동 세그멘테이션에 필요한 시간과 노력을 줄여 전문가들이 분석 및 의사 결정에 더 집중할 수 있게 합니다.
• 일관성: 대규모 해양 연구 및 모니터링에 필수적인 일관되고 재현 가능한 세그멘테이션 결과를 제공합니다.
• 범용성: 다양한 소나 이미지를 처리할 수 있어 해양 과학 및 산업의 다양한 응용 분야에 유용합니다.

SAM 2를 소나 이미징 프로세스에 통합함으로써 해양 산업은 수중 탐사 및 분석에서 더 높은 효율성, 정확성, 신뢰성을 달성할 수 있으며 궁극적으로 해양 연구의 더 나은 성과로 이어질 것입니다.

Link to this section자율 주행 차량에서의 SAM 2 활용#

SAM 2의 또 다른 응용 분야는 자율 주행 차량입니다. SAM 2는 보행자, 다른 차량, 도로 표지판, 장애물과 같은 객체를 실시간으로 정확하게 식별할 수 있습니다. SAM 2가 제공할 수 있는 세부 정보 수준은 안전한 내비게이션 및 충돌 방지 결정을 내리는 데 필수적입니다. 시각 데이터를 정밀하게 처리함으로써 SAM 2는 환경에 대한 상세하고 신뢰할 수 있는 지도를 생성하고 더 나은 의사 결정을 이끄는 데 도움을 줍니다.

그림 4. 교통 상황 파악을 위한 세그멘테이션 사용.

다양한 조명 조건, 날씨 변화, 동적 환경에서 잘 작동하는 SAM 2의 능력은 자율 주행 차량에 신뢰성을 부여합니다. 혼잡한 도심 거리든 안개가 자욱한 고속도로든, SAM 2는 차량이 다양한 상황에 올바르게 대응할 수 있도록 객체를 일관되게 식별하고 세그멘테이션할 수 있습니다.

그러나 염두에 두어야 할 몇 가지 제한 사항도 있습니다. 복잡하고 빠르게 움직이는 객체의 경우, SAM 2는 때때로 세부 정보를 놓칠 수 있으며 프레임 간 예측이 불안정해질 수 있습니다. 또한 SAM 2는 혼잡한 장면에서 비슷하게 생긴 여러 객체를 혼동할 때도 있습니다. 이러한 과제 때문에 자율 주행 애플리케이션에서는 추가 센서 및 기술의 통합이 매우 중요합니다.

Link to this sectionSAM 2의 도움을 받는 환경 모니터링#

컴퓨터 비전을 사용하는 환경 모니터링은 특히 주석 데이터가 부족할 때 까다로울 수 있지만, 바로 그 점이 SAM 2에게 흥미로운 응용 분야가 됩니다. SAM 2는 위성 또는 드론 이미지에서 숲, 수역, 도시 지역, 농경지와 같은 다양한 환경적 특징을 정확하게 세그멘테이션하고 식별함으로써 자연 경관의 변화를 추적하고 분석하는 데 사용될 수 있습니다. 특히 정밀한 세그멘테이션은 산림 파괴, 도시화, 시간 경과에 따른 토지 이용 변화를 모니터링하여 환경 보전 및 계획 수립을 위한 귀중한 데이터를 제공하는 데 도움이 됩니다.

시간에 따른 환경 변화 분석을 위해 SAM 2와 같은 모델을 사용하는 이점은 다음과 같습니다:

• 조기 탐지: 환경 파괴의 초기 징후를 식별하여 추가 피해를 방지하기 위한 적절한 개입을 가능하게 합니다.
• 자원 관리: 다양한 환경적 특징의 상태에 대한 상세한 통찰력을 제공하여 천연자원을 효율적으로 관리하도록 돕습니다.
• 생물 다양성 보전: 야생 동물 추적 및 생물 다양성 모니터링을 지원하여 보전 노력과 멸종 위기 종 보호에 기여합니다.
• 재난 대응: 홍수, 산불, 허리케인과 같은 자연재해의 영향을 평가하여 신속하고 효과적인 재난 대응 및 복구 계획 수립을 지원합니다.

Link to this sectionSAM 2를 이용한 비디오 편집: 직접 체험해 보세요#

Segment Anything 2 데모는 비디오에서 이 모델을 직접 체험해 볼 수 있는 좋은 방법입니다. SAM 2의 PVS 기능을 사용하여 오래된 Ultralytics YouTube 비디오에서 세 명의 객체 또는 사람을 세그멘테이션하고 픽셀화할 수 있었습니다. 기존 방식으로 비디오에서 세 명을 편집하려면 시간이 많이 걸리고 번거로우며 프레임별로 직접 마스킹을 수행해야 했습니다. 하지만 SAM 2는 이 과정을 단순화합니다. 데모에서 몇 번의 클릭만으로 관심 있는 세 객체의 신원을 몇 초 만에 보호할 수 있습니다.

그림 6. SAM 2 데모 체험하기.

또한 데모에서는 추적을 위해 선택한 객체에 스포트라이트를 비추거나 추적 중인 객체를 지우는 등 몇 가지 다른 시각 효과를 시도해 볼 수 있습니다. 데모가 마음에 들었고 SAM 2를 활용한 혁신을 시작할 준비가 되셨다면, Ultralytics SAM 2 모델 문서 페이지를 확인하여 모델을 직접 다루는 방법에 대한 자세한 지침을 확인하세요. 기능, 설치 단계, 예제를 탐색하여 프로젝트에서 SAM 2의 잠재력을 완전히 활용해 보세요!

Link to this section마무리하며#

Meta AI의 Segment Anything Model 2(SAM 2)는 비디오 및 이미지 세그멘테이션을 혁신하고 있습니다. 객체 추적과 같은 작업이 향상됨에 따라 비디오 편집, 혼합 현실, 과학 연구, 의료 이미징 분야에서 새로운 기회를 발견하고 있습니다. 복잡한 작업을 더 쉽게 만들고 주석 작업을 가속화함으로써, SAM 2는 AI 커뮤니티의 중요한 도구가 될 준비를 마쳤습니다. SAM 2와 같은 모델을 계속 탐구하고 혁신해 나감에 따라, 우리는 다양한 분야에서 훨씬 더 획기적인 응용 사례와 발전을 기대할 수 있을 것입니다!

GitHub 저장소를 탐색하고 저희 커뮤니티에 가입하여 AI에 대해 더 자세히 알아보세요. 제조업 및 의료 분야에서의 AI에 대한 자세한 통찰력은 솔루션 페이지에서 확인하실 수 있습니다. 🚀