Meta AI의 Segment Anything Model 2(SAM2) 애플리케이션

2024년 7월 29일, Meta AI는 무엇이든 분할 모델의 두 번째 버전인 SAM 2를 출시했습니다. 새로운 모델은 이미지와 동영상에서 대상 객체에 속하는 픽셀이 무엇인지 정확히 식별할 수 있습니다! 가장 큰 장점은 실시간으로 동영상의 모든 프레임에서 객체를 일관되게 추적할 수 있다는 점입니다. SAM 2는 동영상 편집, 혼합 현실 경험, 그리고 컴퓨터 비전 시스템 학습을 위한 시각 데이터의 더 빠른 어노테이션에 새로운 가능성을 열어 줍니다.

기존 SAM은 해양 과학, 위성 이미지, 의학 등의 분야에서 활용되어 왔으며, SAM 2는 빠르게 움직이는 객체와 외형 변화 같은 문제를 해결합니다. 향상된 정확도와 효율성 덕분에 다양한 애플리케이션에 활용할 수 있는 다목적 도구가 되었습니다. 이 글에서는 SAM 2를 적용할 수 있는 분야와 이것이 AI 커뮤니티에 중요한 이유를 중점적으로 살펴보겠습니다.

SAM 2란 무엇인가요?#

무엇이든 분할 모델 2는 이미지와 동영상 모두에서 프롬프트 기반 시각적 분할, 즉 PVS를 지원하는 고급 파운데이션 모델입니다. PVS는 사용자가 제공한 특정 프롬프트나 입력을 바탕으로 모델이 이미지 또는 동영상의 여러 부분을 분할하거나 식별하는 기술입니다. 이러한 프롬프트는 관심 영역을 강조하는 클릭, 박스 또는 마스크 형태로 제공될 수 있습니다. 그러면 모델은 지정된 영역의 윤곽을 나타내는 분할 마스크를 생성합니다.

SAM 2 아키텍처는 이미지 분할에서 동영상 분할까지 확장하여 기존 SAM을 발전시켰습니다. 이미지 데이터와 프롬프트를 사용해 분할 마스크를 생성하는 경량 마스크 디코더를 탑재하고 있습니다. 동영상의 경우 SAM 2는 이전 프레임의 정보를 기억하는 메모리 시스템을 도입하여 시간의 흐름에 따라 정확한 추적을 보장합니다. 메모리 시스템에는 분할 중인 객체에 관한 세부 정보를 저장하고 불러오는 구성 요소가 포함되어 있습니다. 또한 SAM 2는 가림을 처리하고, 여러 프레임에 걸쳐 객체를 추적하며, 여러 개의 가능한 마스크를 생성하여 모호한 프롬프트를 처리할 수 있습니다. SAM 2의 고급 아키텍처는 정적 및 동적 시각 환경 모두에서 뛰어난 성능을 발휘합니다.

특히 동영상 분할과 관련하여 SAM 2는 이전 방법보다 사용자 상호작용을 3배 적게 사용하면서도 더 높은 정확도를 달성합니다. 이미지 분할에서는 기존 무엇이든 분할 모델(SAM)을 능가하며, 6배 더 빠르고 정확합니다. 이러한 개선 사항은 SAM 2 연구 논문에서 37개의 서로 다른 데이터셋을 대상으로 입증되었으며, 이 중 23개는 이전에 SAM을 평가하는 데 사용된 데이터셋입니다.

그림 1. SAM과 SAM 2 비교.

흥미롭게도 Meta AI의 SAM 2는 현재까지 가장 큰 동영상 분할 데이터셋인 SA-V 데이터셋을 구축하여 개발되었습니다. 이 방대한 데이터셋에는 50,000개 이상의 동영상과 3,550만 개의 분할 마스크가 포함되어 있으며, 사용자와의 상호작용을 통한 기여로 수집되었습니다. 어노테이터는 다양한 시나리오와 객체 유형을 통해 모델이 학습할 수 있도록 프롬프트와 수정 사항을 제공했습니다.

무엇이든 분할 모델 2의 응용 분야#

이미지와 동영상 분할에서 뛰어난 기능을 제공하는 SAM 2는 다양한 산업 분야에서 활용할 수 있습니다. 이러한 응용 분야를 몇 가지 살펴보겠습니다.

SAM 2는 증강 현실(AR)과 가상 현실(VR)을 지원합니다#

Meta AI의 새로운 분할 모델은 증강 현실(AR) 및 가상 현실(VR) 애플리케이션에 사용할 수 있습니다. 예를 들어 SAM 2는 실제 객체를 정확하게 식별하고 분할하여 가상 객체와의 상호작용을 더욱 현실적으로 만들 수 있습니다. 게임, 교육, 훈련 등 가상 요소와 실제 요소 간의 현실적인 상호작용이 필수적인 다양한 분야에서 유용하게 활용할 수 있습니다.

AR 안경과 같은 기기가 더욱 발전함에 따라 SAM 2의 기능이 곧 이러한 기기에 통합될 수 있습니다. 안경을 쓰고 거실을 둘러본다고 상상해 보세요. 아래 이미지와 같이 안경이 반려견의 물그릇을 분할하고 인식하면 물을 채우라고 알려줄 수 있습니다. 또는 새로운 레시피로 요리할 때 안경이 조리대 위의 재료를 식별하고 단계별 지침과 팁을 제공하여 요리 경험을 향상하고 필요한 모든 재료를 곁에 준비할 수 있도록 도와줄 수 있습니다.

그림 2. SAM 2는 곧 AR 안경에 사용될 수 있습니다.

무엇이든 분할 모델 2를 활용한 소나 영상#

SAM 모델을 활용한 연구에 따르면 소나 영상과 같은 전문 분야에도 적용할 수 있는 것으로 나타났습니다. 소나 영상은 낮은 해상도, 높은 노이즈 수준, 영상 내 객체의 복잡한 형태로 인해 고유한 문제를 수반합니다. 연구자들은 소나 이미지에 맞게 SAM을 파인튜닝하여 해양 쓰레기, 지질 구조, 기타 관심 대상과 같은 다양한 수중 객체를 정확하게 분할할 수 있음을 입증했습니다. 정밀하고 신뢰할 수 있는 수중 영상은 서식지 매핑, 유물 발견, 위협 감지와 같은 작업을 위한 해양 연구, 수중 고고학, 수산업 관리 및 감시에 활용할 수 있습니다.

그림 3. 파인튜닝된 SAM을 사용한 소나 이미지 분할 예시.

SAM 2는 SAM이 직면했던 여러 문제를 기반으로 이를 개선했으므로 소나 영상 분석을 더욱 발전시킬 가능성이 있습니다. 정밀한 분할 기능은 과학 연구와 수산업을 포함한 다양한 해양 애플리케이션에 도움이 될 수 있습니다. 예를 들어 SAM 2는 수중 구조물의 윤곽을 효과적으로 표시하고, 해양 쓰레기를 감지하며, 전방 주시 소나 이미지에서 객체를 식별하여 더욱 정확하고 효율적인 수중 탐사 및 모니터링에 기여할 수 있습니다.

소나 영상 분석에 SAM 2를 사용할 때 얻을 수 있는 잠재적 이점은 다음과 같습니다.

• 효율성: 수동 분할에 필요한 시간과 노력을 줄여 전문가가 분석과 의사 결정에 더 집중할 수 있도록 합니다.
• 일관성: 대규모 해양 연구 및 모니터링에 필수적인 일관되고 재현 가능한 분할 결과를 제공합니다.
• 다용도성: 광범위한 소나 이미지를 처리할 수 있어 해양 과학 및 산업의 다양한 애플리케이션에 유용합니다.

SAM 2를 소나 영상 프로세스에 통합하면 해양 산업은 수중 탐사 및 분석에서 더 높은 효율성, 정확도 및 신뢰성을 달성할 수 있으며, 궁극적으로 해양 연구에서 더 나은 결과로 이어질 수 있습니다.

자율주행 차량에서 SAM 2 사용하기#

SAM 2의 또 다른 응용 분야는 자율주행 차량입니다. SAM 2는 보행자, 다른 차량, 도로 표지판 및 장애물과 같은 객체를 실시간으로 정확하게 식별할 수 있습니다. SAM 2가 제공하는 세부 정보 수준은 안전한 내비게이션과 충돌 회피를 결정하는 데 필수적입니다. SAM 2는 시각 데이터를 정밀하게 처리하여 주변 환경의 상세하고 신뢰할 수 있는 지도를 만드는 데 도움을 주며, 더 나은 의사 결정으로 이어집니다.

그림 4. 분할을 사용한 교통 상황 이해.

다양한 조명 조건, 날씨 변화 및 동적 환경에서 원활하게 작동하는 SAM 2의 능력은 자율주행 차량에 높은 신뢰성을 제공합니다. 번화한 도심 도로든 안개가 낀 고속도로든 SAM 2는 객체를 일관되고 정확하게 식별 및 분할하여 차량이 다양한 상황에 올바르게 대응할 수 있도록 합니다.

하지만 염두에 두어야 할 몇 가지 한계가 있습니다. 복잡하고 빠르게 움직이는 객체의 경우 SAM 2가 세부 정보를 놓칠 수 있으며, 프레임 간 예측이 불안정해질 수 있습니다. 또한 SAM 2는 혼잡한 장면에서 외관이 비슷한 여러 객체를 혼동할 수 있습니다. 이러한 문제 때문에 자율주행 애플리케이션에서는 추가 센서와 기술을 통합하는 것이 중요합니다.

SAM 2를 활용한 환경 모니터링#

컴퓨터 비전을 활용한 환경 모니터링은 특히 어노테이션된 데이터가 부족할 때 까다로울 수 있지만, 바로 그렇기 때문에 SAM 2에 흥미로운 응용 분야가 됩니다. SAM 2는 위성 또는 드론 이미지에서 산림, 수역, 도시 지역 및 농경지와 같은 다양한 환경 특징을 정확하게 분할하고 식별하여 자연경관의 변화를 추적하고 분석하는 데 사용할 수 있습니다. 특히 정밀한 분할은 시간에 따른 삼림 벌채, 도시화 및 토지 이용 변화를 모니터링하여 환경 보전과 계획 수립에 유용한 데이터를 제공합니다.

SAM 2와 같은 모델을 사용하여 시간에 따른 환경 변화를 분석할 때 얻을 수 있는 이점은 다음과 같습니다.

• 조기 감지: 환경 악화의 초기 징후를 식별하여 추가 피해를 방지하기 위한 시기적절한 개입을 가능하게 합니다.
• 자원 관리: 다양한 환경 특징의 상태에 관한 상세한 정보를 제공하여 천연자원을 효율적으로 관리할 수 있도록 지원합니다.
• 생물 다양성 보전: 야생동물을 추적하고 생물 다양성을 모니터링하여 보전 활동과 멸종 위기종 보호에 기여합니다.
• 재난 대응: 홍수, 산불, 허리케인과 같은 자연재해의 영향을 평가하여 신속하고 효과적인 재난 대응 및 복구 계획 수립을 지원합니다.

SAM 2를 활용한 동영상 편집: 직접 사용해 보세요#

무엇이든 분할 2 데모는 동영상에서 모델을 사용해 볼 수 있는 좋은 방법입니다. SAM 2의 PVS 기능을 사용하여 오래된 Ultralytics YouTube 동영상에서 세 개의 객체 또는 사람을 분할하고 픽셀화했습니다. 기존에는 이처럼 동영상에서 세 사람을 편집하려면 시간이 오래 걸리고 번거로웠으며, 프레임마다 수동으로 마스킹해야 했습니다. 하지만 SAM 2는 이 과정을 간소화합니다. 데모에서 몇 번 클릭하면 몇 초 만에 관심 대상 세 개의 신원을 보호할 수 있습니다.

그림 6. SAM 2 데모 사용해 보기.

또한 데모에서는 추적하도록 선택한 객체를 스포트라이트로 강조하거나 추적 중인 객체를 지우는 등 몇 가지 시각 효과를 사용해 볼 수 있습니다. 데모가 마음에 들었고 SAM 2로 혁신을 시작할 준비가 되었다면, 모델을 직접 활용하는 방법에 대한 자세한 지침은 Ultralytics SAM 2 모델 문서 페이지를 확인해 보세요. 기능, 설치 단계 및 예제를 살펴보고 프로젝트에서 SAM 2의 잠재력을 최대한 활용해 보세요!

마무리#

Meta AI의 무엇이든 분할 모델 2(SAM 2)는 동영상 및 이미지 분할을 혁신하고 있습니다. 객체 추적과 같은 작업이 개선되면서 동영상 편집, 혼합 현실, 과학 연구 및 의료 영상 분야에서 새로운 기회를 발견하고 있습니다. SAM 2는 복잡한 작업을 더 쉽게 만들고 어노테이션을 가속화하여 AI 커뮤니티의 중요한 도구로 자리 잡을 준비를 마쳤습니다. SAM 2와 같은 모델을 계속 탐색하고 혁신해 나감에 따라 다양한 분야에서 더욱 획기적인 애플리케이션과 발전을 기대할 수 있습니다!

GitHub 저장소를 살펴보고 커뮤니티에 참여하여 AI에 대해 더 알아보세요. 제조 및 의료 분야의 AI에 관한 자세한 내용은 솔루션 페이지에서 확인할 수 있습니다. 🚀