Google의 PaliGemma 2: 고급 VLM 모델 살펴보기

2024년 12월 5일, Google은 최신 비전-언어 모델(VLM)인 PaliGemma 2를 공개했습니다. PaliGemma 2는 이미지 설명 생성, 시각적 질문에 답변, 이미지 내 객체 탐지처럼 이미지와 텍스트를 함께 사용하는 작업을 처리하도록 설계되었습니다.

다국어 이미지 설명 생성과 객체 인식에 이미 강력한 성능을 보였던 기존 PaliGemma를 기반으로 PaliGemma 2는 몇 가지 핵심 개선 사항을 제공합니다. 더 큰 모델 크기, 고해상도 이미지 지원, 복잡한 시각 작업에서의 성능 향상 등이 포함됩니다. 이러한 개선으로 다양한 용도에서 더욱 유연하고 효과적으로 사용할 수 있습니다.

이 글에서는 PaliGemma 2의 작동 방식, 주요 기능, 강점을 발휘하는 응용 분야를 자세히 살펴보겠습니다.

Gemma 2에서 PaliGemma 2까지#

PaliGemma 2는 SigLIP 비전 인코더와 Gemma 2 언어 모델이라는 두 가지 핵심 기술을 기반으로 합니다. SigLIP 인코더는 이미지나 동영상 같은 시각 데이터를 처리하고 모델이 분석할 수 있는 특징으로 변환합니다. Gemma 2는 텍스트를 처리해 모델이 다국어를 이해하고 생성할 수 있도록 합니다. 두 기술은 시각 정보와 텍스트 정보를 해석하고 연결하도록 설계된 VLM을 구성합니다.

PaliGemma 2가 크게 발전한 이유는 확장성과 다용도성입니다. 기존 버전과 달리 PaliGemma 2는 30억(3B), 100억(10B), 280억(28B)개의 파라미터로 구성된 세 가지 크기로 제공됩니다. 파라미터는 모델의 내부 설정과 같으며, 모델이 데이터를 효과적으로 학습하고 처리하도록 돕습니다. 또한 다양한 이미지 해상도(예: 빠른 작업에는 224 x 224픽셀, 상세 분석에는 896 x 896픽셀)를 지원해 여러 응용 분야에 맞게 조정할 수 있습니다.

그림 1. PaliGemma 2 개요.

Gemma 2의 고급 언어 기능과 SigLIP의 이미지 처리 기능을 통합하면 PaliGemma 2의 성능이 크게 향상됩니다. PaliGemma 2는 다음과 같은 작업을 처리할 수 있습니다.

• 이미지 또는 동영상 캡션 생성: 모델은 시각 자료를 자세한 텍스트로 설명할 수 있어 캡션 자동 생성에 유용합니다.
• 시각적 질문 답변: PaliGemma 2는 이미지에 기반해 장면 속 객체, 사람 또는 행동을 식별하는 등의 질문에 답할 수 있습니다.
• 객체 인식: 이미지 안의 객체를 식별하고 레이블을 지정합니다. 예를 들어 사진에서 고양이, 탁자, 자동차를 구분할 수 있습니다.

PaliGemma 2는 이미지와 텍스트를 각각 처리하는 데 그치지 않고, 두 정보를 의미 있게 결합합니다. 예를 들어 “고양이가 탁자 위에 앉아 있다”와 같이 장면 속 관계를 이해하거나, 유명한 랜드마크를 알아보는 것처럼 맥락을 더해 객체를 식별할 수 있습니다.

Google의 PaliGemma 2 VLM 모델 작동 방식#

다음으로, PaliGemma 2가 시각 데이터와 텍스트 데이터를 처리하는 방식을 더 잘 이해할 수 있도록 아래 이미지에 표시된 그래프를 사용한 예를 살펴보겠습니다. 이 그래프를 업로드한 다음 모델에 “이 그래프는 무엇을 나타내나요?”라고 묻는다고 가정해 보겠습니다.

그림 2. PaliGemma 2 기능의 예시.

먼저 PaliGemma 2의 SigLIP 비전 인코더가 이미지를 분석하고 주요 특징을 추출합니다. 그래프의 경우 축, 데이터 포인트, 레이블과 같은 요소를 식별합니다. 인코더는 전반적인 패턴과 세부 정보를 모두 포착하도록 학습됩니다. 또한 광학 문자 인식(OCR)을 사용해 이미지에 포함된 텍스트를 감지하고 처리합니다. 이렇게 추출한 시각적 특징은 모델이 처리할 수 있는 숫자 표현인 토큰으로 변환됩니다. 그런 다음 선형 투영 계층을 사용해 토큰을 조정합니다. 이 기법을 통해 토큰을 텍스트 데이터와 결합할 수 있습니다.

동시에 Gemma 2 언어 모델은 함께 제공된 질의를 처리해 그 의미와 의도를 파악합니다. 질의의 텍스트는 토큰으로 변환되고, 이 토큰은 SigLIP에서 생성된 시각 토큰과 결합되어 시각 데이터와 텍스트 데이터를 연결하는 통합 형식인 멀티모달 표현을 생성합니다.

PaliGemma 2는 이렇게 통합된 표현을 바탕으로 자기회귀 디코딩을 통해 단계별로 응답을 생성합니다. 자기회귀 디코딩은 모델이 이미 처리한 문맥을 기반으로 답변의 일부를 한 번에 하나씩 예측하는 방식입니다.

PaliGemma 2의 주요 기능#

작동 방식을 살펴보았으니, PaliGemma 2를 신뢰할 수 있는 비전-언어 모델로 만드는 주요 기능을 알아보겠습니다.

• 파인튜닝 유연성: 특정 데이터셋과 작업에 쉽게 적응하며, 이미지 설명 생성, 공간 추론, 의료 영상과 같은 응용 분야에서 우수한 성능을 발휘합니다.
• 다양한 학습 데이터: WebLI 및 Open Images와 같은 데이터셋으로 학습해 뛰어난 객체 인식 능력과 다국어 출력 기능을 갖췄습니다.
• OCR 통합: 이미지에서 텍스트를 추출하고 해석하는 광학 문자 인식 기능이 포함되어 있어 문서 분석과 기타 텍스트 기반 작업에 적합합니다.
• 다국어 출력: 여러 언어로 캡션과 응답을 생성하므로 글로벌 응용 분야에 적합합니다.
• 도구 통합: Hugging Face Transformers, PyTorch, Keras와 같은 프레임워크와 호환되어 손쉽게 배포하고 실험할 수 있습니다.

PaliGemma 2와 PaliGemma 비교: 무엇이 개선되었을까요?#

첫 번째 PaliGemma 버전의 아키텍처를 살펴보면 PaliGemma 2의 개선 사항을 이해하는 데 도움이 됩니다. 가장 눈에 띄는 변화 중 하나는 기존 Gemma 언어 모델을 Gemma 2로 교체한 것입니다. 이를 통해 성능과 효율성이 모두 크게 향상되었습니다.

2B, 9B, 27B 파라미터 크기로 제공되는 Gemma 2는 배포 비용을 줄이면서도 업계를 선도하는 정확도와 속도를 제공하도록 설계되었습니다. 이를 위해 강력한 GPU부터 더 쉽게 이용할 수 있는 구성까지 다양한 하드웨어 설정에서 추론 효율성을 높이도록 아키텍처를 재설계했습니다.

그림 3. PaliGemma 첫 번째 버전을 되돌아봅니다.

그 결과 PaliGemma 2는 정확도가 매우 높은 모델입니다. PaliGemma 2의 10B 버전은 원래 모델의 34.3보다 낮은 20.3의 비함의 문장(NES) 점수를 달성해 출력의 사실 오류가 더 적습니다. 이러한 발전으로 PaliGemma 2는 세부적인 이미지 설명 생성부터 시각적 질의응답까지 더 다양한 응용 분야에서 확장성, 정밀도, 적응성이 향상되었습니다. Gemma 4 26B와 같은 Google의 최신 Gemma 4 모델은 실제 객체 탐지 성능을 VLM 리더보드에서 다른 비전-언어 모델과 비교합니다.

PaliGemma 2의 응용 분야: VLM 모델의 실제 활용 사례#

PaliGemma 2는 시각 정보와 언어를 모두 이해하므로 다양한 산업 분야에 적용할 수 있습니다. 예를 들어 접근성 측면에서 사물, 장면, 공간적 관계를 상세히 설명하여 시각 장애가 있는 사람들에게 중요한 도움을 제공할 수 있습니다. 이러한 기능은 사용자가 주변 환경을 더 잘 이해하도록 돕고 일상적인 작업에서 더 큰 독립성을 누릴 수 있게 합니다.

그림 4. PaliGemma 2는 세상을 더 접근하기 쉬운 곳으로 만들 수 있습니다.

접근성 외에도 PaliGemma 2는 다음을 비롯한 다양한 산업 분야에 영향을 미치고 있습니다.

• 전자상거래: 이미지 속 상품을 분석하고 설명해 상품 분류를 개선하며, 재고 관리를 간소화하고 사용자의 검색 경험을 향상합니다.
• 의료: X선 및 MRI와 같은 의료 영상과 임상 기록을 함께 해석해 의료 전문가를 지원하고, 더 정확하고 충분한 정보를 바탕으로 진단할 수 있도록 합니다.
• 교육: PaliGemma 2는 이미지 캡션을 생성하고 이미지에 대한 맥락 정보를 제공하여 교육자가 설명이 풍부하고 접근성 높은 학습 자료를 제작하도록 지원합니다.
• 콘텐츠 제작: 이 모델은 멀티미디어 콘텐츠의 캡션과 시각적 설명을 생성하는 과정을 자동화하여 제작자의 시간을 절약해 줍니다.

직접 사용해 보세요: PaliGemma 2#

PaliGemma 2를 사용해 보려면 Hugging Face의 인터랙티브 데모부터 시작할 수 있습니다. 이 데모에서는 이미지 캡션 생성 및 시각적 질의응답과 같은 작업에서 모델의 기능을 살펴볼 수 있습니다. 이미지를 업로드한 다음 모델에 이미지에 관한 질문을 하거나 장면에 대한 설명을 요청하기만 하면 됩니다.

그림 5. PaliGemma 2 데모(출처: Hugging Face).

더 자세히 알아보고 싶다면 다음 방법으로 직접 사용해 볼 수 있습니다.

• 사전 학습 모델: Hugging Face, Kaggle과 같은 플랫폼에서 사전 학습 모델과 코드에 액세스할 수 있습니다. 이러한 리소스에는 모델 작업을 시작하는 데 필요한 모든 것이 포함되어 있습니다.
• 노트북: PaliGemma 2에 익숙해질 수 있도록 포괄적인 문서와 예제 노트북이 제공됩니다. 추론 예제로 시작한 다음, 특정 작업에 맞게 자체 데이터셋으로 모델을 파인튜닝해 볼 수 있습니다.
• 통합: PaliGemma 2는 Hugging Face Transformers, Keras, PyTorch, JAX, Gemma.cpp와 같이 널리 사용되는 프레임워크와 호환되므로 기존 워크플로에 통합할 수 있습니다.

Google PaliGemma 2의 장단점#

PaliGemma 2를 시작하는 방법을 살펴보았으니, 이제 이러한 모델을 사용할 때 염두에 두어야 할 주요 강점과 단점을 자세히 살펴보겠습니다.

PaliGemma 2가 비전-언어 모델로서 두각을 나타내는 이유는 다음과 같습니다.

• 효율성 향상: Gemma 2의 최적화된 아키텍처를 활용하는 PaliGemma 2는 배포 비용을 최소화하면서 높은 성능을 제공합니다.
• 향상된 안전 기능: PaliGemma 2는 사전 학습 데이터의 강력한 필터링을 통한 편향 감소와 안전성 벤치마크에 기반한 엄격한 평가 등, 학습 과정에서 상당한 안전성 개선을 적용했습니다.
• 소규모 구성에서 낮은 지연 시간: 3B 모델은 추론 속도가 더 빠르므로 속도가 중요한 사용 사례에 적합합니다. 예를 들어 전자상거래 제품 추천이나 실시간 지원 시스템에 활용할 수 있습니다.

한편, PaliGemma 2에는 다음과 같은 한계가 있을 수 있습니다.

• 지연 시간: 성능이 뛰어나지만 대형 모델은 지연 시간 문제를 겪을 수 있습니다. 특히 실시간 인터랙티브 AI 시스템처럼 즉각적인 응답이 필요한 작업에 배포할 때 문제가 될 수 있습니다.
• 대규모 데이터셋 의존성: PaliGemma 2의 성능은 학습 데이터셋의 품질과 다양성에 크게 좌우되므로, 학습 데이터에 포함되지 않은 언어나 충분히 대표되지 않은 분야에서는 효과가 제한될 수 있습니다.
• 높은 리소스 요구 사항: 최적화가 이루어졌더라도 10B 및 28B 파라미터 버전은 상당한 컴퓨팅 성능을 요구하므로 리소스가 제한된 소규모 조직에서는 접근하기 어렵습니다.

핵심 요점#

PaliGemma 2는 확장성, 파인튜닝 유연성 및 정확도를 개선한 흥미로운 비전-언어 모델링의 발전입니다. 접근성 솔루션과 전자상거래부터 의료 진단 및 교육에 이르기까지 다양한 애플리케이션에서 유용한 도구로 활용할 수 있습니다.

컴퓨팅 요구 사항과 고품질 데이터에 대한 의존성 등의 한계가 있지만, PaliGemma 2의 강점은 시각 데이터와 텍스트 데이터를 결합하는 복잡한 작업을 해결하는 데 실용적인 선택지가 됩니다. PaliGemma 2는 연구자와 개발자가 멀티모달 애플리케이션에서 AI의 잠재력을 탐구하고 확장할 수 있는 견고한 기반을 제공할 수 있습니다.

GitHub 저장소와 커뮤니티를 살펴보고 AI 관련 논의에 참여해 보세요. AI가 농업과 의료 분야에서 어떤 발전을 이루고 있는지 알아보세요!