비전 언어 모델과 활용 사례 이해하기

이전 글에서는 GPT-4o가 이미지 내용을 단어로 이해하고 설명하는 방법을 살펴보았습니다. Google Gemini와 Claude 3 같은 다른 최신 모델에서도 이러한 기능을 확인할 수 있습니다. 이번에는 이 개념을 더 자세히 살펴보고 Vision Language Model의 작동 방식과 시각 데이터 및 텍스트 데이터를 결합하는 방법을 설명합니다.

이러한 모델은 사진에 대한 상세한 캡션 생성, 이미지에 관한 질문에 답변, 텍스트 설명을 바탕으로 새로운 시각 콘텐츠 생성 등 다양한 인상적인 작업에 사용할 수 있습니다. 시각 정보와 언어 정보를 원활하게 통합하는 Vision Language Model은 기술과 상호작용하고 주변 세계를 이해하는 방식을 바꾸고 있습니다.

Vision Language Model의 작동 방식#

Vision Language Model(VLM)의 활용 분야를 살펴보기 전에, VLM이 무엇이며 어떻게 작동하는지 알아보겠습니다. VLM은 비전 모델과 언어 모델의 기능을 결합해 이미지와 텍스트를 모두 처리하는 고급 AI 모델입니다. 이러한 모델은 이미지와 함께 텍스트 설명을 입력받아 두 요소를 연결하는 방법을 학습합니다. 모델의 비전 부분은 이미지에서 세부 정보를 추출하고, 언어 부분은 텍스트를 이해합니다. 이러한 협업을 통해 VLM은 이미지와 텍스트를 모두 이해하고 분석할 수 있습니다.

Vision Language Model의 주요 기능은 다음과 같습니다.

• 이미지 캡셔닝: 이미지 내용을 바탕으로 설명 텍스트를 생성합니다.
• 시각 질의응답(VQA): 이미지 내용과 관련된 질문에 답변합니다.
• 텍스트 기반이미지 생성: 텍스트 설명을 바탕으로 이미지를 생성합니다.
• 이미지-텍스트 검색: 주어진 텍스트 쿼리에 적합한 이미지를 찾거나, 그 반대의 작업을 수행합니다.
• 멀티모달 콘텐츠 생성: 이미지와 텍스트를 결합해 새로운 콘텐츠를 생성합니다.
• 장면 이해 및 객체 탐지: 이미지 내 객체와 세부 사항을 식별하고 분류합니다.

그림 1. Vision Language Model 기능의 예시입니다.

다음으로 CLIP, SimVLM, VisualGPT와 같은 잘 알려진 모델에서 사용하는 일반적인 VLM 아키텍처와 학습 기법을 살펴보겠습니다.

대조 학습#

대조 학습은 데이터 포인트 간의 차이를 비교해 모델이 학습하도록 돕는 기법입니다. 각 데이터 인스턴스가 얼마나 비슷하거나 다른지 계산하고, 이러한 차이를 측정하는 대조 손실을 최소화하는 것을 목표로 합니다. 소수의 레이블이 지정된 예시를 통해 모델이 새롭고 보지 못한 데이터에 레이블을 지정하도록 유도하는 준지도 학습에서 특히 유용합니다. 예를 들어, 고양이의 생김새를 이해하기 위해 모델은 비슷한 고양이 이미지와 개 이미지를 비교합니다. 대조 학습 기법은 얼굴 구조, 몸 크기, 털과 같은 특징을 식별해 고양이와 개를 구별할 수 있습니다.

그림 2. 대조 학습의 작동 방식입니다.

CLIP은 대조 학습을 사용해 텍스트 설명과 이미지를 연결하는 Vision-Language Model입니다. 세 가지 간단한 단계로 작동합니다. 먼저 텍스트와 이미지를 모두 이해하는 모델 구성 요소를 학습합니다. 다음으로 데이터셋의 카테고리를 텍스트 설명으로 변환합니다. 마지막으로 주어진 이미지와 가장 잘 일치하는 설명을 찾습니다. 이 방법 덕분에 CLIP 모델은 특정 작업에 맞춰 별도로 학습하지 않은 경우에도 정확한 예측을 수행할 수 있습니다.

PrefixLM#

PrefixLM은 모델 학습에 사용되는 자연어 처리(NLP) 기법입니다. 문장의 일부인 접두부에서 시작해 다음 단어를 예측하도록 학습합니다. Vision-Language Model에서 PrefixLM은 이미지와 주어진 텍스트 일부를 바탕으로 다음 단어를 예측하도록 모델을 돕습니다. 이 기법은 이미지를 작은 패치로 나누어 각 패치가 이미지의 일부를 나타내도록 한 뒤, 패치를 순차적으로 처리하는 Vision Transformer(ViT)를 사용합니다.

그림 3. PrefixLM 기법을 사용하는 VLM 학습 예시입니다.

SimVLM은 PrefixLM 학습 기법을 사용하는 VLM입니다. 이전 모델에 비해 더 단순한 Transformer 아키텍처를 사용하면서도 여러 테스트에서 더 나은 결과를 달성합니다. 이 모델의 아키텍처는 Transformer 인코더를 사용해 이미지와 텍스트 접두부의 연관성을 학습한 다음, Transformer 디코더로 텍스트를 생성하는 방식입니다.

교차 어텐션을 활용한 멀티모달 융합#

교차 어텐션을 활용한 멀티모달 융합은 사전 학습된 Vision Language Model이 시각 데이터를 이해하고 처리하는 능력을 향상하는 기법입니다. 모델에 교차 어텐션 레이어를 추가해 시각 정보와 텍스트 정보에 동시에 주의를 기울이도록 합니다.

작동 방식은 다음과 같습니다.

• 이미지에서 주요 객체를 식별하고 강조 표시합니다.
• 강조 표시된 객체를 시각 인코더로 처리해 시각 정보를 모델이 이해할 수 있는 형식으로 변환합니다.
• 시각 정보를 디코더에 전달하면, 디코더는 사전 학습된 언어 모델의 지식을 활용해 이미지를 해석합니다.

VisualGPT는 이 기법을 사용하는 모델의 좋은 예입니다. VisualGPT에는 자기 복구 활성화 유닛(SRAU)이라는 특수 기능이 포함되어 있어, 기울기 소실이라는 일반적인 문제를 방지하도록 돕습니다. 기울기 소실로 인해 학습 중 모델이 중요한 정보를 잃을 수 있지만, SRAU는 모델의 성능을 안정적으로 유지합니다.

그림 4. VisualGPT 모델 아키텍처입니다.

Vision Language Model의 활용 분야#

Vision Language Model은 다양한 산업에 영향을 미치고 있습니다. 이커머스 플랫폼의 기능을 향상하는 것부터 인터넷 접근성을 높이는 것까지, VLM의 잠재적 활용 분야는 매우 다양합니다. 이러한 활용 사례를 살펴보겠습니다.

제품 설명 생성#

온라인 쇼핑을 할 때 각 제품에 대한 상세 설명을 볼 수 있지만, 이러한 설명을 작성하는 데는 시간이 오래 걸릴 수 있습니다. VLM은 설명 생성을 자동화해 이 과정을 간소화합니다. 온라인 소매업체는 Vision Language Model을 사용해 제품 이미지에서 상세하고 정확한 설명을 직접 생성할 수 있습니다.

고품질 제품 설명은 설명에 언급된 구체적인 속성을 바탕으로 검색 엔진이 제품을 식별하도록 돕습니다. 예를 들어, "긴소매"와 "면 소재 목 부분"이 포함된 설명은 고객이 "긴소매 면 셔츠"를 더 쉽게 찾도록 합니다. 또한 고객이 원하는 제품을 빠르게 찾도록 돕고, 그 결과 매출과 고객 만족도를 높입니다.

그림 5. AI가 생성한 제품 설명의 예시입니다.

생성형 AI 모델인 BLIP-2와 같은 모델은 이미지에서 제품 속성을 직접 예측할 수 있는 정교한 VLM의 예입니다. BLIP-2는 여러 구성 요소를 사용해 이커머스 제품을 정확하게 이해하고 설명합니다. 먼저 이미지 인코더로 제품의 시각적 측면을 처리하고 이해합니다. 그런 다음 쿼리 Transformer가 특정 질문이나 작업의 맥락에서 시각 정보를 해석합니다. 마지막으로 대규모 언어 모델이 상세하고 정확한 제품 설명을 생성합니다.

인터넷 접근성 향상#

Vision Language Model은 이미지 캡셔닝을 통해 인터넷의 접근성을 높일 수 있으며, 특히 시각 장애가 있는 사람들에게 도움이 됩니다. 기존에는 웹사이트와 소셜 미디어의 시각 콘텐츠 설명을 사용자가 직접 입력해야 했습니다. 예를 들어 Instagram에 게시물을 올릴 때 스크린 리더용 대체 텍스트를 추가할 수 있습니다. 그러나 VLM은 이 과정을 자동화할 수 있습니다.

VLM은 소파에 앉아 있는 고양이 이미지를 보면 "소파에 앉아 있는 고양이"라는 캡션을 생성해 시각 장애가 있는 사용자가 장면을 명확하게 이해하도록 도울 수 있습니다. VLM은 이미지와 캡션 쌍의 몇 가지 예시를 통해 학습하는 퓨샷 프롬프팅과 복잡한 장면을 논리적으로 분해하도록 돕는 사고의 연쇄 프롬프팅 같은 기법을 사용합니다. 이러한 기법은 생성된 캡션의 일관성과 상세도를 높입니다.

그림 6. AI를 사용해 이미지 캡션을 생성하는 모습입니다.

이와 관련해 Google은 Chrome에서 "Google에서 이미지 설명 가져오기" 기능을 제공하며, 이 기능은 대체 텍스트가 없는 이미지의 설명을 자동으로 생성합니다. AI가 생성한 설명은 사람이 작성한 설명만큼 상세하지 않을 수 있지만, 여전히 유용한 정보를 제공합니다.

Vision Language Model의 이점과 한계#

Vision Language Model(VLM)은 시각 데이터와 텍스트 데이터를 결합해 많은 이점을 제공합니다. 주요 이점은 다음과 같습니다.

• 인간-기계 상호작용 향상: 시스템이 시각 입력과 텍스트 입력을 모두 이해하고 이에 응답할 수 있어 가상 비서, 챗봇, 로보틱스의 성능이 향상됩니다.
• 고급 진단 및 분석: 이미지 분석과 설명 생성을 통해 의료 분야를 지원하고, 의료 전문가에게 2차 소견 및 이상 탐지 기능을 제공합니다.
• 대화형 스토리텔링 및 엔터테인먼트: 시각 입력과 텍스트 입력을 결합해 흥미로운 이야기를 생성함으로써 게임 및 가상 현실의 사용자 경험을 향상합니다.

인상적인 기능에도 불구하고 Vision Language Model에는 몇 가지 한계가 있습니다. VLM을 사용할 때 고려해야 할 사항은 다음과 같습니다.

• 높은 연산 요구량: VLM의 학습과 배포에는 상당한 컴퓨팅 리소스가 필요하므로 비용이 많이 들고 접근성이 낮아질 수 있습니다.
• 데이터 의존성과 편향: 다양성이 부족하거나 편향된 데이터셋으로 학습한 경우 VLM은 편향된 결과를 생성해 고정관념과 잘못된 정보를 지속시킬 수 있습니다.
• 제한적인 맥락 이해: VLM은 전체적인 상황이나 맥락을 이해하는 데 어려움을 겪고 지나치게 단순화되거나 부정확한 결과를 생성할 수 있습니다.

핵심 요점#

Vision Language Model은 이커머스와 헬스케어 등 여러 분야에서 엄청난 잠재력을 지닙니다. 시각 데이터와 텍스트 데이터를 결합하면 혁신을 촉진하고 산업을 변화시킬 수 있습니다. 그러나 공정한 활용을 보장하려면 이러한 기술을 책임 있고 윤리적으로 개발하는 것이 필수적입니다. VLM이 계속 발전함에 따라 이미지 기반 검색과 보조 기술 등의 작업이 개선될 것입니다.

AI에 대해 계속 알아보려면 커뮤니티에 참여해 보세요! GitHub 저장소를 살펴보며 제조 및 헬스케어와 같은 산업에서 AI를 활용해 혁신적인 솔루션을 만드는 방법을 확인해 보세요. 🚀