FastVLM: Apple, 새로운 고속 비전 언어 모델 공개

CVPR 2025 컨퍼런스에서 Apple은 FastVLM이라는 새로운 오픈 소스 AI 모델을 공개했습니다. 이미지와 언어를 모두 이해하도록 설계되었으며, iPhone, iPad, Mac과 같은 Apple 기기에서 실행됩니다. 따라서 데이터를 클라우드로 전송하지 않고도 빠르게 지능적인 결과를 제공할 수 있습니다.

FastVLM이 특히 흥미로운 이유는 속도와 효율성이 뛰어나기 때문입니다. Apple은 FastViTHD라는 새로운 비전 인코더를 개발했습니다. 이 인코더는 메모리와 전력을 적게 사용하면서 모델이 고품질 이미지를 해석하도록 돕습니다. 모든 처리는 기기에서 로컬로 이루어지므로 응답 시간이 빨라지고 사용자 개인정보도 보호됩니다.

이 문서에서는 FastVLM의 작동 방식과 차별점, 그리고 Apple의 이번 공개가 기기에서 일상적으로 사용하는 AI 애플리케이션에 중요한 진전이 될 수 있는 이유를 살펴봅니다.

시각 언어 모델(VLM) 이해하기#

FastVLM의 특징을 살펴보기 전에, 이름에 포함된 “VLM”이 무엇을 의미하는지 알아보겠습니다. 이는 시각 콘텐츠를 이해하고 언어와 연결하도록 설계된 시각 언어 모델을 가리킵니다.

VLM은 시각적 이해와 언어를 결합하여 사진 설명, 스크린샷에 관한 질문에 답하기, 문서에서 텍스트 추출과 같은 작업을 수행합니다. 시각 언어 모델은 일반적으로 두 부분으로 작동합니다. 한 부분은 이미지를 처리해 데이터로 변환하고, 다른 부분은 해당 데이터를 해석해 읽거나 들을 수 있는 응답을 생성합니다.

영수증을 스캔하거나, 신분증을 읽거나, 이미지 캡션을 생성하거나, 저시력 사용자가 화면과 상호작용하도록 돕는 앱을 통해 이미 이러한 AI 혁신을 자신도 모르는 사이에 사용해 보셨을 수 있습니다. 이러한 앱은 대개 백그라운드에서 조용히 작동하는 시각 언어 모델을 활용합니다.

FastVLM이란 무엇인가요?#

Apple은 다른 시각 언어 모델과 동일한 작업을 수행하면서도 더 빠른 속도와 강력한 개인정보 보호, 그리고 자사 기기에 최적화된 성능을 제공하도록 FastVLM을 개발했습니다. 이미지 내용을 이해하고 텍스트로 응답할 수 있지만, 클라우드 서버에 의존하는 많은 모델과 달리 FastVLM은 iPhone, iPad 또는 Mac에서 완전히 실행할 수 있습니다.

VLM은 일반적으로 고해상도 이미지에서 더 좋은 성능을 발휘합니다. 예를 들어 아래에 표시된 것처럼 FastVLM은 고해상도 이미지를 입력했을 때만 도로 표지판을 “진입 금지”로 정확하게 식별할 수 있었습니다. 그러나 고해상도 입력은 대개 모델의 처리 속도를 늦춥니다. 이때 FastViTHD가 차이를 만듭니다.

그림 1. 저해상도 이미지와 고해상도 이미지에서의 FastVLM 성능. (출처)

Apple의 새로운 비전 인코더인 FastViTHD는 FastVLM이 고품질 이미지를 더 적은 메모리와 전력으로 효율적으로 처리하도록 지원합니다. 특히 FastViTHD는 경량화되어 있어 소형 기기에서도 원활하게 실행됩니다.

또한 FastVLM은 공개된 FastVLM GitHub 저장소에서 제공됩니다. 개발자는 이곳에서 소스 코드에 접근하고 수정하여 Apple의 라이선스 조건에 따라 자체 앱에서 사용할 수 있습니다.

FastVLM과 다른 VLM 모델 비교#

다른 비전 언어 모델과 비교했을 때 FastVLM은 스마트폰과 노트북 같은 일상적인 기기에서 실행되도록 최적화되어 있습니다. 성능 테스트에서 FastVLM은 LLaVA-OneVision-0.5B와 같은 모델보다 첫 단어나 출력을 최대 85배 빠르게 생성했습니다.

그림 2. FastVLM과 다른 모델의 성능 비교. (출처)

FastVLM이 평가에 사용된 대표적인 벤치마크를 간략히 살펴보겠습니다.

• DocVQA(문서 시각 질의응답): 이 시각 질의응답 벤치마크는 스캔한 양식이나 페이지 같은 문서에서 모델이 텍스트 정보를 얼마나 잘 읽고 이해하는지 평가합니다.
• TextVQA(텍스트 기반 시각 질의응답): 이미지에 포함된 텍스트를 해석하고 관련 질문에 정확하게 답하는 모델의 능력을 평가합니다.
• GQA: 이 작업은 이미지 내 객체와 장면 간의 관계를 이해해야 하므로 모델의 추론 능력을 평가합니다.
• MMMU(대규모 다학제 멀티모달 이해): 시각 정보와 텍스트 이해를 결합하여 다양한 학문 분야와 형식에 걸친 모델의 성능을 측정합니다.
• SEED-Bench: 이 벤치마크는 여러 도메인에 걸친 시각적 이해 및 추론에서 모델의 전반적인 역량을 평가합니다.

FastVLM은 이러한 벤치마크에서 더 적은 리소스를 사용하면서 경쟁력 있는 결과를 달성했습니다. 이를 통해 휴대폰, 태블릿, 노트북과 같은 일상적인 기기에서 실용적인 비전 AI를 사용할 수 있습니다.

FastVLM의 효율적인 비전 인코더: FastViTHD#

이어서 FastVLM의 이미지 처리 성능에서 중요한 역할을 하는 비전 인코더 FastViTHD를 자세히 살펴보겠습니다.

대부분의 시각 언어 모델은 이미지를 토큰이라고 하는 수천 개의 작은 패치로 나눕니다. 토큰 수가 많을수록 모델이 이미지를 이해하는 데 더 많은 시간과 전력이 필요합니다. 특히 휴대폰이나 노트북에서는 처리 속도가 느려질 수 있습니다.

그림 3. 비전 인코더의 이미지 처리 방식. (출처)

FastViTHD는 더 적은 토큰을 사용하면서도 이미지 전체를 이해하여 과도한 토큰 처리로 인한 속도 저하를 방지합니다. FastViTHD는 패턴과 관계를 모델링하는 데 강점이 있는 트랜스포머와 시각 데이터를 효율적으로 처리하는 컨볼루션 레이어를 결합합니다. 그 결과 더 빠르게 작동하고 메모리를 적게 사용하는 시스템을 구현합니다.

Apple에 따르면 FastViTHD는 높은 정확도를 유지하면서 일부 기존 비전 인코더보다 최대 3.4배 더 작습니다. 처리 속도를 높이기 위해 중요도가 낮은 이미지 패치를 제거하는 토큰 가지치기와 같은 모델 최적화 기법에 의존하는 대신, 더 단순하고 간결한 아키텍처를 통해 효율성을 달성합니다.

FastVLM의 모델 변형과 학습 파이프라인#

Apple은 FastVLM을 0.5B, 1.5B, 7B의 세 가지 크기로 공개했습니다. 여기서 "B"는 모델에서 학습 가능한 가중치의 수를 나타내는 10억을 의미합니다. 각 버전은 서로 다른 유형의 기기에 적합하도록 설계되었습니다. 소형 모델은 휴대폰과 태블릿에서 실행할 수 있으며, 더 큰 7B 모델은 데스크톱이나 더 까다로운 작업에 적합합니다.

덕분에 개발자는 앱에 가장 적합한 모델을 유연하게 선택할 수 있습니다. 동일한 기본 모델 아키텍처를 사용하면서 모바일용으로 빠르고 경량화된 앱을 만들거나 대규모 시스템용으로 더 복잡한 앱을 개발할 수 있습니다.

Apple은 비전 모델과 언어 모델을 정렬하기 위한 프레임워크인 LLaVA‑1.5 파이프라인을 사용해 FastVLM 모델 변형을 학습했습니다. 언어 구성 요소의 경우 자연스럽고 일관성 있는 텍스트 생성으로 알려진 Qwen과 Vicuna 같은 기존 오픈 소스 모델을 사용해 FastVLM을 평가했습니다. 이 구성 덕분에 FastVLM은 단순한 이미지와 복잡한 이미지를 모두 처리하고 읽기 쉽고 관련성 높은 응답을 생성할 수 있습니다.

FastVLM의 의의: Apple의 효율적인 AI 접근 방식#

FastVLM의 효율적인 이미지 처리가 왜 중요한지 궁금하실 수 있습니다. 핵심은 클라우드에 의존하지 않고 앱이 실시간으로 얼마나 원활하게 작동할 수 있는가에 있습니다. FastVLM은 최대 1152×1152픽셀의 고해상도 이미지를 처리하면서도 기기에서 직접 실행할 만큼 빠르고 가볍습니다.

따라서 카메라에 포착된 장면을 설명하거나, 촬영과 동시에 영수증을 스캔하거나, 화면 변화에 응답하는 앱을 모두 데이터를 기기 안에 유지한 채 사용할 수 있습니다. 이는 교육, 접근성, 생산성, 사진과 같은 분야에서 특히 유용합니다.

FastViTHD는 대형 이미지도 효율적으로 처리하므로 기기의 응답성을 유지하고 과열을 방지하는 데 도움이 됩니다. 보급형 iPhone에서 실행되는 가장 작은 모델을 포함해 모든 모델 크기에서 작동합니다. 따라서 동일한 AI 기능을 휴대폰, 태블릿, Mac에서 사용할 수 있습니다.

FastVLM의 활용 사례#

속도와 효율성, 온디바이스 개인정보 보호와 같은 주요 장점 덕분에 FastVLM은 다양한 애플리케이션에 활용할 수 있습니다. 몇 가지 활용 사례를 소개합니다.

• 문서 읽기: 영수증, 양식, 신분증을 스캔하고 필요한 정보만 추출할 수 있습니다. 이미지의 특정 영역에 집중할 수도 있어 빠르고 정확한 텍스트 추출이 필요한 앱에 유용합니다.
• 이미지 캡션: 사진을 분석해 이미지에 무엇이 있는지 명확하게 설명할 수 있습니다. 이를 통해 카메라 앱, 사진 갤러리 또는 실시간 시각 이해의 이점을 얻는 도구에서 유용한 기능을 구현할 수 있습니다.
• 접근성 지원: FastVLM은 시각장애 또는 저시력 사용자를 위해 화면 콘텐츠를 설명할 수 있어 버튼, 메뉴, 레이아웃 요소를 더 쉽게 탐색하고 사용할 수 있도록 돕습니다.
• 온디바이스 AI 어시스턴트: FastVLM은 화면에 표시된 내용을 빠르게 이해해야 하는 AI 어시스턴트와 함께 효과적으로 작동할 수 있습니다. 기기에서 직접 실행되고 데이터를 비공개로 유지하므로, 클라우드로 정보를 전송하지 않고도 텍스트 읽기, 버튼이나 아이콘 식별, 실시간 사용자 안내와 같은 작업을 지원할 수 있습니다.

그림 4. FastVLM은 텍스트 인식과 시각 질의응답에 사용할 수 있습니다. (출처)

핵심 요점#

FastVLM은 속도, 개인정보 보호, 효율성을 결합해 Apple 기기에서 온디바이스 시각 언어 AI를 구현합니다. 경량화된 설계와 오픈 소스 공개를 바탕으로 모바일 및 데스크톱 앱에서 실시간 이미지 이해를 지원합니다.

이를 통해 일상적으로 AI를 더욱 실용적이고 쉽게 이용할 수 있으며, 개발자는 유용하고 개인정보 보호에 중점을 둔 애플리케이션을 구축할 수 있는 탄탄한 기반을 얻게 됩니다. 앞으로 시각 언어 모델은 기술과 상호작용하는 방식에서 중요한 역할을 맡아 AI를 더 빠르게 반응하고, 맥락을 이해하며, 일상에서 유용하게 만드는 데 기여할 것입니다.

AI에 대해 자세히 알아보려면 GitHub 저장소를 살펴보세요. 활발한 커뮤니티에 참여하고 자동차 산업의 AI 및 제조업의 비전 AI와 같은 분야의 혁신을 확인해 보세요. 지금 컴퓨터 비전을 시작하려면 라이선스 옵션을 확인하세요.