자연어 처리와 컴퓨터 비전의 연결

자연어 처리(NLP)와 컴퓨터 비전(CV)은 최근 큰 인기를 얻은 인공지능(AI)의 서로 다른 두 분야입니다. AI의 발전 덕분에 이 두 분야는 그 어느 때보다 긴밀하게 연결되고 있습니다.

자동 이미지 캡셔닝이 좋은 사례입니다. 컴퓨터 비전으로 이미지의 내용을 분석하고 이해할 수 있으며, 자연어 처리로 이미지 내용을 설명하는 캡션을 생성할 수 있습니다. 자동 이미지 캡셔닝은 접근성을 높이기 위해 소셜 미디어 플랫폼에서, 이미지를 효율적으로 정리하고 태그를 지정하기 위해 콘텐츠 관리 시스템에서 흔히 사용됩니다.

NLP와 비전 AI의 혁신은 다양한 산업에서 여러 활용 사례를 만들어 냈습니다. 이 글에서는 NLP와 컴퓨터 비전을 자세히 살펴보고 두 기술이 각각 어떻게 작동하는지 알아보겠습니다. 또한 두 기술을 함께 사용하는 애플리케이션도 살펴보겠습니다.

NLP와 비전 AI 이해하기#

NLP는 컴퓨터와 인간 언어 간의 상호작용에 중점을 둡니다. 이를 통해 기계가 의미 있는 방식으로 텍스트나 음성을 이해하고 해석하며 생성할 수 있습니다. 번역, 감성 분석, 요약과 같은 작업에 사용할 수 있습니다.

한편 컴퓨터 비전은 기계가 이미지와 동영상을 분석하고 처리하도록 지원합니다. 사진에서 객체 감지, 얼굴 인식, 객체 추적, 이미지 분류와 같은 작업에 사용할 수 있습니다. 비전 AI 기술은 기계가 시각적 세계를 더 잘 이해하고 상호작용하도록 합니다.

그림 1. 이미지 분류의 예입니다.

컴퓨터 비전과 통합되면 NLP는 텍스트와 이미지를 결합해 시각 데이터에 의미를 부여하고 더 깊이 이해할 수 있게 합니다. "백문이 불여일견"이라는 말처럼, 이미지에 텍스트를 결합하면 더욱 강력해져 더 풍부한 인사이트를 제공합니다.

NLP와 컴퓨터 비전의 결합 사례#

휴대전화가 사진 속 텍스트를 번역할 때처럼, NLP와 컴퓨터 비전이 함께 작동하는 모습을 알아차리지 못한 채 일상적인 도구에서 이미 접해 보셨을 것입니다.

실제로 Google Translate는 자연어 처리와 컴퓨터 비전을 모두 사용해 이미지 속 텍스트를 번역합니다. 다른 언어로 쓰인 거리 표지판을 촬영하면 컴퓨터 비전이 텍스트를 식별하고 추출하며, NLP가 이를 선호하는 언어로 번역합니다.

NLP와 CV가 함께 작동하면 과정이 원활하고 효율적으로 이루어져 사용자가 여러 언어의 정보를 실시간으로 이해하고 활용할 수 있습니다. 이러한 통합은 의사소통 장벽을 허무는 데 도움이 됩니다.

그림 2. Google 번역 기능.

NLP와 컴퓨터 비전이 함께 작동하는 다른 애플리케이션은 다음과 같습니다.

• 자율주행 자동차: CV는 도로 표지판과 차선, 장애물을 감지하는 데 사용할 수 있으며, NLP는 음성 명령이나 도로 표지판의 텍스트를 처리할 수 있습니다.
• 문서 판독기: 비전 AI는 스캔한 문서나 손글씨의 텍스트를 인식하고, 자연어 처리는 정보를 해석하고 요약할 수 있습니다.
• 쇼핑 앱의 시각 검색: 컴퓨터 비전은 사진 속 제품을 식별하고, NLP는 검색어를 처리해 추천 품질을 높일 수 있습니다.
• 교육 도구: CV는 손으로 쓴 메모나 시각적 입력을 인식하고, NLP는 해당 내용을 바탕으로 설명이나 피드백을 제공할 수 있습니다.

컴퓨터 비전과 NLP를 연결하는 핵심 개념#

컴퓨터 비전과 자연어 처리가 어떻게 사용되는지 살펴보았으니, 이제 두 기술이 결합하여 교차 모달 AI를 구현하는 방법을 알아보겠습니다.

크로스모달 AI는 컴퓨터 비전의 시각적 이해와 NLP의 언어 이해를 결합해 텍스트와 이미지 전반의 정보를 처리하고 연결합니다. 예를 들어 의료 분야에서 크로스모달 AI는 X선 영상을 분석하고 잠재적 문제를 명확한 문장으로 요약하여 의사가 더 빠르고 정확하게 의사 결정을 내리도록 도울 수 있습니다.

자연어 이해(NLU)#

자연어 이해는 NLP의 하위 분야로, 의도와 맥락, 의미, 어조, 구조를 분석하여 텍스트를 해석하고 의미를 추출하는 데 중점을 둡니다. NLP가 원시 텍스트를 처리하는 반면, NLU는 기계가 인간 언어를 더 효과적으로 이해하도록 합니다. 예를 들어 파싱은 작성된 텍스트를 기계가 이해할 수 있는 구조화된 형식으로 변환하는 NLU 기법입니다.

그림 3. NLP와 NLU의 관계.

시각 데이터에 이해가 필요한 텍스트가 포함된 경우, NLU는 컴퓨터 비전과 함께 작동합니다. 컴퓨터 비전은 광학 문자 인식(OCR)과 같은 기술을 사용해 이미지, 문서, 동영상에서 텍스트를 추출합니다. 영수증 스캔, 표지판의 텍스트 판독, 손으로 쓴 노트의 디지털화와 같은 작업을 수행할 수 있습니다.

그런 다음 NLU는 추출된 텍스트를 처리하여 의미, 맥락, 의도를 이해합니다. 이 조합을 통해 시스템은 텍스트를 인식하는 데 그치지 않고 더 많은 작업을 수행할 수 있습니다. 영수증에서 지출 항목을 분류하거나 어조와 감성을 분석할 수 있습니다. 컴퓨터 비전과 NLU는 함께 시각적 텍스트를 의미 있고 실행 가능한 정보로 변환합니다.

프롬프트 엔지니어링#

프롬프트 엔지니어링은 대규모 언어 모델(LLMs)과 비전 언어 모델(VLMs) 같은 생성형 AI 시스템이 원하는 결과를 생성하도록 명확하고 정밀하며 상세한 입력 프롬프트를 설계하는 과정입니다. 이러한 프롬프트는 AI 모델이 사용자의 의도를 이해하도록 돕는 지침 역할을 합니다.

효과적인 프롬프트 엔지니어링을 위해서는 모델의 기능을 이해하고 정확하고 창의적이거나 통찰력 있는 응답을 생성하는 능력을 극대화하는 입력을 작성해야 합니다. 텍스트와 이미지를 모두 처리하는 멀티모달 모델에서는 특히 중요합니다.

OpenAI의 텍스트-이미지 변환 모델 DALL·E를 예로 들어 보겠습니다. "말을 타고 있는 우주비행사의 사실적인 사진"을 만들어 달라고 요청하면 설명에 맞는 이미지를 생성할 수 있습니다. 이는 그래픽 디자인과 같은 분야에서 유용합니다. 전문가가 텍스트로 된 아이디어를 시각적 시안으로 빠르게 바꿔 시간을 절약하고 생산성을 높일 수 있습니다.

그림 4. OpenAI의 DALL-E로 생성한 이미지.

이것이 컴퓨터 비전과 어떻게 연결되는지 궁금하실 수 있습니다. 이 기술은 그저 생성형 AI가 아닐까요? 실제로 두 기술은 밀접하게 관련되어 있습니다. 생성형 AI는 컴퓨터 비전의 기반 기술을 바탕으로 완전히 새로운 시각적 결과물을 만듭니다.

텍스트 프롬프트로 이미지를 생성하는 생성형 AI 모델은 텍스트 설명과 짝을 이룬 대규모 이미지 데이터셋으로 학습됩니다. 이를 통해 모델은 언어와 객체, 질감, 공간적 관계 같은 시각적 개념 간의 관계를 학습할 수 있습니다.

이러한 모델은 실제 이미지에서 객체를 인식하는 기존 컴퓨터 비전 시스템과 같은 방식으로 시각 데이터를 해석하지 않습니다. 대신 학습한 개념에 대한 이해를 사용해 프롬프트를 바탕으로 새로운 시각 자료를 생성합니다. 이 지식과 잘 작성된 프롬프트를 결합하면 생성형 AI가 사용자의 입력에 부합하는 사실적이고 상세한 이미지를 만들 수 있습니다.

질의응답(QA)#

질의응답 시스템은 자연어 질문을 이해하고 정확하며 관련성 높은 답변을 제공하도록 설계되었습니다. 정보 검색, 의미 이해, 딥러닝과 같은 기법을 사용해 질의를 해석하고 응답합니다.

OpenAI의 GPT-4o와 같은 고급 모델은 시각 질의응답(VQA)을 수행할 수 있습니다. 즉, 이미지를 분석하고 이미지에 대한 질문에 답할 수 있습니다. 그러나 GPT-4o가 컴퓨터 비전 작업을 직접 수행하는 것은 아닙니다. 대신 특수 이미지 인코더를 사용해 이미지를 처리하고 특징을 추출한 뒤, 이를 언어 이해 기능과 결합해 답변을 제공합니다.

그림 5. ChatGPT의 시각적 질의응답 기능. 이미지 제공: 작성자.

다른 시스템은 컴퓨터 비전 기능을 완전히 통합해 한 단계 더 나아갈 수 있습니다. 이러한 시스템은 이미지나 동영상을 직접 분석해 객체와 장면, 텍스트를 식별할 수 있습니다. 자연어 처리와 결합하면 시각 콘텐츠에 관한 더 복잡한 질문도 처리할 수 있습니다. 예를 들어 시각 요소를 감지하고 해석하여 "이 이미지에는 어떤 객체가 있나요?" 또는 "이 영상에 나오는 사람은 누구인가요?"와 같은 질문에 답할 수 있습니다. 현재 비전 언어 모델이 이미지에서 객체를 얼마나 잘 찾는지 알아보려면 VLM 리더보드를 확인하세요.

제로샷 학습(ZSL)#

제로샷 학습(ZSL)은 AI 모델이 특정 작업에 대해 별도로 학습하지 않고도 새로운 미경험 작업을 처리할 수 있게 하는 머신러닝 방법입니다. 설명이나 의미 관계와 같은 추가 정보를 활용해 모델이 이미 아는 내용(학습된 클래스)을 새로운 미경험 범주와 연결합니다.

자연어 처리에서 ZSL은 단어와 개념 간의 관계를 활용해 모델이 학습하지 않은 주제를 이해하고 처리하도록 돕습니다. 마찬가지로 컴퓨터 비전에서 ZSL은 날개나 깃털과 같은 시각적 특징을 새와 같이 이미 알려진 개념에 연결해 모델이 이전에 본 적 없는 객체나 장면을 인식하도록 합니다.

ZSL은 언어 이해와 시각적 인식을 결합하여 NLP와 CV를 연결하므로 두 가지를 모두 포함하는 작업에 특히 유용합니다. 예를 들어 시각적 질의응답에서 모델은 이미지와 관련 질문을 함께 분석해 정확한 답변을 제공할 수 있습니다. 이미지 캡셔닝과 같은 작업에도 유용합니다.

핵심 요점#

자연어 처리와 컴퓨터 비전을 결합하면서 텍스트와 이미지를 모두 이해하는 AI 시스템이 등장했습니다. 이 조합은 자율주행 자동차의 도로 표지판 인식 지원부터 의료 진단 개선, 소셜 미디어 안전 강화까지 다양한 산업에서 활용되고 있습니다. 이러한 기술이 발전함에 따라 삶을 더욱 편리하게 만들고 여러 분야에서 새로운 기회를 계속 창출할 것입니다. 자세한 내용은 GitHub 저장소를 방문하고 커뮤니티에 참여해 보세요. 솔루션 페이지에서 자율주행 자동차와 농업 분야의 AI 애플리케이션을 살펴보세요.