YOLOE란 무엇인가요? 컴퓨터 비전 모델의 가능성을 확장하다

객체 탐지는 이미지나 동영상에서 객체를 식별하고 위치를 찾는 것을 목표로 하는 핵심 컴퓨터 비전 작업입니다. 객체 탐지는 기계가 시각 데이터를 이해하고 해석할 수 있도록 하는 인공지능(AI) 분야인 컴퓨터 비전의 중요한 구성 요소입니다. 예를 들어, 객체 탐지를 사용하면 사진에서 자동차를 식별하거나 동영상 피드에서 사람을 찾을 수 있습니다.

객체 탐지와 같은 컴퓨터 비전 작업을 지원하는 가장 잘 알려진 모델 시리즈 중 하나가 YOLO(You Only Look Once) 모델 시리즈입니다. 속도와 정확도를 고려해 설계된 YOLO 모델은 꾸준히 발전해 왔습니다. 예를 들어 Ultralytics YOLO11(이후 Ultralytics YOLO26으로 대체됨)은 실제 환경에서 우수한 성능을 보이며, 더욱 복잡한 환경에서도 정확한 결과를 제공합니다.

이러한 발전을 한 단계 더 이어 가기 위해 YOLOE라는 새로운 모델은 YOLO 모델의 기능을 확장하는 것을 목표로 합니다. 새로운 객체를 인식할 때마다 재학습해야 하는 기존 모델과 달리, YOLOE는 간단한 텍스트 또는 이미지 프롬프트를 따라 이전에 본 적 없는 객체를 탐지할 수 있어 변화하는 환경에 훨씬 유연하게 대응합니다.

이 문서에서는 YOLOE의 차별점, 이전 YOLO 모델과의 비교, 그리고 지금 바로 YOLOE를 사용하는 방법을 자세히 살펴봅니다.

YOLOE 개요#

YOLOE는 객체 탐지 기능을 한 단계 발전시킨 컴퓨터 비전 모델입니다. 2025년 3월 칭화대학교 연구진이 발표했습니다. YOLOE가 기존 모델과 차별화되는 점은 오픈 보캐뷸러리 탐지를 사용한다는 것입니다.

대부분의 모델은 고정된 객체 목록을 인식하도록 학습되지만, YOLOE에서는 짧은 설명이나 예시 이미지를 사용해 탐지 대상을 지정할 수 있습니다. 예를 들어 “초록색 백팩”을 찾으려는 경우 해당 설명을 입력하거나 모델에 사진을 보여 주면 YOLOE가 장면에서 해당 객체의 위치를 찾습니다.

또한, YOLOE는 프롬프트가 없어도 많은 일상적인 객체를 자체적으로 탐지할 수 있습니다. 이전에 본 적 없는 객체를 인식하는 이 기능을 제로샷 탐지라고 합니다. 작업이나 관심 객체가 예기치 않게 바뀔 수 있는 동적 환경에서 특히 유용합니다.

그림 1. YOLOE의 기능 살펴보기.

YOLOE의 주요 기능#

YOLOE는 실제 애플리케이션에서 성능을 향상하도록 설계된 다양한 기능을 지원합니다. 구조화된 입력과 비구조화된 입력을 모두 처리할 수 있어 객체 탐지 및 세그멘테이션의 새로운 가능성을 열어 줍니다.

모델의 주요 기능은 다음과 같습니다.

• 프롬프트 기반 탐지: YOLOE는 짧은 텍스트 프롬프트나 예시 이미지를 바탕으로 객체를 검색할 수 있습니다. 따라서 작업이 바뀔 때마다 모델을 재학습할 필요가 없습니다. 찾으려는 대상을 설명하거나 모델에 보여 주기만 하면 됩니다.
• 인스턴스 분할: YOLOE는 객체 주위에 바운딩 박스를 그리는 것뿐만 아니라 인스턴스 분할을 사용해 객체의 정확한 형태를 윤곽선으로 표시할 수 있습니다. 객체가 겹쳐 있거나 객체의 정확한 경계를 알아야 할 때 특히 유용합니다.
• 프롬프트 없는 객체 인식: YOLOE는 별도의 지시가 없어도 객체를 인식할 수 있습니다. 사전 학습된 설명 집합을 사용해 객체를 빠르게 식별하므로 처리 속도와 효율성이 향상됩니다.

YOLOE와 다른 YOLO 모델 비교#

YOLOE가 무엇인지 살펴보았으니, 이제 YOLO 제품군에서 YOLOE와 유사한 모델을 살펴보겠습니다.

컴퓨터 비전의 발전과 함께 YOLO 모델도 발전해 왔습니다. 예를 들어, Ultralytics YOLOv8은 세그멘테이션 및 분류와 같은 새로운 작업을 지원했고, Ultralytics YOLO11과 같은 후속 버전은 더 다양한 작업에서 정확도와 성능을 향상하는 데 주력했습니다.

또한 YOLO-World는 2024년 1월에 출시되어 텍스트 프롬프트를 사용하는 기능을 도입했습니다. 이를 통해 사용자는 찾으려는 객체를 설명할 수 있습니다. YOLO-World는 제로샷 탐지에 적합한 훌륭한 선택지였지만, 인스턴스 세그멘테이션이나 시각적 프롬프트 지원과 같은 기능은 부족했습니다.

YOLOE는 이러한 기능을 추가해 YOLO-World를 기반으로 구축되었으며, 유연성과 성능을 개선하고 실제 컴퓨터 비전 애플리케이션에서 더 큰 효과를 발휘하는 도구를 제공합니다. 실제 탐지 데이터셋에서 오픈 보캐뷸러리 탐지기와 비전 언어 모델의 성능을 비교하려면 Ultralytics VLM 리더보드를 확인해 보세요.

그림 2. YOLO-World와 YOLOE는 모두 제로샷 탐지를 지원합니다.

Ultralytics Python 패키지에서 YOLOE 사용하기#

특정 객체를 탐지하거나 이미지의 모든 항목을 살펴보고 싶을 때 YOLOE를 간단히 시작할 수 있습니다. 이 모델은 Ultralytics Python 패키지에서 지원되므로 프로젝트에 쉽게 통합할 수 있습니다. 이제 사용 방법을 단계별로 살펴보겠습니다.

Ultralytics 패키지 설치#

첫 단계는 pip와 같은 패키지 관리자를 사용해 Ultralytics Python 패키지를 설치하는 것입니다. 터미널이나 명령 프롬프트에서 pip install ultralytics을 실행하면 됩니다.

패키지를 설치하면 모델을 불러오고 예측을 수행하며 다양한 탐지 모드를 실험하는 데 필요한 모든 준비가 끝납니다. 설치 중 문제가 발생하면 공식 Ultralytics 문서의 문제 해결 섹션을 참고할 수 있습니다.

YOLOE로 예측을 수행하는 방법은 몇 가지가 있습니다. 예측 수행은 학습된 모델을 사용해 이미지나 동영상 내 객체를 식별하고 위치를 찾는 것을 의미합니다. 이러한 방법을 사용하면 특정 요구 사항에 따라 모델과 상호작용하는 방식을 맞춤 설정할 수 있습니다.

각 방법을 하나씩 살펴보겠습니다.

텍스트 또는 이미지 프롬프트로 특정 객체 탐지하기#

YOLOE는 짧은 텍스트 설명을 바탕으로 객체를 탐지할 수 있습니다. 예를 들어, 움직이는 말을 찾는 경우 "horse walking"과 같은 프롬프트를 사용할 수 있습니다.

시작하려면 먼저 사전 학습된 YOLOE 모델을 불러오고, 아래 코드 스니펫과 같이 프롬프트(모델이 찾을 대상에 대한 설명)를 설정합니다.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg.pt")
prompt = ["horse walking"]
model.set_classes(prompt, model.get_text_pe(prompt))

모델과 프롬프트를 설정한 다음에는 이미지나 동영상에서 모델을 실행할 수 있습니다. 코드의 파일 경로를 이미지 또는 동영상 파일의 경로로 바꾸세요.

results = model.predict("path/to/your/image.jpg")
results[0].show()

이렇게 하면 프롬프트에 따라 탐지된 객체가 명확하게 표시된 이미지가 나타납니다. 찾으려는 대상에 따라 프롬프트를 "red suitcase", "bicycle" 또는 "zebra"와 같이 바꿔 다른 객체를 검색할 수 있습니다.

그림 3. 텍스트 프롬프트를 사용해 YOLOE로 특정 객체를 탐지하는 예시입니다.

마찬가지로 Ultralytics Python 패키지에서 이미지를 사용해 YOLOE에 프롬프트를 제공할 수 있습니다. 시각적 프롬프트 모드에서 모델은 이미지를 바탕으로 다른 장면에서 유사하게 보이는 항목을 찾습니다. 설명하기 어렵거나 명확한 레이블이 없는 객체에 특히 유용합니다.

관련 코드를 자세히 살펴보려면 Ultralytics 문서를 확인하세요.

YOLOE를 사용한 일반 객체 탐지#

무엇을 검색해야 할지 정확히 모르거나 특정 객체를 찾으려는 것이 아닐 수도 있습니다. 이럴 때 프롬프트 없는 모드가 유용합니다.

이 옵션에서는 설명을 입력하거나 예시 이미지를 제공할 필요가 없습니다. YOLOE가 이미지를 자체적으로 분석하고 사람, 동물, 가구 또는 일상적인 객체 등 인식 가능한 모든 항목을 탐지합니다.

모델에 특정 지시를 내리지 않고 장면을 살펴볼 때 유용한 방법입니다. 사람이 붐비는 공간을 스캔하거나 활동이 많은 영상을 검토할 때 프롬프트 없는 모드를 사용하면 이미지에 무엇이 있는지 빠르게 확인할 수 있습니다.

다음 코드를 사용해 프롬프트 없는 모드에서 YOLOE를 실행할 수 있습니다. 먼저 모델을 불러온 다음 이미지를 처리해 객체를 자동으로 탐지합니다. 마지막으로 결과를 표시하고 탐지된 객체를 강조합니다.

파일 경로를 실제 이미지 경로로 바꾸세요.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg-pf.pt")
results = model.predict("path/to/image.jpg")
results[0].show()

아래 이미지는 프롬프트 없는 모드에서 YOLOE가 탐지할 수 있는 항목의 예시입니다.

그림 4. 프롬프트 없는 모드에서 YOLOE 사용하기.

YOLOE의 실시간 애플리케이션#

텍스트 및 이미지 프롬프트에 모두 대응할 수 있는 YOLOE는 실시간 애플리케이션에 적합한 신뢰할 수 있는 도구입니다. 속도와 정확도가 중요한 빠르게 변화하는 환경에서 특히 유용한 유연성을 제공합니다.

YOLOE를 실제 환경에서 활용하는 몇 가지 사례를 살펴보겠습니다.

수하물 처리 개선: 실시간 수하물 탐지#

혼잡한 공항에서는 특히 분실 수하물을 처리할 때 특정 수하물의 위치를 찾기가 어려울 수 있습니다. YOLOE는 실시간 동영상을 스캔하고 “red bag”과 같은 간단한 프롬프트를 바탕으로 물품을 빠르게 식별해 이 과정을 간소화할 수 있습니다.

수하물이 분실되거나 잘못 놓인 경우 직원은 프롬프트를 “black suitcase”와 같은 다른 항목으로 쉽게 변경해 검색할 수 있습니다. 즉시 대응하는 이 기능을 활용하면 긴 시간 분량의 영상을 검토하거나 모델을 재학습하지 않고도 공항 직원이 올바른 수하물을 빠르게 찾을 수 있어 수하물 처리와 분실 수하물 문제 해결이 훨씬 빠르고 효율적으로 이루어집니다.

YOLOE를 사용한 공공장소 모니터링#

혼잡한 시장이나 카페와 같은 공공장소의 감시 영상에는 하루 동안 바뀌는 사람, 객체, 활동이 다양하게 포함되는 경우가 많습니다. YOLOE는 프롬프트 없는 모드로 이러한 영상을 실시간 분석해 별도의 지시 없이 가방, 테이블, 자전거와 같은 항목을 자동으로 탐지할 수 있습니다.

그림 5. YOLOE는 혼잡한 공공장소에서 다양한 객체를 탐지할 수 있습니다.

이는 보안팀이 방치된 물품을 찾거나 군중의 이동을 추적하는 데 특히 유용합니다. 여러 객체를 한 번에 탐지하는 YOLOE의 기능을 활용하면 행사나 혼잡한 시간대에 공공장소를 더 쉽게 관리할 수 있어, 팀이 상황을 파악하고 신속하게 대응하는 데 도움이 됩니다.

YOLOE의 장단점#

컴퓨터 비전 애플리케이션에 YOLOE를 사용할 때 얻을 수 있는 주요 이점은 다음과 같습니다.

• 실시간 성능: YOLOE는 빠르고 효율적인 처리를 위해 최적화되어 있어 실시간 동영상 스트림이나 혼잡한 공공장소와 같은 동적 환경에서도 실시간 탐지가 가능합니다.
• 확장성: YOLOE는 확장성이 뛰어나며 보안 및 감시부터 소매, 의료, 자율주행차에 이르기까지 다양한 애플리케이션에서 잘 작동합니다.
• 사용 편의성: YOLOE는 Ultralytics Python 패키지에서 지원되므로 기존 컴퓨터 비전 프로젝트에 쉽게 통합할 수 있습니다.

하지만 YOLOE를 사용할 때 고려해야 할 몇 가지 제한 사항이 있습니다. 다음과 같은 요소를 참고하세요.

• 충분한 학습 데이터 필요: YOLOE는 제로샷 탐지를 지원하지만, 처음 보는 객체에 대한 성능은 학습 데이터로부터 얼마나 잘 일반화하는지에 따라 달라집니다. 고도로 전문화된 작업에서 좋은 성능을 내려면 추가 데이터나 파인튜닝이 필요한 경우도 있습니다.
• 입력 품질에 민감: 이미지나 동영상의 품질이 낮으면 모델의 정확도에 영향을 줄 수 있습니다. 흐릿하거나 조명이 좋지 않은 입력은 객체를 정확하게 탐지하는 모델의 능력을 저하시킬 수 있으므로 최적의 성능을 위해서는 입력 품질이 중요합니다.

핵심 요점#

YOLOE는 사용자가 텍스트 또는 이미지 프롬프트로 탐지를 유도할 수 있도록 해 컴퓨터 비전의 유연성을 높입니다. 장면이 빠르게 바뀌고 재학습이 불가능한 실제 환경에서도 효과적으로 작동합니다.

수하물 처리부터 공공장소 모니터링까지 YOLOE는 새로운 작업에 쉽게 적응합니다. AI가 더 널리 보급되면서 YOLOE와 같은 모델은 더 많은 산업 분야에서 비전 기술을 실용적이고 효율적으로 활용할 수 있도록 지원하고 있습니다.

커뮤니티에 참여하고 GitHub 저장소를 살펴보며 AI 혁신에 대해 자세히 알아보세요. 솔루션 페이지에서 리테일 분야의 AI 및 헬스케어 분야의 컴퓨터 비전과 같은 분야의 최신 발전을 확인하세요. 라이선스 옵션을 살펴보고 지금 바로 컴퓨터 비전을 시작해 보세요!