YOLOE란 무엇인가? 컴퓨터 비전 모델의 한계 확장

객체 탐지(Object detection)는 이미지나 영상에서 객체를 식별하고 위치를 파악하는 것을 목표로 하는 핵심적인 컴퓨터 비전 작업입니다. 이는 기계가 시각 데이터를 이해하고 해석할 수 있게 해주는 인공지능(AI) 분야인 컴퓨터 비전의 중요한 부분입니다. 예를 들어, 객체 탐지는 사진 속 자동차를 식별하거나 영상 피드에서 사람을 찾아내는 데 도움을 줄 수 있습니다.

객체 탐지와 같은 컴퓨터 비전 작업을 지원하는 가장 잘 알려진 모델 시리즈 중 하나는 YOLO(You Only Look Once) 모델 시리즈입니다. 속도와 정확도를 위해 설계된 YOLO 모델들은 시간이 지남에 따라 지속적으로 개선되어 왔습니다. 예를 들어, 최신 버전 중 하나인 Ultralytics YOLO11은 실제 상황에서 우수한 성능을 발휘하며, 복잡한 환경에서도 정확한 결과를 제공합니다.

이러한 발전을 더욱 가속화하기 위해, YOLOE라는 새로운 모델이 YOLO 모델의 기능을 확장하는 것을 목표로 합니다. 새로운 객체를 인식하기 위해 재학습이 필요한 기존 모델과 달리, YOLOE는 간단한 텍스트나 이미지 프롬프트를 따라 이전에 본 적 없는 객체를 탐지할 수 있어 변화하는 환경에 훨씬 더 잘 적응합니다.

본 아티클에서는 YOLOE의 고유한 특징, 이전 YOLO 모델과의 차이점, 그리고 오늘 바로 시작하는 방법에 대해 자세히 알아보겠습니다. 시작해 보겠습니다!

Link to this sectionYOLOE 개요#

YOLOE는 객체 탐지를 한 단계 더 발전시킨 컴퓨터 비전 모델입니다. 2025년 3월 칭화대학교 연구진에 의해 발표되었습니다. YOLOE가 기존 모델과 차별화되는 점은 오픈 어휘(open-vocabulary) 탐지를 사용한다는 것입니다.

대부분의 모델은 고정된 객체 목록을 인식하도록 학습되지만, YOLOE는 간단한 설명이나 예시 이미지를 사용하여 무엇을 찾을지 지정할 수 있게 해줍니다. 예를 들어, “초록색 배낭”을 찾는 경우, 해당 설명을 입력하거나 모델에 사진을 보여주면 YOLOE가 장면 내에서 이를 찾아냅니다.

또한 별도의 프롬프트가 없어도 YOLOE는 스스로 많은 일상적인 객체를 탐지할 수 있습니다. 이전에 본 적 없는 객체를 인식하는 이러한 능력을 제로샷 탐지(zero-shot detection)라고 합니다. 이는 작업이나 관심 객체가 예기치 않게 변경될 수 있는 동적인 환경에서 특히 유용합니다.

그림 1. YOLOE의 기능 살펴보기.

Link to this sectionYOLOE의 주요 특징#

YOLOE는 실제 응용 분야에서 성능을 향상시키도록 설계된 다양한 기능을 지원합니다. 정형 및 비정형 입력을 모두 처리할 수 있는 YOLOE는 객체 탐지 및 세그멘테이션에 새로운 가능성을 열어줍니다.

모델이 제공하는 몇 가지 핵심 기능은 다음과 같습니다:

• 프롬프트 기반 탐지: YOLOE는 짧은 텍스트 프롬프트나 예시 이미지를 기반으로 객체를 검색할 수 있습니다. 이는 작업이 변경될 때마다 모델을 재학습할 필요가 없음을 의미합니다. 무엇을 찾고 있는지 설명하거나 보여주기만 하면 됩니다.
• 인스턴스 세그멘테이션(Instance segmentation): YOLOE는 객체 주위에 BBox를 그리는 것 외에도 인스턴스 세그멘테이션을 사용하여 정확한 모양을 윤곽선으로 나타낼 수 있습니다. 이는 객체가 겹쳐 있거나 객체의 정확한 경계를 알아야 할 때 특히 유용합니다.
• 프롬프트 없는 객체 인식: YOLOE는 특정 지시 없이도 객체를 인식할 수 있습니다. 사전 학습된 일련의 설명을 사용하여 객체를 빠르게 식별하므로 프로세스가 더 빠르고 효율적입니다.

Link to this sectionYOLOE와 다른 YOLO 모델 비교#

이제 YOLOE가 무엇인지 더 잘 이해했으니, YOLO 제품군 중 유사한 모델들을 살펴보겠습니다.

컴퓨터 비전이 발전함에 따라 YOLO 모델도 함께 발전해 왔습니다. 예를 들어, Ultralytics YOLOv8은 세그멘테이션 및 분류와 같은 새로운 작업에 대한 지원을 추가했으며, 이후 버전인 Ultralytics YOLO11은 더 광범위한 작업에 대해 정확도와 성능을 개선하는 데 집중했습니다.

또한, 2024년 1월에 출시된 YOLO-World는 서면 프롬프트를 사용할 수 있는 기능을 도입하여 사용자가 찾고자 하는 객체를 설명할 수 있게 했습니다. YOLO-World는 제로샷 탐지를 위한 훌륭한 옵션이었지만, 인스턴스 세그멘테이션 및 시각적 프롬프트 지원과 같은 기능이 부족했습니다.

YOLOE는 이러한 기능을 추가하여 YOLO-World를 기반으로 구축되었으며, 유연성과 성능을 향상시키고 실제 컴퓨터 비전 응용 프로그램을 위한 보다 강력한 도구를 제공합니다.

그림 2. YOLO-World와 YOLOE 모두 제로샷 탐지를 지원합니다.

Link to this sectionUltralytics Python 패키지로 YOLOE 사용하기#

특정 객체를 탐지하든 이미지 내의 모든 것을 탐색하든, YOLOE 시작은 간단합니다. 이 모델은 Ultralytics Python 패키지에서 지원되므로 프로젝트에 쉽게 통합할 수 있습니다. 다음으로, 사용 방법을 살펴보겠습니다.

Link to this sectionUltralytics 패키지 설치#

첫 번째 단계는 ‘pip’와 같은 패키지 관리자를 사용하여 Ultralytics Python 패키지를 설치하는 것입니다. 터미널이나 명령 프롬프트에서 “pip install ultralytics” 명령을 실행하면 됩니다.

패키지가 설치되면 모델을 로드하고, 예측을 수행하며, 다양한 탐지 모드를 실험하는 데 필요한 모든 것을 갖추게 됩니다. 설치 중 문제가 발생하면 공식 Ultralytics 문서에서 유용한 문제 해결 섹션을 확인할 수 있습니다.

YOLOE를 사용하여 예측을 실행하는 방법에는 몇 가지가 있습니다. 예측을 실행한다는 것은 학습된 모델을 사용하여 이미지나 영상 내에서 객체를 식별하고 위치를 파악하는 것을 의미합니다. 이러한 다양한 방법을 통해 특정 요구 사항에 따라 모델과 상호 작용하는 방식을 사용자 지정할 수 있습니다.

이러한 방법들을 하나씩 살펴보겠습니다.

Link to this section텍스트 또는 이미지 프롬프트로 특정 객체 탐지하기#

YOLOE는 짧은 텍스트 설명을 기반으로 객체를 탐지할 수 있습니다. 예를 들어, 움직이는 말을 찾고 있다면 "horse walking"과 같은 프롬프트를 사용할 수 있습니다.

시작하려면 먼저 사전 학습된 YOLOE 모델을 로드하고 아래 코드 스니펫과 같이 프롬프트(모델이 찾기를 원하는 내용에 대한 설명)를 설정하십시오.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg.pt")
prompt = ["horse walking"]
model.set_classes(prompt, model.get_text_pe(prompt))

모델과 프롬프트가 설정되면 이미지나 영상에서 모델을 실행할 수 있습니다. 코드의 파일 경로를 이미지 또는 영상 파일의 경로로 바꾸십시오:

results = model.predict("path/to/your/image.jpg")
results[0].show()

그러면 프롬프트를 기반으로 탐지된 객체가 명확하게 표시된 이미지가 나타납니다. "red suitcase", "bicycle" 또는 "zebra"와 같이 찾고자 하는 대상에 따라 프롬프트를 변경하여 다른 객체를 검색할 수 있습니다.

그림 3. 텍스트 프롬프트를 사용하여 특정 객체를 탐지하는 YOLOE 예시.

마찬가지로 Ultralytics Python 패키지를 사용하여 이미지를 통해 YOLOE에 프롬프트를 제공할 수 있습니다. 시각적 프롬프트 모드에서 모델은 이미지를 사용하여 다른 장면에서 비슷하게 생긴 항목을 찾습니다. 이는 설명하기 어렵거나 명확한 레이블이 없는 객체에 특히 유용합니다.

이에 대한 코드를 자세히 살펴보려면 Ultralytics 문서를 확인하십시오.

Link to this sectionYOLOE를 사용한 일반 객체 탐지#

경우에 따라 정확히 무엇을 검색해야 할지 모르거나 특정 객체를 찾고 있지 않을 수도 있습니다. 이럴 때 프롬프트 없는 모드가 유용합니다.

이 옵션을 사용하면 설명을 입력하거나 예시 이미지를 제공할 필요가 없습니다. YOLOE는 단순히 이미지를 스스로 분석하고 사람, 동물, 가구 또는 일상적인 객체 등 인식할 수 있는 모든 것을 탐지합니다.

이는 모델에 구체적인 지시를 내리지 않고 장면을 탐색하는 데 도움이 되는 방법입니다. 붐비는 방을 스캔하든 활동이 많은 영상을 검토하든, 프롬프트 없는 모드는 이미지에 무엇이 있는지 빠르게 파악할 수 있게 해줍니다.

다음 코드를 사용하여 프롬프트 없는 모드에서 YOLOE를 실행할 수 있습니다. 먼저 모델이 로드되고, 이미지를 처리하며 자동으로 이미지 내 객체를 탐지합니다. 마지막으로 결과가 표시되고 탐지된 객체가 강조 표시됩니다.

파일 경로를 실제 이미지 경로로 바꾸십시오.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg-pf.pt")
results = model.predict("path/to/image.jpg")
results[0].show()

아래 이미지는 YOLOE가 프롬프트 없는 모드에서 탐지할 수 있는 예시입니다.

그림 4. 프롬프트 없는 모드에서 YOLOE 사용.

Link to this sectionYOLOE의 실시간 응용 분야#

텍스트 및 이미지 프롬프트 모두에 반응하는 YOLOE의 능력은 실시간 응용 분야를 위한 신뢰할 수 있는 도구입니다. 그 유연성은 타이밍과 정확성이 필수적인 빠르게 변화하는 환경에서 특히 유용합니다.

YOLOE가 어떻게 사용될 수 있는지 몇 가지 실제 사례를 살펴보겠습니다.

Link to this section수하물 처리 개선: 실시간 수하물 탐지#

혼잡한 공항에서 특정 수하물을 찾는 것은 특히 분실 가방을 다룰 때 어려울 수 있습니다. YOLOE는 실시간 영상을 스캔하고 “red bag”과 같은 간단한 프롬프트를 기반으로 항목을 신속하게 식별하여 이 과정을 간소화할 수 있습니다.

가방이 분실되었거나 잘못 배치된 경우, 직원은 프롬프트를 "black suitcase"와 같은 다른 항목으로 쉽게 변경할 수 있습니다. 이렇게 즉시 적응하는 능력은 공항 직원이 긴 시간의 영상을 검토하거나 모델을 재학습할 필요 없이 올바른 수하물을 빠르게 찾도록 도와주며, 수하물 처리 및 분실 수하물 문제 해결을 훨씬 더 빠르고 효율적으로 만들어 줍니다.

Link to this sectionYOLOE를 통한 공공 장소 모니터링#

붐비는 시장이나 카페와 같은 공공 장소의 감시 영상에는 하루 종일 변하는 사람, 객체, 활동이 뒤섞여 있는 경우가 많습니다. YOLOE는 프롬프트 없는 모드를 사용하여 이 영상을 실시간으로 분석하고 가방, 테이블, 자전거와 같은 항목을 구체적인 지시 없이 자동으로 탐지할 수 있습니다.

그림 5. YOLOE는 붐비는 공공 장소에서 다양한 객체를 탐지할 수 있습니다.

이는 보안 팀이 방치된 물건을 찾거나 군중 이동을 추적하는 데 특히 유용합니다. 한 번에 여러 객체를 탐지하는 YOLOE의 능력은 행사나 혼잡한 시기에 공공 장소를 관리하기 쉽게 만들어 팀이 정보를 파악하고 즉각 대응할 수 있도록 돕습니다.

Link to this sectionYOLOE의 장단점#

컴퓨터 비전 응용 프로그램에 YOLOE를 사용할 때의 주요 이점은 다음과 같습니다:

• 실시간 성능: YOLOE는 빠르고 효율적인 처리에 최적화되어 있어 실시간 영상 스트림이나 붐비는 공공 장소와 같은 동적인 환경에서도 실시간 탐지가 가능합니다.
• 확장성(Scalability): YOLOE는 확장성이 뛰어나 보안 및 감시부터 소매, 의료, 자율 주행 차량에 이르기까지 다양한 응용 분야에 적합합니다.
• 사용 편의성: YOLOE는 Ultralytics Python 패키지에서 지원되므로 기존 컴퓨터 비전 프로젝트에 쉽게 통합할 수 있습니다.

그러나 YOLOE를 사용할 때 고려해야 할 몇 가지 제한 사항이 있습니다. 고려해야 할 몇 가지 요소는 다음과 같습니다:

• 충분한 학습 데이터 필요: YOLOE는 제로샷 탐지를 지원하지만, 보지 못한 객체에 대한 성능은 학습 데이터로부터 얼마나 잘 일반화되는지에 따라 달라집니다. 어떤 경우에는 매우 전문화된 작업에서 잘 작동하기 위해 추가 데이터나 미세 조정(fine-tuning)이 필요할 수 있습니다.
• 입력 품질에 민감: 모델의 정확도는 저품질 이미지나 영상에 영향을 받을 수 있습니다. 흐릿하거나 조명이 좋지 않은 입력은 모델이 객체를 정확하게 탐지하는 능력을 감소시킬 수 있으므로 최적의 성능을 위해서는 고품질 입력이 중요합니다.

Link to this section핵심 요약#

YOLOE는 사용자가 텍스트 또는 이미지 프롬프트로 탐지를 안내할 수 있게 함으로써 컴퓨터 비전에 더 많은 유연성을 제공합니다. 이는 장면이 빠르게 변하고 재학습이 불가능한 실제 상황에서 잘 작동합니다.

수하물 처리부터 공공 장소 모니터링까지, YOLOE는 새로운 작업에 쉽게 적응합니다. AI가 더욱 접근 가능해짐에 따라 YOLOE와 같은 모델은 더 많은 산업에서 실용적이고 효율적인 방식으로 비전 기술을 사용할 수 있도록 돕고 있습니다.

커뮤니티에 가입하고 GitHub 저장소를 탐색하여 AI 혁신에 대해 더 자세히 알아보십시오. 솔루션 페이지에서 소매 분야 AI 및 의료 분야 컴퓨터 비전과 같은 분야의 최신 발전을 확인하십시오. 라이선스 옵션을 확인하고 오늘 바로 컴퓨터 비전을 시작해 보십시오!