YOLO-World 실습하기

Computer vision projects often involve spending a lot of time annotating data and training object detection models. But, that might soon be a thing of the past. Tencent’s AI Lab released YOLO-World, a real-time, open-vocabulary object detection model, on January 31st, 2024. YOLO-World is a zero-shot model, meaning you can run object detection inferences on images without having to train it.

제로샷 모델은 컴퓨터 비전 애플리케이션에 접근하는 방식을 바꿀 잠재력을 가지고 있습니다. 이번 블로그에서는 YOLO-World의 작동 원리와 잠재적인 활용 사례를 살펴보고, 시작하는 데 도움이 될 실용적인 코드 예제를 공유하겠습니다.

YOLO-World 살펴보기#

YOLO-World 모델에 이미지와 함께 찾고자 하는 객체를 설명하는 텍스트 프롬프트를 입력할 수 있습니다. 예를 들어, 사진 속에서 "빨간 셔츠를 입은 사람"을 찾고 싶다면, YOLO-World는 이 입력을 받아 작업을 수행합니다.

이 모델의 독특한 아키텍처는 세 가지 주요 요소로 구성됩니다.

• A detector based on the Ultralytics YOLOv8 object detection model, to analyze the visual content of the image.
• OpenAI의 CLIP으로 사전 학습된 텍스트 인코더로, 사용자의 텍스트 프롬프트를 이해하도록 설계되었습니다.
• 처리된 이미지 데이터와 텍스트 데이터를 통합하는 네트워크인 Vision-Language Path Aggregation Network(RepVL-PAN)입니다.

YOLO 탐지기는 입력 이미지를 스캔하여 잠재적인 객체를 식별합니다. 텍스트 인코더는 사용자의 설명을 모델이 이해할 수 있는 형식으로 변환합니다. 이후 이 두 정보 흐름은 다단계 교차 모달리티 융합을 사용하는 RepVL-PAN을 통해 병합됩니다. 이를 통해 YOLO-World는 프롬프트에 설명된 객체를 이미지 내에서 정확하게 탐지하고 위치를 파악할 수 있습니다.

YOLO-World 결과 예시입니다.

YOLO-World 선택의 이점#

YOLO-World를 사용하는 가장 큰 장점 중 하나는 특정 클래스에 대해 모델을 학습시킬 필요가 없다는 것입니다. 이미 방대한 이미지와 텍스트 쌍으로 학습했기 때문에 설명을 기반으로 객체를 찾는 방법을 알고 있습니다. 따라서 데이터를 수집하고, 어노테이션을 달고, 고가의 GPU에서 학습시키는 등의 수많은 시간을 절약할 수 있습니다.

YOLO-World 사용의 다른 이점은 다음과 같습니다.

• 실시간 성능 - YOLO-World는 기존 YOLO 아키텍처와 마찬가지로 실시간 성능을 지원합니다. 자율 주행 차량이나 감시 시스템과 같이 즉각적인 객체 탐지가 필요한 애플리케이션에 이상적입니다.
• Instance Segmentation - YOLO-World can neatly outline and separate objects in pictures, even if those objects weren't specifically taught during its training.
• 효율성 - YOLO-World는 높은 정확도와 계산 효율성을 결합하여 실제 애플리케이션에서 실용적으로 사용할 수 있게 합니다. 간소화된 아키텍처 덕분에 처리 능력에 대한 과도한 요구 없이도 신속한 객체 탐지가 가능합니다.

YOLO-World의 활용 사례#

YOLO-World 모델은 매우 다양한 애플리케이션에 사용할 수 있습니다. 그중 몇 가지를 살펴보겠습니다.

제조업의 품질 관리#

조립 라인에서 manufactured된 제품은 포장하기 전에 시각적으로 결함이 있는지 검사합니다. 결함 탐지는 종종 수동으로 이루어지며, 이는 시간이 오래 걸리고 실수로 이어질 수 있습니다. 이러한 실수는 높은 비용과 수리 또는 리콜 필요성과 같은 문제를 야기할 수 있습니다. 이를 돕기 위해 이러한 검사를 수행할 수 있는 특수 머신 비전 카메라와 AI 시스템이 개발되었습니다.

YOLO-World 모델은 이 분야에서 큰 발전을 이루었습니다. 제로샷 능력을 사용하여 특정 문제에 대해 학습되지 않은 경우에도 제품의 결함을 찾아낼 수 있습니다. 예를 들어, 생수병을 제조하는 공장에서는 YOLO-World를 사용하여 병뚜껑이 제대로 밀봉된 병과 뚜껑이 없거나 결함이 있는 병을 쉽게 구분할 수 있습니다.

병뚜껑 검사 예시입니다.

로봇 공학#

YOLO-World 모델을 사용하면 로봇이 익숙하지 않은 환경과 상호 작용할 수 있습니다. 방 안에 있을지도 모르는 특정 객체에 대해 학습하지 않았더라도 현재 어떤 객체가 있는지 식별할 수 있습니다. 예를 들어, 로봇이 한 번도 가본 적 없는 방에 들어간다고 가정해 보겠습니다. YOLO-World 모델을 사용하면 의자, 테이블, 램프와 같은 객체를 구체적으로 학습하지 않았더라도 이를 인식하고 식별할 수 있습니다.

In addition to object detection, YOLO-World can also determine the conditions of those objects, thanks to its 'prompt-then-detect' feature. For instance, in agricultural robotics, it can be used to identify ripe fruits versus not ripe fruits by programming the robot to detect them.

자동차 산업에서의 AI#

자동차 산업에는 많은 움직이는 부품이 포함되어 있으며, YOLO-World는 다양한 차량 애플리케이션에 사용될 수 있습니다. 예를 들어, 자동차 유지보수의 경우, 수동 태깅이나 광범위한 사전 학습 없이도 다양한 객체를 인식하는 YOLO-World의 능력은 매우 유용합니다. YOLO-World는 교체가 필요한 자동차 부품을 식별하는 데 사용될 수 있습니다. 심지어 신차의 결함이나 누락된 부품을 찾아내어 품질 검사와 같은 작업을 자동화할 수도 있습니다.

Another application is zero-shot object detection in self-driving cars. YOLO-World’s zero-shot detection capabilities can improve an autonomous vehicle’s capability to detect and classify objects on the road, such as pedestrians, traffic signs, and other vehicles, in real time. By doing so, it can help detect obstacles and prevent accidents for a safer journey.

도로 위 객체 탐지 예시입니다.

소매점의 재고 관리#

소매점 선반 위의 객체를 식별하는 것은 재고 추적, 재고 유지 및 프로세스 자동화의 중요한 부분입니다. 수동 태깅이나 광범위한 사전 학습 없이도 다양한 객체를 인식하는 Ultralytics YOLO-World의 능력은 재고 관리에 매우 유용합니다.

For instance, in inventory management, YOLO-World can swiftly spot and categorize items on a shelf, such as different brands of energy drinks. Retail stores can keep accurate inventory, manage stock levels efficiently, and smooth out supply chain operations.

이 모든 애플리케이션은 고유하며 YOLO-World가 얼마나 광범위하게 사용될 수 있는지 보여줍니다. 다음으로, YOLO-World를 직접 다루어 보고 코드 예제를 살펴보겠습니다.

코드 따라하기#

앞서 언급했듯이 YOLO-World는 유지보수를 위해 자동차의 여러 부품을 탐지하는 데 사용할 수 있습니다. 필요한 수리를 탐지하는 컴퓨터 비전 애플리케이션은 자동차 사진을 찍고, 자동차 부품을 식별하고, 각 부품의 손상 여부를 검사하고, 수리를 권장하는 과정을 포함합니다. 이 시스템의 각 부분은 서로 다른 AI 기술과 접근 방식을 사용합니다. 이번 코드 따라하기에서는 자동차 부품이 탐지되는 부분에 집중해 보겠습니다.

With YOLO-World, you can identify different car parts in an image in under 5 minutes. You can extend this code to try out different applications using YOLO-World as well! To get started, we’ll need to pip install the Ultralytics package as shown below.

설치 과정과 관련된 더 많은 지침과 모범 사례를 보려면 Ultralytics Installation 가이드를 확인하세요. YOLOv8에 필요한 패키지를 설치하는 동안 문제가 발생하면 Common Issues guide에서 해결 방법과 팁을 참고하세요.

필요한 패키지를 설치한 후에는 인터넷에서 이미지를 다운로드하여 추론을 실행할 수 있습니다. 아래 이미지를 사용하겠습니다.

입력 이미지입니다.

그 다음, 필요한 패키지를 불러오고 모델을 초기화한 후 입력 이미지에서 찾고자 하는 클래스를 설정합니다. 여기서는 자동차(car), 바퀴(wheel), 자동차 문(car door), 자동차 미러(car mirror), 번호판(license plate) 클래스에 관심이 있습니다.

그런 다음 predict 메서드를 사용하여 이미지 경로와 함께 최대 탐지 수에 대한 매개변수, 그리고 IoU(Intersection over Union) 및 신뢰도(conf) 임계값을 제공하여 이미지에 대한 추론을 실행합니다. 마지막으로, 탐지된 객체는 'result.jpg'라는 파일로 저장됩니다.

다음 출력 이미지가 파일로 저장됩니다.

출력 이미지입니다.

코딩 없이 YOLO-World의 기능을 확인하고 싶다면 YOLO-World 데모 페이지에 접속하여 입력 이미지를 업로드하고 사용자 지정 클래스를 입력해 볼 수 있습니다.

사용자 정의 클래스를 반복해서 입력하지 않고도 나중에 직접 사용할 수 있도록 커스텀 클래스와 함께 모델을 저장하는 방법을 알아보려면 docs page on YOLO-World를 읽어보세요.

자동차 문이 탐지되지 않은 것을 확인하셨나요?#

출력 이미지를 다시 살펴보면, 사용자 지정 클래스인 "car door"가 탐지되지 않았음을 알 수 있습니다. 뛰어난 성과에도 불구하고 YOLO-World에는 몇 가지 제한 사항이 있습니다. 이러한 한계를 극복하고 YOLO-World 모델을 효과적으로 사용하려면 올바른 유형의 텍스트 프롬프트를 사용하는 것이 중요합니다.

이에 대한 통찰은 다음과 같습니다.

• YOLO-World는 정확한 예측을 위해 높은 신뢰도 수준이 필요하지 않을 수 있으므로, 신뢰도 임계값을 낮추면 탐지율을 개선할 수 있습니다.
• 관심 없는 클래스를 추가하세요. 보조 객체에 대한 오탐(false positive)을 줄여 기본 object detection을 개선하는 데 도움이 됩니다.
• 더 작은 세부 사항에 집중하기 전에 더 큰 객체를 먼저 탐지하면 탐지 정확도를 향상할 수 있습니다.
• 색상 단서를 기반으로 객체를 탐지하려면 클래스에 색상을 언급하십시오.
• 프롬프트에 객체 크기를 설명하는 것도 YOLO-World가 특정 객체를 더 정확하게 식별하는 데 도움이 될 수 있습니다.
• 크기별로 예측을 필터링하거나 클래스당 신뢰도 수준을 조정하는 등의 후처리 방법은 객체 탐지 결과를 더욱 향상할 수 있습니다.

가능성은 무궁무진합니다#

Overall, YOLO-World models can be made into a powerful tool with their advanced object detection capabilities. It provides great efficiency, accuracy, and helps automate different tasks across various applications, like the example of identifying car parts that we practically discussed.

Feel free to explore our GitHub repository to learn more about our contributions to computer vision and AI. If you're curious about how AI is reshaping sectors like healthcare technology, check out our solutions pages. The possibilities with innovations like YOLO-World seem to be endless!