인스턴스 분할을 위해 Ultralytics YOLO26을 커스텀 학습하는 방법

최근 기술 발전 덕분에 우리 삶에서 조용하지만 중요한 역할을 하는 많은 스마트 시스템이 AI를 기반으로 작동합니다. 예를 들어 자동차가 신호를 위반하면 카메라가 자동으로 위반 장면을 기록하고, 자동화된 품질 검사 시스템이 생산 라인의 제조 결함을 찾아내는 것처럼 AI는 보이지 않는 곳에서 작업을 수행합니다.

특히 컴퓨터 비전으로 알려진 AI 분야는 기계가 이미지와 동영상을 해석하고 이해할 수 있도록 합니다. 컴퓨터 비전을 통해 시스템은 실시간으로 객체를 인식하고 움직임을 추적하며 시각적 세부 정보를 분석할 수 있으므로, 교통 모니터링, 산업 검사, 로보틱스와 같은 애플리케이션에 필수적입니다.

이러한 기능은 객체 탐지와 인스턴스 분할을 비롯한 다양한 비전 작업을 지원하는 컴퓨터 비전 모델인 Ultralytics YOLO26 등을 통해 구현됩니다. 객체 탐지는 단순한 바운딩 박스로 객체를 식별하는 반면, 인스턴스 분할은 픽셀 단위로 각 객체의 윤곽을 그려 실제 환경에서 더 정확하고 신뢰할 수 있는 결과를 제공합니다.

그림 1. Ultralytics YOLO26을 사용한 이미지 내 객체 분할

Ultralytics YOLO26과 같은 모델은 사전 학습되어 있으므로 사람, 자동차, 동물 등 일상적인 객체를 별도의 설정 없이 바로 분할할 수 있습니다. 그러나 보다 구체적인 애플리케이션에 맞춰 커스텀 학습을 수행할 수도 있습니다. 즉, 모델은 객체의 생김새와 정확한 윤곽을 그리는 방법을 학습할 수 있습니다.

이 문서에서는 인스턴스 분할을 위해 Ultralytics YOLO26을 커스텀 학습하는 방법을 살펴보겠습니다. 시작해 보겠습니다!

인스턴스 세그멘테이션이란 무엇인가요?#

모델 학습을 살펴보기 전에 한 걸음 물러나 인스턴스 분할의 의미를 알아보겠습니다.

인스턴스 분할은 모델이 이미지에서 개별 객체를 각각 찾고 정확한 형태의 윤곽을 그릴 수 있도록 하는 컴퓨터 비전 작업입니다. 객체의 존재만 식별하는 대신 모델은 이미지의 모든 픽셀을 살펴보고 각 픽셀이 특정 객체에 속하는지 판단합니다.

이를 통해 객체가 서로 겹치거나 아주 가까이 있어도 분리할 수 있습니다. 인스턴스 분할을 쉽게 시각화하는 데 도움이 되는 핵심 개념은 마스크입니다.

마스크는 객체 영역에만 적용되는 픽셀 단위의 윤곽입니다. 다른 부분은 그대로 둔 채 형광펜으로 객체에만 색칠하는 것이라고 생각하면 됩니다.

객체마다 고유한 마스크가 할당되므로, 자동차 두 대나 나란히 서 있는 사람 두 명처럼 같은 유형의 객체라도 모델이 서로 구분할 수 있습니다.

그림 2. 인스턴스 분할 살펴보기

인스턴스 분할의 의미를 더 잘 이해하기 위해 다른 일반적인 컴퓨터 비전 작업과 비교해 볼 수 있습니다. 객체 탐지는 객체 주위에 그리는 단순한 사각형인 바운딩 박스를 사용합니다. 바운딩 박스는 빠르고 유용하지만 객체의 정확한 형태를 나타내지는 못합니다.

반면 시맨틱 분할은 이미지의 모든 픽셀에 범주를 지정하지만, 동일한 클래스에 속하는 개별 객체를 구분하지는 않습니다. 인스턴스 분할은 두 방식의 장점을 결합해 객체의 범주를 식별하고 각각의 개별 객체에 별도의 마스크를 할당합니다.

인스턴스 분할은 상세한 정보를 제공하므로 자동화된 품질 검사, 의료 영상, 로보틱스와 같은 실제 애플리케이션에서 특히 유용합니다. 정밀한 측정, 정확한 경계, 객체 분리가 필요한 작업은 이러한 픽셀 단위 이해를 통해 이점을 얻을 수 있습니다.

Ultralytics YOLO26의 인스턴스 분할 지원#

Ultralytics YOLO26은 실제 환경의 비전 작업을 빠르고 효율적으로 처리하도록 설계된 엔드투엔드 방식의 비최대 억제(NMS) 프리 최첨단 컴퓨터 비전 모델입니다. Ultralytics YOLO 계열의 탐지 모델로, 정확한 결과를 제공하면서 이미지와 동영상을 실시간으로 처리할 수 있습니다.

Ultralytics YOLO26은 단일 프레임워크에서 객체 탐지, 포즈 추정, 이미지 분류, 방향성 바운딩 박스 탐지(obb 탐지), 인스턴스 분할을 비롯한 여러 비전 작업을 지원합니다.

Ultralytics YOLO26은 사전 학습된 상태로 제공됩니다. 즉, COCO 데이터셋과 ImageNet 데이터셋처럼 널리 사용되는 대규모 데이터셋을 통해 사람, 차량, 일상용품과 같은 일반적인 객체를 이미 인식하도록 학습되었습니다. 추가 학습 없이 바로 모델을 사용할 수 있습니다.

하지만 애플리케이션에 고유한 객체, 특정 환경, 특이한 조명 조건이 포함되는 경우 커스텀 모델 학습을 통해 결과를 크게 개선할 수 있습니다. Ultralytics YOLO26을 직접 라벨링한 이미지로 학습하면 모델이 무엇을 찾아야 하는지, 특정 사용 사례에 맞춰 객체의 윤곽을 더 정확하게 그리는 방법을 학습시킬 수 있습니다.

이 과정을 파인튜닝이라고도 합니다. 파인튜닝은 모델을 처음부터 학습하는 대신 사전 학습된 Ultralytics YOLO26 모델에서 시작해 자체 데이터를 사용하여 모델을 점진적으로 조정합니다. 모델이 이미 에지, 형태, 텍스처와 같은 일반적인 시각 패턴을 이해하므로 특정 객체를 학습하는 데 필요한 라벨링 이미지와 시간이 훨씬 적습니다.

간단히 말해 파인튜닝은 모델을 처음부터 학습하는 것보다 빠르고 효율적이며 접근성이 높습니다. 데이터와 컴퓨팅 리소스가 제한된 초보자나 팀도 Ultralytics YOLO26을 실용적으로 커스텀 학습할 수 있습니다.

Ultralytics YOLO26 인스턴스 분할 활용 사례 살펴보기#

그렇다면 인스턴스 분할은 어디에서 효과적일까요? 객체를 구분하고 정확한 형태를 파악하는 것이 중요한 상황, 특히 객체가 밀집하거나 서로 겹치는 경우에 유용합니다.

인스턴스 분할이 실질적인 차이를 만드는 일반적인 워크플로는 다음과 같습니다.

• 항공 및 드론 영상: 이 작업을 통해 드론은 항공 이미지에서 건물, 차량, 식생과 같은 객체를 분리하여 매핑, 검사, 측량에 활용할 수 있습니다.
• 스포츠 분석: 인스턴스 분할은 경기나 훈련 중 배경에서 개별 선수를 분리하여 선수의 움직임과 상호작용을 분석하는 데 도움이 됩니다.
• 건설 및 인프라 모니터링: 유지보수 계획 수립을 위해 건물, 교량, 도로의 구조 요소, 균열, 손상 영역을 식별하는 데 도움이 됩니다.
• 헬스케어 및 의료 영상: 인스턴스 분할을 사용하면 세포, 조직, 의료 도구의 윤곽을 정밀하게 그려 더 정확한 분석과 진단을 지원할 수 있습니다.
• 농업 및 환경 모니터링: 작물, 과일, 식물 질병을 식별하고 분리할 수 있어 수확량을 추정하고 표적 치료를 적용하기가 쉬워집니다.

그림 3. YOLO26을 사용한 잡초 분할 예시 (출처)

인스턴스 분할을 위한 Ultralytics YOLO26 커스텀 학습 방식#

이제 커스텀 학습이 어떻게 진행되는지 살펴보겠습니다. 모델 학습은 기술적인 과정처럼 들릴 수 있지만 전체 절차는 간단합니다.

이미지를 준비하고, 모델이 학습할 객체에 라벨을 지정한 다음, 간단한 설정 파일을 구성하고 Ultralytics Python 패키지를 사용해 YOLO26을 학습할 수 있습니다. Ultralytics Python 패키지는 모든 것을 처음부터 구축하지 않고도 YOLO 모델을 학습, 테스트, 배포할 수 있도록 바로 사용할 수 있는 도구를 제공하는 소프트웨어 라이브러리입니다.

1단계: 커스텀 데이터셋 준비하기#

첫 번째 단계는 사용자 지정 세그멘테이션 데이터셋을 준비하는 것입니다. 데이터셋은 모델이 학습할 객체가 포함된 이미지 모음입니다.

다양한 각도, 조명, 배경, 객체 크기 등 실제 환경을 반영하는 이미지를 포함해 보세요. 이미지가 다양할수록 모델의 성능이 향상됩니다.

인스턴스 세그멘테이션에는 이미지의 어노테이션도 필요합니다. 어노테이션은 모델이 학습할 대상을 알 수 있도록 각 이미지의 객체에 레이블을 지정하는 과정입니다. 단순한 박스를 그리는 대신 각 객체 주위에 세밀한 윤곽선(폴리곤)을 그려 정확한 모양을 표시합니다. 이 윤곽선은 모델이 예측하도록 학습하는 마스크가 됩니다.

이 레이블을 만드는 데 사용할 수 있는 오픈 소스 어노테이션 도구는 여러 가지입니다. 이러한 도구 중 상당수는 이미지를 업로드하고 이미지 위에 직접 객체 윤곽선을 그릴 수 있는 사용자 친화적인 인터페이스를 제공합니다.

이미지와 어노테이션을 준비한 다음에는 학습 및 검증 폴더로 구성할 수 있습니다. 일반적으로 데이터셋 크기에 따라 이미지의 80%를 학습용으로, 20%를 검증용으로 분할하지만, 학습용 70%, 검증용 30%로 나누는 경우도 흔합니다. 학습 세트는 모델을 학습시키는 데 사용되고, 검증 세트는 모델이 이전에 본 적 없는 이미지에서 얼마나 잘 작동하는지 측정하는 데 사용됩니다.

분할 비율을 균형 있게 유지하고 두 폴더에 다양한 예시가 포함되도록 하는 것이 중요합니다. 깔끔하고 레이블이 잘 지정된 데이터셋과 적절한 학습 및 검증 분할은 우수한 인스턴스 세그멘테이션 모델의 토대가 됩니다.

2단계: 데이터셋 YAML 파일 만들기#

이미지와 어노테이션을 준비한 다음 단계는 데이터셋 YAML 파일을 만드는 것입니다. 이 파일에는 데이터셋의 위치와 학습 중 모델이 학습해야 할 객체 클래스가 명시됩니다.

이 파일에서 데이터셋 루트 디렉터리, 학습 및 검증 이미지 폴더의 경로, 클래스 이름 목록을 정의할 수 있습니다. 모든 항목이 올바르게 일치하도록 클래스 이름은 어노테이션 파일에서 사용하는 클래스 번호와 같은 순서로 나열해야 합니다.

정확한 형식에 관해 궁금한 점이 있으면 자세한 내용은 Ultralytics 공식 문서를 참조하세요.

3단계: Ultralytics Python 패키지 설치하기#

이제 데이터셋과 YAML 파일을 준비했으므로 다음 단계는 Ultralytics Python 패키지를 설치하는 것입니다.

이 패키지에는 Ultralytics YOLO26 모델을 학습하고, 검증하고, 추론을 실행하고, 내보내는 데 필요한 도구가 포함되어 있습니다. 복잡한 학습 파이프라인을 처음부터 구축하지 않고도 YOLO 모델을 효율적으로 사용할 수 있습니다.

Ultralytics Python 패키지를 설치하기 전에 코드를 실행할 환경도 선택해야 합니다. Ultralytics 패키지는 다음과 같은 여러 개발 환경에서 사용할 수 있습니다.

• 명령줄 인터페이스(CLI): 명령어를 입력해 컴퓨터와 상호작용하는 텍스트 기반 환경입니다. 그래픽 인터페이스에서 버튼을 클릭하거나 메뉴를 탐색하는 대신, 프로그램을 실행하고 작업을 직접 수행하도록 작성된 명령을 입력합니다.
• Jupyter Notebooks: 코드를 작은 단위로 작성하고 실행하여 출력을 즉시 확인할 수 있는 대화형 환경입니다. 실험과 학습에 유용합니다.
• Google Colab: 로컬 설치가 필요 없고 그래픽 처리 장치(GPUs)를 선택적으로 사용할 수 있는 클라우드 기반 노트북 플랫폼입니다. 초보자에게 가장 간편한 선택지인 경우가 많습니다.

환경을 선택한 다음에는 Ultralytics Python 패키지를 설치할 수 있습니다. 설치하려면 다음 명령을 실행하세요.

pip install ultralytics

Google Colab이나 Jupyter Notebook과 같은 노트북 기반 환경을 사용하는 경우 명령 앞에 느낌표를 추가하세요. 설치 문제가 발생하면 일반적인 해결 방법과 환경 설정 팁은 Ultralytics 문서 또는 문제 해결 가이드를 참조하세요.

설치가 끝나면 사전 학습된 Ultralytics YOLO26 세그멘테이션 모델을 불러와 학습을 시작할 수 있습니다.

4단계: 인스턴스 세그멘테이션용 Ultralytics YOLO26 학습하기#

학습을 시작하기 전에 모델 크기를 선택해야 합니다. Ultralytics YOLO26 모델은 Nano(n), Small(s), Medium(m), Large(l), Extra Large(x) 크기로 제공됩니다.

소형 모델은 학습 속도가 빠르고 중앙 처리 장치(CPUs)나 엣지 디바이스에서 효율적으로 실행됩니다. 대형 모델은 일반적으로 정확도가 더 높지만 메모리가 더 많이 필요하며 GPU 가속의 이점을 활용합니다. 이제 막 시작했거나 하드웨어가 제한적인 경우 Nano 버전(YOLO26n)이 실용적인 선택입니다.

모델 크기를 선택한 다음 단계는 사전 학습된 세그멘테이션 모델을 불러와 사용자 지정 데이터셋으로 학습하는 것입니다. 아래와 같이 사전 학습된 모델 파일, 데이터셋 YAML 파일 경로, 에포크 수, 이미지 크기를 지정해야 합니다.

from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
results = model.train(data="path/to/file.yaml", epochs=100, imgsz=640)

에포크 수는 모델이 전체 학습 데이터셋을 몇 번 반복하는지를 결정합니다. 각 에포크에서 모델은 예측을 수행하고, 정답 어노테이션과 비교하고, 오차를 계산한 다음, 성능을 개선하도록 내부 파라미터를 업데이트합니다.

학습이 올바르게 시작되면 터미널이나 노트북에 모델 설정, 데이터셋 스캔, 학습 진행 상황이 표시됩니다. 학습이 진행되는 동안 각 에포크가 끝날 때마다 손실 값과 평가 지표가 업데이트되어 모델이 어떻게 개선되는지 보여 줍니다.

5단계: 사용자 지정 학습 모델의 성능 평가하기#

학습 과정이 완료되면 모델의 성능 지표를 검토하고 검증할 수 있습니다. Google Colab에서는 “runs” 폴더, “segment” 폴더, “train” 폴더 순으로 이동하면 주요 성능 지표가 표시된 로그를 확인할 수 있습니다.

Python 환경에서 작업하는 경우 학습 결과는 기본적으로 현재 작업 디렉터리의 “runs/train/” 디렉터리에 저장됩니다. 학습을 실행할 때마다 runs/train/exp 또는 runs/train/exp2와 같은 새 하위 디렉터리가 생성되며, 여기에서 해당 실험과 관련된 로그, 저장된 가중치 및 기타 출력을 찾을 수 있습니다.

CLI를 사용하는 경우 “yolo settings” 명령으로 결과에 액세스하고 관리할 수 있습니다. 이 명령을 사용하면 학습 로그 및 실험 세부 정보와 관련된 경로와 설정을 확인하거나 수정할 수 있습니다.

저장된 출력 중에는 학습 중 생성된 그래프도 있습니다. 이 그래프는 시간이 지나면서 모델이 어떻게 개선되었는지 보여 줍니다. 예를 들어 모델이 학습하면서 손실이 감소하고 정밀도, 재현율, 평균 정밀도와 같은 평가 지표가 에포크에 따라 증가하는 양상을 확인할 수 있습니다.

그림 4. 모델을 평가하기 위해 분석할 수 있는 그래프 유형 (출처)

이러한 시각적 추세를 통해 모델이 성공적으로 학습되었는지, 학습 시작 시점부터 종료 시점까지 얼마나 개선되었는지 파악할 수 있습니다. 새로운 이미지로 테스트하기 전에 수치 지표와 그래프를 모두 검토하면 인스턴스 세그멘테이션 모델의 성능을 더 명확하게 파악할 수 있습니다.

6단계: 모델 테스트 및 추론 실행하기#

모델 검증을 마친 다음 마지막 단계는 새 이미지로 테스트하는 것입니다. 이 과정을 추론이라고 하며, 학습된 모델을 사용해 보지 않은 데이터에 대한 예측을 수행하는 것을 뜻합니다.

다음과 같이 Python에서 추론을 실행할 수 있습니다.

results = model.predict("path/to/image.jpg", save=True, conf=0.3)

이 예시에서 "path/to/image.jpg"는 테스트하려는 이미지의 경로로 바꿀 수 있습니다.

“save=True” 설정은 모델이 원본 이미지 위에 예측된 세그멘테이션 마스크를 그린 새 이미지를 생성하고 저장하도록 합니다.

“conf=0.3” 설정은 신뢰도 임계값을 지정합니다. 즉, 모델이 정답일 가능성을 30% 이상으로 판단한 예측만 표시합니다. 이 값을 낮추면 더 많은 탐지 결과가 표시될 수 있으며, 값을 높이면 모델이 더 엄격하게 결과를 선별합니다.

명령을 실행하면 모델은 runs 디렉터리 안에 새 폴더를 만들고 출력 이미지를 저장합니다. 저장된 이미지를 열어 세그멘테이션 마스크가 객체 경계를 얼마나 잘 따르는지, 겹친 객체가 올바르게 분리되는지 시각적으로 확인할 수 있습니다.

다양한 이미지, 배경, 조명 조건에서 모델을 테스트하면 학습 데이터셋 외부에서 모델이 어떻게 작동하는지 더 명확하게 파악할 수 있습니다. 결과가 일관되고 정확해 보이면 모델을 내보내 배포할 준비가 된 것입니다.

7단계: 모델 내보내기 및 배포하기#

모델을 테스트하고 성능이 우수한지 확인한 다음 마지막 단계는 모델을 내보내고 배포하는 것입니다. 내보내기는 학습된 Ultralytics YOLO26 모델을 프로덕션 서버, 엣지 디바이스, 모바일 애플리케이션 등 다양한 환경에서 실행할 수 있는 형식으로 변환합니다.

Ultralytics는 여러 내보내기 형식을 지원하므로 배포 환경에 가장 적합한 형식을 선택할 수 있습니다. 예를 들어 플랫폼 전반의 폭넓은 호환성을 위해 ONNX로, NVIDIA 하드웨어에서 GPU 성능을 최적화하기 위해 TensorRT로, Intel 디바이스에서 효율적인 CPU 기반 배포를 위해 OpenVINO로 내보낼 수 있습니다. 이러한 통합 기능을 사용하면 학습 환경 외부에서 모델을 더 쉽게 실행하고 뛰어난 실시간 성능을 얻을 수 있습니다.

다음 명령을 사용해 Python에서 모델을 내보낼 수 있습니다.

model.export(format="onnx")

이 명령은 학습된 모델을 ONNX 형식으로 변환합니다. 배포 요구 사항에 따라 "onnx"를 지원되는 다른 형식으로 바꿀 수 있습니다.

내보낸 모델은 웹 서비스, 임베디드 비전 시스템, 로봇 플랫폼, 산업 검사 시스템 등의 애플리케이션에 통합할 수 있습니다. 이 단계에서 사용자 지정 학습된 Ultralytics YOLO26 인스턴스 세그멘테이션 모델은 실험 단계에서 실제 환경의 배포 단계로 나아갈 수 있습니다.

핵심 요점#

인스턴스 세그멘테이션을 위해 Ultralytics YOLO26을 사용자 지정 학습하면 특정 사용 사례에 꼭 맞는 모델을 유연하게 구축할 수 있습니다. 명확한 데이터셋을 준비하고 YAML 파일을 설정한 뒤, 사전 학습된 세그멘테이션 가중치로 학습하고 결과를 검토하면 모델이 각 객체의 윤곽을 픽셀 수준에서 정확하게 표시하도록 학습시킬 수 있습니다. 테스트와 내보내기를 마친 YOLO26 모델은 개발 단계에서 다양한 규모의 실제 애플리케이션으로 나아갈 수 있습니다.

커뮤니티에 참여하고 GitHub 저장소를 살펴보며 AI에 대해 더 알아보세요. 자체 비전 AI 프로젝트를 구축하려면 라이선스 옵션을 확인하세요. 솔루션 페이지에서 헬스케어 분야의 AI와 리테일 분야의 비전 AI 같은 애플리케이션에 대해 더 알아보세요.