컴퓨터 비전의 지도 학습과 비지도 학습 살펴보기
컴퓨터 비전에서 지도 학습과 비지도 학습의 차이와 데이터 및 프로젝트 목표에 적합한 접근 방식을 선택하는 방법을 알아보세요.

인공지능(AI)은 인간의 지능과 유사한 방식으로 기계가 학습하고 추론하도록 가르치는 핵심 개념을 기반으로 합니다. 사람들이 직접적인 교육을 받거나 패턴과 경험을 관찰하는 등 다양한 방법으로 학습하는 것처럼, AI와 머신 러닝 시스템도 이러한 접근 방식을 따르도록 설계됩니다.
특히 머신 러닝 알고리즘의 경우, 시스템은 모든 작업을 명시적으로 프로그래밍하는 대신 데이터에서 학습하도록 훈련됩니다. 머신 러닝 모델은 고정된 규칙에 의존하는 대신 데이터에서 패턴을 식별하고, 이러한 패턴을 사용해 예측이나 의사 결정을 수행합니다.
예를 들어 컴퓨터 비전은 이미지와 동영상 같은 시각 정보를 시스템이 해석하고 이해할 수 있도록 하는 데 중점을 둔 AI 및 머신 러닝의 한 분야입니다. 객체 인식부터 대규모 데이터셋의 숨겨진 패턴 식별까지, 이러한 시스템은 학습하도록 훈련되는 방식에 크게 의존합니다.
사용 가능한 데이터의 유형과 해결하려는 문제에 따라 이러한 시스템을 훈련하는 데 다양한 AI 학습 기법이 사용됩니다.
일부 컴퓨터 비전 모델은 레이블이 지정된 데이터에서 학습합니다. 이 경우 각 입력에는 정답이 연결되어 있으며, 모든 이미지나 데이터 포인트에는 해당 데이터가 무엇을 나타내는지 알려 주는 사전 정의된 레이블이 포함됩니다. 이를 통해 모델은 입력과 예상 출력 간의 관계를 학습하고, 새롭고 보지 못한 데이터에 대해 정확한 예측을 수행하는 능력을 향상할 수 있습니다.
다른 비전 모델은 사전 정의된 정답이 제공되지 않는 레이블 없는 데이터에서 학습하며, 대신 데이터 자체의 패턴과 관계를 식별하는 데 집중합니다. 이러한 접근 방식은 각각 지도 학습과 비지도 학습이라고 하며, 다양한 최첨단 컴퓨터 비전 시스템의 기반을 이룹니다.
이 글에서는 지도 학습과 비지도 학습, 컴퓨터 비전에서의 활용 방식, 그리고 비전 AI 프로젝트에 가장 적합한 접근 방식을 선택하는 방법을 살펴봅니다. 시작하겠습니다!
AI 학습 접근 방식이 컴퓨터 비전을 구동하는 방법#
인공지능을 일반적으로 인간의 지능이 필요한 작업을 기계가 수행할 수 있도록 하는 다양한 기술을 포괄하는 우산으로 생각할 수 있습니다. 이 우산 아래에서 머신 러닝은 고정된 규칙에만 의존하지 않고 시스템이 데이터에서 학습할 수 있도록 하는 핵심 분야입니다.
머신 러닝에서는 다양한 학습 기법이 모델의 학습 및 시간에 따른 개선 방식을 결정합니다. 지도 학습(정답이 포함된 레이블 데이터에서 학습), 비지도 학습(레이블 없는 데이터에서 패턴 식별), 강화 학습(피드백이나 보상을 활용한 시행착오를 통해 학습), 반지도 학습(소량의 레이블 데이터와 대량의 레이블 없는 데이터를 결합)은 시스템이 입력 데이터를 처리하고 출력 데이터를 생성하는 방식을 정의합니다.

그림 1. AI 학습 방법 개요(출처)
특히 컴퓨터 비전 시스템은 이러한 학습 접근 방식을 사용해 시각 데이터를 해석하고 이해하도록 구축됩니다. 지도 학습은 모델이 명확하게 레이블이 지정된 예제에서 학습하고 정확하고 신뢰할 수 있는 결과를 생성할 수 있으므로 가장 일반적으로 사용되는 방법입니다.
예를 들어 모델은 “고양이”와 “개”로 레이블이 지정된 이미지로 훈련되며, 분류 알고리즘을 사용해 새 이미지를 정확하게 분류할 수 있도록 형태, 귀, 얼굴 구조와 같은 특징을 학습합니다. 한편 비지도 학습과 반지도 학습도 컴퓨터 비전에서 사용되며, 주로 데이터의 패턴을 탐색하거나 레이블이 지정된 데이터가 제한적일 때 성능을 향상하는 데 활용됩니다.
컴퓨터 비전에서 지도 학습 모델을 사용하는 방법 살펴보기#
지도 학습 알고리즘은 교사가 예제와 정답을 함께 제공하여 학생이 옳고 그름을 학습하도록 하는 교실 환경에 비유할 수 있습니다. 머신 러닝에서 모델은 각 입력에 알려진 출력이 연결된 레이블 데이터로 유사한 방식으로 학습합니다.
야구 경기 분석을 자동화하는 컴퓨터 비전 시스템을 구축한다고 가정해 보겠습니다. 공, 배트, 선수와 같은 객체에 레이블이 지정된 이미지나 비디오 프레임으로 Ultralytics YOLO26과 같은 모델을 훈련할 수 있습니다.
각 객체에는 위치와 카테고리가 표시되므로 모델이 무엇을 찾아야 하는지 학습할 수 있습니다. 시간이 지나면 모델은 새로운 영상에서 이러한 객체를 감지하고 위치를 파악하여 프레임 전반의 공 추적 및 선수 감지와 같은 사용 사례를 지원할 수 있습니다.

그림 2. 지도 학습으로 구현한 객체 감지 예시(출처)
객체 감지 외에도 지도 학습은 정확도와 일관성이 중요한 이미지 분류, 인스턴스 세그멘테이션, 포즈 추정과 같은 다양한 컴퓨터 비전 작업에 널리 사용됩니다. 이러한 각 작업에서 모델은 레이블 데이터로 학습하여 특정 패턴을 식별하고 새로운 입력에 대해 신뢰할 수 있는 예측을 수행합니다.
이러한 모델은 일반적으로 딥 러닝을 사용해 구축됩니다. 딥 러닝은 신경망을 사용하여 데이터에서 직접 패턴을 학습하는 머신 러닝의 한 유형입니다. 신경망은 인간의 뇌가 작동하는 방식을 느슨하게 모방한 방식으로 정보를 처리하도록 설계되어, 모델이 대규모 데이터셋에서 복잡한 시각적 특징을 학습할 수 있도록 합니다.
초기 컴퓨터 비전 접근 방식은 흔히 수작업으로 설계한 특징과 서포트 벡터 머신(SVM은 카테고리 간 최적의 경계를 찾아 데이터를 분류하는 모델) 또는 의사결정 트리(데이터를 여러 분기로 나누어 의사 결정을 수행하는 모델)와 같은 알고리즘을 함께 사용했습니다.
반면 오늘날의 컴퓨터 비전 모델은 딥 러닝을 사용해 데이터에서 이러한 특징을 자동으로 학습하므로, 대규모의 매우 세밀한 시각 작업을 더욱 효과적으로 처리할 수 있습니다.
비전 AI에서 비지도 학습 모델이 필요한 이유 이해하기#
지도 학습은 컴퓨터 비전에서 기본적으로 사용되는 접근 방식이지만, 레이블 데이터가 없거나 이를 생성하는 데 비용과 시간이 지나치게 많이 드는 특정 비전 애플리케이션도 있습니다.
이러한 경우 비지도 학습 알고리즘이 유용한 대안이 될 수 있습니다. 야생동물 카메라로 촬영한 레이블 없는 사진을 대량으로 보유하고 있다고 가정해 보겠습니다.
각 이미지에 무엇이 포함되어 있는지 알려 주는 레이블은 없지만, 여전히 데이터를 정리하거나 이해하고자 할 수 있습니다. 비지도 모델은 이러한 이미지를 분석하고 유사한 이미지끼리 그룹화하여, 정확한 레이블을 알지 못하더라도 비슷하게 보이는 동물을 클러스터로 분리할 수 있습니다.
컴퓨터 비전에서 비지도 학습이 작동하는 방식#
그렇다면 비지도 머신 러닝은 어떻게 작동할까요? 모델은 정답에서 학습하는 대신 데이터 내부의 패턴과 구조를 스스로 식별하며 학습합니다. 레이블이 지정된 예제에 의존하지 않고 데이터 전반의 유사점과 차이점을 찾습니다.
일반적인 사용 사례로 이상 감지가 있습니다. 모델이 정상적인 데이터의 형태를 학습한 다음, 여기에서 벗어나는 모든 항목을 식별합니다. 이상 및 아웃라이어 감지는 가장 영향력 있는 산업 애플리케이션 중 하나입니다. 제조 라인에서 결함 제품을 찾거나, 영상의학 전문의의 검토가 필요한 비정상적인 의료 스캔을 표시하거나, 감시 영상에서 의심스러운 활동을 감지하는 것이 그 예입니다. 결함과 이상은 대개 드물고 다양하므로 가능한 모든 사례에 레이블을 지정하는 것은 비현실적이며, 비지도 접근 방식이 자연스럽게 적합합니다.
이를 위해 클러스터링과 차원 축소 같은 기법이 자주 사용되며, 일반적으로 원본 이미지 자체가 아니라 이미지에서 추출한 특징에 적용됩니다. k-means 클러스터링과 같은 클러스터링 방법은 공유된 패턴을 기반으로 유사한 이미지를 함께 그룹화하고, 주성분 분석(PCA)과 같은 차원 축소 기법은 가장 중요한 특징에 집중하여 데이터를 단순화합니다.
이를 통해 모델은 크고 복잡한 데이터셋 내부의 의미 있는 패턴과 구조를 더 쉽게 식별할 수 있습니다. 비지도 학습의 주요 장점은 레이블 없는 데이터에서도 잘 작동하며 즉시 명확하지 않은 패턴을 발견할 수 있다는 점입니다. 그러나 지도 학습에 비해 평가가 어렵고 최종 출력에 대한 제어력이 낮습니다.
컴퓨터 비전에서의 자기지도 학습과 반지도 학습#
지도 학습과 비지도 학습을 살펴보다 보면 두 방식 사이에 중간 지대가 있는지 궁금할 수 있습니다. 흥미롭게도 자기지도 학습과 반지도 학습은 지도 학습과 비지도 학습 사이의 간극을 연결합니다.
이러한 접근 방식은 모델이 레이블 없는 데이터에서 더 효과적으로 학습할 수 있도록 합니다. 레이블이 지정된 예제에만 의존하는 대신, 데이터에서 자체 학습 과제를 생성하거나 소량의 레이블 데이터셋과 더 큰 레이블 없는 데이터셋을 결합합니다.
자기지도 학습에서 모델은 데이터 자체에서 생성된 과제를 해결하며 학습합니다. 예를 들어 일부가 누락된 이미지가 주어졌을 때 해당 공간을 무엇으로 채워야 하는지 예측하도록 학습하거나, 동일한 객체를 다양한 각도에서 본 이미지를 식별하도록 학습할 수 있습니다. 이를 통해 수동 레이블 없이도 모델이 유용한 특징을 학습할 수 있습니다.
반면 반지도 학습에서는 소량의 레이블 데이터와 더 많은 레이블 없는 데이터를 함께 사용하여 성능을 향상합니다. 경우에 따라 모델이 레이블 없는 데이터에 대한 레이블을 생성하고 이를 사용해 학습을 계속할 수 있습니다.
이러한 접근 방식의 주요 이점은 대규모 레이블 데이터셋의 필요성을 줄인다는 점입니다. 대규모 레이블 데이터셋은 생성하는 데 비용과 시간이 많이 드는 경우가 많습니다. 그러나 완전한 지도 학습 방법에 비해 설계와 평가가 더 복잡할 수 있습니다.
지도 학습과 비지도 학습의 주요 차이점#
지도 학습과 비지도 학습의 차이는 모델이 학습하는 방식과 달성하려는 목표에 있습니다. 지도 학습은 특정 작업을 학습하기 위해 레이블 데이터와 명확한 지침에 의존하는 반면, 비지도 학습은 사전 정의된 정답 없이 작동하며 데이터 내부의 패턴과 구조를 발견하는 데 집중합니다.
예를 들어 교통 모니터링 시스템에서 지도 학습 모델은 레이블이 지정된 이미지로 훈련하여 차량, 보행자 또는 교통 신호를 감지할 수 있습니다. 반면 비지도 모델은 대량의 비디오 영상을 분석하여 유사한 교통 패턴을 그룹화하거나 예상치 못한 혼잡이나 비정상적인 움직임과 같은 이상 이벤트를 식별할 수 있으며, 무엇을 찾아야 하는지 명시적으로 알려 주지 않아도 됩니다.
컴퓨터 비전에서 지도 학습을 사용해야 하는 경우#
지도 학습은 목표가 명확하게 정의되어 있고 모델이 입력 데이터를 정확한 출력에 매핑해야 하는 컴퓨터 비전 작업에 적합합니다. 신뢰할 수 있는 레이블 데이터셋이 있고 일관되고 예측 가능한 결과가 필요할 때 특히 효과적입니다.

그림 3. 지도 학습을 기반으로 수행되는 컴퓨터 비전 작업(출처)
모델이 알려진 카테고리를 구분하거나 특정 결과를 예측해야 하는 문제에 일반적으로 사용됩니다. 패턴을 탐색하는 대신 레이블 데이터에서 정확한 관계를 학습하는 데 중점을 두므로, 원하는 결과를 향해 모델을 안내하기가 더 쉽습니다.
또 다른 주요 장점은 제어력입니다. 지도 학습을 사용하면 명확한 지표로 성능을 측정하고, 모델을 파인 튜닝하며, 배포 중 안정적인 동작을 보장하기가 더 쉽습니다. 따라서 시간이 지나도 일관성과 신뢰성이 필요한 시스템에 적합합니다.
그러나 그에 따른 상충 관계가 있습니다. 모델은 레이블 데이터의 품질과 규모에 크게 의존하며, 이러한 데이터를 수집하고 어노테이션하는 데 시간이 많이 걸릴 수 있습니다.
지도 학습을 활용한 컴퓨터 비전의 실제 사례#
Ultralytics YOLO 모델과 같은 비전 AI 모델은 특히 실시간 애플리케이션에서 높은 정확도로 객체 감지와 같은 작업을 수행하기 위해 지도 학습을 사용합니다. 다음은 지도 학습이 중요한 역할을 하는 일반적인 실제 비전 사용 사례입니다.
- 의료 및 의료 영상: 의사는 X선이나 MRI와 같이 레이블이 지정된 스캔으로 훈련된 컴퓨터 비전 시스템을 사용할 수 있습니다. 분류기는 종양이나 골절과 같은 질환을 식별하여 더 빠르고 정확한 진단을 지원합니다.
- 산업 품질 검사: 제조 환경에서 레이블 데이터로 훈련된 비전 시스템은 형태, 표면 결함, 질감, 크기 등 품질과 관련된 여러 특징을 분석하여 제품을 검사할 수 있습니다. 허용 가능한 제품과 결함 제품의 예제에서 학습함으로써 이러한 시스템은 결함을 일관되게 식별하고 생산 표준을 유지할 수 있습니다.
- 자율주행: 자율주행 시스템은 레이블이 지정된 주행 데이터로 훈련된 모델에 의존하여 차선, 차량, 보행자 및 교통 표지판을 인식하고, 차량이 실시간으로 안전하게 주행하도록 지원합니다.
- 소매 및 결제 시스템: 매장에서는 레이블이 지정된 제품 이미지로 훈련된 모델을 사용하여 진열대나 계산대의 상품을 식별하고, 자동 결제와 더욱 효율적인 재고 관리를 구현합니다. 이러한 시스템은 추가 데이터와 결합할 경우 고객 세분화와 같은 작업도 지원하여 기업이 쇼핑 패턴을 더 잘 이해하도록 돕습니다.
- 농업 및 작물 모니터링: 농부는 레이블이 지정된 이미지로 훈련된 모델을 사용하여 작물을 감지하고 분류할 수 있습니다. 예를 들어 건강한 감자와 손상된 감자를 식별하고 개수를 세어 품질 관리를 개선하고 손실을 줄일 수 있습니다.

그림 4. YOLO를 사용하여 건강한 감자와 결함 감자를 감지하고 개수 세기
비지도 학습으로 컴퓨터 비전의 어떤 문제를 해결할 수 있을까요#
비지도 학습은 레이블 데이터가 충분하지 않거나 데이터에 명확한 정답이 포함되어 있지 않을 때 유용합니다. 이러한 상황에서 목표는 정확한 예측을 수행하는 것이 아니라 데이터의 패턴과 구조를 이해하는 것입니다.
레이블 없는 데이터셋을 처음 탐색할 때 자주 사용됩니다. 모델에 무엇을 찾아야 하는지 알려 주는 대신, 모델이 스스로 유사성을 식별하고 관련 이미지를 그룹화하거나 비정상적인 패턴을 강조하도록 합니다.
대규모 이미지 모음에서 비지도 접근 방식은 유사한 이미지를 함께 정리하거나 추가 검토가 필요할 수 있는 아웃라이어를 표시하는 데 도움을 줄 수 있습니다. 따라서 데이터 사이언스 프로젝트의 유용한 출발점이 됩니다.
GAN, 변분 오토인코더, 확산 모델을 포함한 생성 모델은 이미지의 기본 분포를 학습하여 완전히 새로운 이미지를 생성합니다. 이러한 모델은 이미지 합성, 인페인팅, 초해상도, 스타일 전이와 같은 애플리케이션을 구동하며, 오늘날 생성형 AI 시스템의 핵심을 이룹니다.
비지도 세그멘테이션에서는 일부 방법이 레이블이 지정된 마스크에 의존하지 않고 픽셀이나 영역을 일관된 세그먼트로 그룹화합니다. 이는 어노테이션 비용이 너무 높거나 사전 정의된 카테고리와 일치시키기보다 구조를 발견하는 것이 목표일 때 유용합니다.
비지도 학습은 레이블 지정에 시간이 많이 걸리거나 실용적이지 않은 대규모 데이터셋을 다룰 때도 큰 효과를 발휘합니다. 이러한 경우 레이블이 지정된 학습 데이터에 의존하지 않고 데이터에서 인사이트를 얻을 수 있습니다.
또한 생성형 AI(이미지, 텍스트, 오디오와 같은 새로운 데이터를 생성하는 모델)와 표현 학습(원시 데이터에서 유용한 특징이나 패턴을 학습하는 모델) 같은 분야에서도 흔히 사용되며, 이 분야에서 모델은 대량의 데이터에서 일반적인 특징을 학습합니다. 전반적으로 문제가 탐색, 패턴 발견 또는 레이블 없는 데이터 활용과 관련되어 있다면 비지도 학습은 고려할 만한 유연하고 실용적인 접근 방식입니다.
컴퓨터 비전에서 비지도 학습을 활용한 실제 사례#
다음은 컴퓨터 비전에서 비지도 학습이 적용되는 사용 사례의 예입니다.
- 제조 분야의 이상 감지: 모델은 정상적인 제품의 형태를 학습하고, 가능한 모든 결함 사례에 대한 레이블이 지정된 예제 없이도 결함이나 이상을 표시할 수 있습니다.
- 이미지 정리 및 검색: 사진 라이브러리나 전자상거래 카탈로그와 같은 대규모 이미지 모음을 시각적 유사성을 기반으로 자동 그룹화할 수 있어, 데이터 사이언티스트가 대규모 데이터셋을 정리하고 탐색하며 검색하기가 쉬워집니다.
- 감시 및 보안: 시스템은 비디오 영상을 분석하여 예상치 못한 움직임이나 군중 변화와 같은 비정상적인 패턴이나 행동을 식별할 수 있으며, 레이블이 지정된 이벤트를 대상으로 명시적으로 훈련되지 않아도 됩니다.
- 전처리 및 데이터 탐색: 비지도 방법은 지도 학습 모델을 훈련하기 전에 원시 이미지 데이터를 탐색하고 구조화하는 데 자주 사용되며, 데이터 품질을 개선하고 수작업을 줄이는 데 도움을 줍니다.
지도 학습과 비지도 학습의 실질적인 한계#
두 학습 접근 방식 모두 장점이 있지만 고려해야 할 특정 한계도 있습니다. 컴퓨터 비전 모델을 구축할 때 염두에 두어야 할 몇 가지 실질적인 요소는 다음과 같습니다.
- 지도 학습 모델의 과적합: 지도 학습에서는 모델이 일반적인 패턴을 학습하는 대신 학습 데이터를 지나치게 밀접하게 학습할 수 있습니다. 이는 데이터셋이 작거나 충분히 다양하지 않을 때 자주 발생합니다. 예를 들어 한 종류의 제품에서 결함을 감지하도록 훈련된 모델은 약간 다른 제품이나 조명 조건으로 구성된 새로운 데이터에서 테스트할 때 제대로 작동하지 않을 수 있습니다.
- 클러스터링 알고리즘의 문제: 비지도 학습에서는 모델이 유사한 데이터 포인트를 함께 그룹화할 수 있습니다. 그러나 데이터에 노이즈가 많거나 일관성이 없거나 명확한 구조가 부족하면 이 방식이 제대로 작동하지 않을 수 있습니다. 예를 들어 이미지 그룹화 작업에서 색상은 비슷하지만 객체가 다른 이미지가 잘못 그룹화될 수 있습니다.
- 적절한 전처리의 중요성: 훈련 전에 데이터를 정제하고 준비해야 합니다. 이는 일반적으로 이미지 처리와 데이터 변환을 담당하는 Python 라이브러리를 사용해 수행합니다. 이미지의 크기, 품질 또는 조명이 서로 다를 수 있는 컴퓨터 비전에서는 특히 중요합니다. 적절한 전처리가 없으면 모델이 의미 있는 패턴이 아닌 노이즈에서 학습하여 성능이 저하될 수 있습니다.
핵심 요점#
컴퓨터 비전에서는 지도 학습과 비지도 학습이 모두 중요한 역할을 합니다. 적절한 접근 방식은 보유한 데이터의 유형, 즉 레이블이 있는지 여부뿐 아니라 해결하려는 문제와 배포 요구 사항에 따라 달라집니다.
목표가 높은 정확도와 명확하게 정의된 출력이라면 지도 머신 러닝이 더 나은 선택인 경우가 많습니다. 데이터를 탐색하거나 레이블 없이 작업하는 경우에는 비지도 학습이 더 적합할 수 있습니다.
AI에 대해 더 알고 싶으신가요? 커뮤니티와 GitHub 저장소를 확인해 보세요. 솔루션 페이지에서 로보틱스 분야의 AI와 농업 분야의 컴퓨터 비전에 대해 알아보세요. 라이선스 옵션을 확인하고 지금 컴퓨터 비전 개발을 시작해 보세요!






