Ultralytics Platform으로 컴퓨터 비전 데이터셋 스마트하게 관리하기

비전 AI, 즉 컴퓨터 비전은 초기 단계 이후 크게 발전하여 실험적 연구에서 실제 애플리케이션을 구동하는 핵심 기술로 진화했습니다. 오늘날 AI 애호가들은 접근하기 쉬운 도구와 프레임워크를 사용해 객체 감지 및 인스턴스 분할과 같은 작업을 위한 강력한 모델을 구축할 수 있습니다.

그러나 이러한 애플리케이션이 실험 단계에서 프로덕션 단계로 전환되면서 데이터셋 관리는 여전히 중요하지만 자주 간과되는 과제입니다. 컴퓨터 비전 데이터셋의 규모와 복잡성이 커지면서 팀은 일관된 어노테이션을 유지하고, 버전 간 변경 사항을 추적하며, 전반적인 데이터 품질을 보장하는 데 어려움을 겪는 경우가 많습니다.

최첨단 모델이라도 학습에 사용된 데이터가 불완전하거나 균형이 맞지 않거나 제대로 관리되지 않으면 실제 환경에서 성능이 저하될 수 있습니다. 개발 성능과 실제 환경에서의 신뢰성 사이에 점점 커지는 이러한 격차 때문에 보다 체계적인 데이터셋 관리 방식이 필요합니다.

데이터 수집, 어노테이션, 학습을 서로 다른 도구로 처리하는 것도 흔히 나타나는 한계입니다. 워크플로가 분산되면 데이터셋을 효율적으로 관리하기 어려워지고, 불일치가 발생할 위험이 커지며, 반복 작업도 느려집니다.

데이터셋 관리와 분산된 워크플로 같은 비전 AI의 병목 현상을 해결하기 위해 최근 Ultralytics Platform을 출시했습니다. Ultralytics Platform은 데이터셋 관리, 어노테이션, 학습, 배포, 모니터링을 하나의 통합 워크플로로 제공하는 엔드투엔드 작업 공간입니다.

컴퓨터 비전 라이프사이클의 각 단계를 연결하면 데이터셋 변경 사항을 추적하고, 버전별 성능을 비교하며, 더 나은 결과를 얻도록 데이터를 지속적으로 개선하기가 쉬워집니다.

그림 1. Ultralytics Platform에서 데이터셋 이미지를 확인하는 예시 (출처)

이 글에서는 Ultralytics Platform을 사용해 데이터셋을 추적하고 비교하며 개선하여 더욱 신뢰할 수 있는 컴퓨터 비전 모델을 구축하는 방법을 살펴보겠습니다. 시작하겠습니다!

컴퓨터 비전에서 데이터셋 관리의 중요성#

컴퓨터 비전 모델의 성능은 학습에 사용되는 데이터와 밀접한 관련이 있습니다. 예측이 얼마나 자주 정확한지를 나타내는 모델 정확도는 알고리즘뿐만 아니라 데이터셋이 실제 환경을 얼마나 잘 반영하는지에 따라 달라집니다.

간단히 말해, 모델은 데이터에서 직접 패턴을 학습하므로 데이터셋의 공백, 편향 또는 불일치는 예측 방식에 영향을 미칠 수 있습니다. 다시 말해, 데이터 품질이 낮거나 어노테이션이 잘못되었거나 다양한 조명 조건, 객체 각도, 배경 또는 가림 정도와 같은 실제 이미지의 변화를 충분히 포함하지 못하면 모델 아키텍처 자체가 강력하더라도 정확도가 크게 떨어질 수 있습니다.

사전 학습된 모델을 새로운 데이터나 업데이트된 데이터로 추가 학습하여 특정 사용 사례나 환경에 더 잘 적응시키는 파인튜닝에도 이 내용이 적용됩니다. 모델 정확도는 데이터에 크게 좌우되므로 데이터를 적절히 관리하는 것이 필수적입니다.

데이터셋 관리에는 데이터가 정확하고 관련성을 유지하도록 데이터를 구성하고, 레이블을 지정하고, 지속적으로 업데이트하는 작업이 포함됩니다. 이를 통해 특히 새로운 데이터로 모델을 재학습하거나 파인튜닝할 때 시간이 지남에 따라 성능을 개선하기가 쉬워집니다.

데이터셋 품질이 실제 환경에서의 신뢰성에 미치는 영향#

보안 모니터링 시스템과 같은 컴퓨터 비전 사용 사례는 적절한 데이터 관리가 왜 중요한지 잘 보여주는 사례입니다. 이러한 시스템은 다양한 조명 환경, 카메라 각도, 혼잡도, 부분 가림 등 여러 실제 환경 조건에서 안정적으로 작동해야 합니다.

학습 데이터에 이러한 변화가 포함되어 있지 않거나 다양한 장면과 조건에서 객체가 나타나는 모습이 충분히 반영되지 않으면 모델이 객체를 정확하게 감지하는 데 어려움을 겪을 수 있습니다. 예를 들어 조명이 밝고 장애물이 없는 장면 위주로 학습한 모델은 어두운 환경이나 혼잡한 장소에서 성능이 저하될 수 있습니다. 보안 시스템에서는 이로 인해 이벤트를 놓치거나 오경보가 발생할 수 있습니다.

이를 방지하려면 데이터셋을 깔끔하고 정확하게 레이블링할 뿐만 아니라 균형 있게 구성하고 지속적으로 업데이트해야 합니다. 즉, 데이터의 공백을 찾아내고 조건이 바뀔 때 새로운 예시를 추가하며, 다양한 클래스와 환경이 고르게 반영되도록 해야 합니다.

더 완전하고 체계적인 데이터셋을 사용하면 모델이 실제 환경의 변동성에 더 잘 대응하고 신뢰도 높은 예측을 생성할 수 있습니다.

데이터셋 관리의 주요 요소#

그렇다면 데이터셋 관리는 실제로 어떤 모습일까요? 모델 개발 과정 전반에서 데이터를 효과적으로 사용할 수 있도록 데이터를 구성하고, 레이블을 지정하고, 유지 관리하는 작업입니다.

예를 들어 데이터 구성에는 데이터셋을 구조화하고 학습, 검증, 테스트 세트로 나누는 작업이 포함됩니다. 학습 세트는 모델을 학습시키는 데 사용되고, 검증 세트는 개발 과정에서 성능을 모니터링하고 조정 방향을 정하는 데 사용되며, 테스트 세트는 최종 모델이 한 번도 보지 못한 데이터에서 얼마나 잘 작동하는지 평가하는 데 사용됩니다.

한편 레이블 지정에는 클래스 레이블, 바운딩 박스 또는 분할 마스크와 같은 세부 정보를 이미지에 어노테이션하는 작업이 포함됩니다. 모델은 이러한 어노테이션을 바탕으로 학습하므로, 의미 있는 패턴을 학습하고 신뢰할 수 있는 예측을 하도록 돕기 위해 정확성과 일관성이 매우 중요합니다.

이와 함께 데이터셋을 유지 관리하려면 시간이 지남에 따라 데이터를 검토하고 업데이트해야 합니다. 여기에는 어노테이션 오류 수정, 품질이 낮거나 중복된 데이터 제거, 누락된 사례나 변화하는 조건을 다루기 위한 새로운 예시 추가 등이 포함될 수 있습니다.

보다 넓은 관점에서 데이터셋 관리는 지속적인 프로세스입니다. 모델을 평가하고 새로운 데이터를 수집함에 따라 실제 환경과 엣지 케이스를 반영하도록 데이터셋을 업데이트해야 합니다. 이러한 업데이트를 추적하고 여러 버전을 비교하면 팀은 성능이 개선된 부분과 추가 변경이 필요한 부분을 파악할 수 있습니다.

Ultralytics Platform으로 데이터셋 관리하기#

Ultralytics Platform은 데이터 준비부터 내보내기까지 모든 작업을 하나의 환경에서 처리할 수 있도록 데이터셋 관리에 체계적인 워크플로를 제공합니다. 개별 개발자와 팀 모두를 지원하도록 설계되어 있어, 혼자 작업하든 여러 프로젝트에서 협업하든 데이터셋을 일관되게 관리할 수 있습니다.

각 단계는 모델 개발 라이프사이클 전반에서 데이터셋을 구성하고 처리하며 사용하는 방식을 간소화하도록 설계되었습니다. 이러한 단계를 한곳에 모아 플랫폼이 워크플로의 분산을 줄이고 전체 과정에서 일관성을 유지하기 쉽게 합니다.

이제 주요 단계와 플랫폼이 각 단계를 지원하는 방식을 살펴보겠습니다.

Ultralytics Platform에 데이터셋 업로드하기#

플랫폼에서 데이터셋을 시작하는 방법은 유연하며, 데이터를 가져오거나 재사용할 수 있는 방법도 다양합니다. 직접 데이터를 업로드하거나 플랫폼에서 제공하는 공개 데이터셋을 사용해 더 빠르게 시작할 수 있습니다. 커뮤니티에서 공유한 기존 데이터셋을 복제해 이를 기반으로 작업할 수도 있습니다.

플랫폼의 커뮤니티 기능을 사용하면 기존 작업을 쉽게 탐색하고 재사용할 수 있습니다. 다른 사용자가 만든 데이터셋과 수백만 개의 이미지 및 어노테이션을 활용하면 모든 데이터를 직접 수집하고 레이블링하지 않고도 빠르게 시작할 수 있습니다. 데이터셋을 복제하면 작업 공간에 복사본이 생성되므로 원본을 보존하면서 데이터셋을 수정하고 확장할 수 있습니다.

업로드할 때 플랫폼은 개별 이미지, 동영상, ZIP, TAR 또는 GZ 파일과 같은 데이터셋 아카이브를 지원합니다. YOLO 및 COCO와 같이 널리 사용되는 데이터셋 형식도 지원하므로 별도의 변환 없이 기존 데이터셋과 어노테이션을 쉽게 가져올 수 있습니다. 또한 플랫폼에서 내보낸 NDJSON 파일을 사용해 데이터셋을 업로드할 수 있으므로 프로젝트 간에 데이터셋을 손쉽게 다시 만들거나 재사용할 수 있습니다.

데이터를 업로드하면 플랫폼이 체계적인 파이프라인을 통해 데이터를 처리합니다. 여기에는 파일 형식과 크기 확인, 필요한 경우 이미지 크기 조정, 어노테이션 파싱, 데이터셋 통계 생성이 포함됩니다.

예를 들어 동영상은 학습에 사용할 수 있도록 프레임으로 변환되고, 이미지는 더 쉽게 탐색하고 분석할 수 있도록 최적화 및 준비됩니다. 처리가 완료되면 플랫폼에서 어노테이션, 분석, 모델 학습에 데이터셋을 사용할 수 있습니다.

Ultralytics Platform에서 데이터 어노테이션하기#

업로드한 데이터셋은 플랫폼에서 직접 검토하고 어노테이션할 수 있습니다. 플랫폼에는 객체 감지, 인스턴스 분할, 포즈 추정, 방향 바운딩 박스(OBB) 감지, 이미지 분류 등 다양한 컴퓨터 비전 작업을 지원하는 내장 이미지 어노테이션 도구가 포함되어 있습니다.

그림 2. Ultralytics Platform을 사용한 데이터 레이블링 (출처)

이러한 도구를 사용해 어노테이션을 수동으로 생성하거나 SAM 기반 스마트 어노테이션과 같은 AI 지원 기능으로 작업 속도를 높일 수 있습니다. SAM을 사용하면 이미지와 상호작용하여 마스크, 바운딩 박스 또는 방향 박스를 생성할 수 있어 정확성을 유지하면서 레이블링 작업을 빠르게 진행할 수 있습니다.

Ultralytics Platform을 통한 데이터셋 품질 분석#

데이터를 준비하고 어노테이션하는 것뿐만 아니라 데이터셋 품질을 파악하는 것도 신뢰할 수 있는 컴퓨터 비전 모델을 구축하는 데 필수적입니다. 클래스 분포, 어노테이션 품질, 데이터셋 분할, 다양한 조건에서의 데이터 표현 방식 등을 명확히 파악하지 못하면 모델 성능에 영향을 미치는 문제를 찾기 어려울 수 있습니다.

Ultralytics Platform에는 데이터셋을 더 효과적으로 분석하는 데 도움이 되는 기본 기능이 포함되어 있습니다. 이러한 인사이트는 데이터셋 인터페이스의 Images, Classes, Charts 탭에서 바로 확인할 수 있습니다.

Charts 탭에서는 학습, 검증, 테스트 분포와 같은 데이터셋 수준 통계, 클래스 빈도, 이미지 내 객체의 위치를 보여주는 어노테이션 히트맵을 확인할 수 있습니다.

Classes 탭에서는 클래스별 어노테이션 수를 세분화하여 보여주므로 클래스 불균형을 쉽게 찾아낼 수 있습니다. 한편 Images 탭에서는 크기, 어노테이션 수, 개별 이미지의 레이블 분포와 같은 이미지 수준 세부 정보를 확인할 수 있습니다.

이러한 인사이트를 활용하면 클래스 불균형, 누락된 시나리오, 고르지 않은 데이터 분포와 같은 문제를 쉽게 파악할 수 있습니다. 예를 들어 특정 클래스의 예시가 매우 적거나 대부분의 어노테이션이 이미지의 특정 영역에 집중되어 있음을 발견할 수 있습니다.

데이터 분석 외에도 플랫폼은 데이터셋 큐레이션과 증강을 지원합니다. 이는 문제가 있는 데이터를 수정하거나 제거하고, 기존 데이터의 변형을 생성하여 모델 성능을 개선하는 작업을 의미합니다. 분석에서 얻은 인사이트를 바탕으로 어노테이션을 업데이트하고, 새 데이터를 추가하거나, 데이터셋 분할을 재구성하여 플랫폼에서 직접 이러한 개선 작업을 수행할 수 있습니다.

Ultralytics Platform에서 데이터셋 내보내기#

데이터셋을 준비하고 검증한 후에는 다양한 환경에서 사용할 수 있도록 내보낼 수 있습니다. 이를 통해 모델을 로컬에서 학습하든, 클라우드에서 학습하든, 다른 도구와 워크플로를 사용하든 원하는 곳에서 컴퓨터 비전 데이터를 유연하게 사용할 수 있습니다.

Ultralytics Platform은 YOLO, COCO, NDJSON을 비롯한 여러 내보내기 형식을 지원하므로 데이터셋을 다양한 학습 워크플로와 도구에 쉽게 통합할 수 있습니다.

그림 3. Ultralytics Platform에서 데이터셋 내보내기 (출처)

데이터셋을 내보내면 특정 시점의 이미지, 어노테이션, 구조를 포함한 고정된 데이터 스냅샷이 생성됩니다. 새로운 데이터가 추가되거나 어노테이션이 업데이트되거나 분할이 조정되면서 데이터셋이 자주 변경되므로 이는 유용합니다. 스냅샷을 내보내면 특정 학습 실행에 사용한 데이터셋의 정확한 버전을 보존할 수 있습니다.

이를 통해 나중에 동일한 데이터 설정으로 모델을 다시 학습하고 여러 데이터셋 버전의 성능을 비교할 수 있어 결과를 더 쉽게 재현할 수 있습니다. 예를 들어 무엇이 변경되었는지 추측하는 대신 새 이미지를 추가하거나 어노테이션을 수정하는 작업이 실제로 모델 정확도를 개선하는지 평가할 수 있습니다.

내보내기는 비동기적으로 처리되며, 준비가 완료되면 데이터셋을 다운로드하여 로컬, 클라우드 또는 오프라인 학습 환경에서 사용할 수 있습니다.

Ultralytics Platform에서 반복 작업을 통한 데이터셋 품질 개선#

머신러닝 및 딥러닝 워크플로에서는 실제 데이터가 학습에 사용한 데이터와 다른 경우가 많으므로 배포 후에도 데이터셋 관리를 계속해야 합니다.

모델이 새로운 입력을 접하면 저조도 환경, 다른 카메라 각도, 가림, 혼잡한 장면과 같은 조건의 누락이나 어노테이션 오류 등 데이터셋의 공백이 더욱 뚜렷해지므로 시간이 지나면서 데이터를 개선해야 합니다.

데이터셋을 개선하는 방법은 여러 가지입니다. 저조도 환경, 다른 카메라 각도, 가림, 혼잡한 장면과 같은 누락된 조건을 포함하도록 새 이미지나 동영상을 추가하면 데이터의 사각지대를 줄이는 데 도움이 됩니다.

동시에 객체 레이블을 정확히 지정하고 바운딩 박스나 마스크를 정밀하게 표시하는 등 어노테이션의 정확성과 일관성을 보장하면 모델이 더 신뢰할 수 있는 패턴을 학습하는 데 도움이 됩니다.

일반적으로 다음과 같은 간단한 반복 과정을 따릅니다. 모델 학습, 결과 평가, 오류 식별, 데이터셋 개선, 재학습 순입니다. 각 단계에서 잘못된 어노테이션, 누락된 데이터, 충분히 반영되지 않은 사례와 같은 문제를 찾을 수 있습니다.

매장에서 제품을 감지하는 실시간 소매 매대 모니터링 시스템을 개발한다고 가정해 보겠습니다. 초기 데이터셋에는 특정 제품 유형, 조명 조건 또는 혼잡하게 진열된 매대가 포함되지 않을 수 있습니다. 평가 과정에서 모델이 이러한 상황의 품목을 감지하는 데 어려움을 겪는 것을 확인할 수 있습니다.

성능을 개선하려면 누락된 시나리오를 포함하는 새 이미지를 수집하고 필요한 경우 어노테이션을 업데이트할 수 있습니다. 이 과정을 반복하면 시간이 지남에 따라 모델이 실제 환경에서 더 정확하고 안정적으로 작동하게 됩니다.

Ultralytics Platform은 데이터셋 업데이트를 학습 및 평가와 연결하여 이러한 워크플로를 지원합니다. 기본 제공되는 실험 추적 및 성능 지표를 활용하면 진행 상황을 모니터링하고 시간이 지남에 따라 데이터셋을 지속적으로 개선하기가 쉬워집니다.

Ultralytics Platform으로 데이터셋 변경 사항 추적하기#

모델 개발 과정의 일부로 데이터셋이 시간이 지남에 따라 어떻게 변화하는지 간략히 살펴보았습니다. 새 데이터가 추가되고, 어노테이션이 개선되고, 클래스가 업데이트되면 데이터 품질을 유지하고 모델 성능의 일관성을 보장하기 위해 이러한 변경 사항을 추적하는 것이 중요해집니다.

데이터셋 추적과 버전 관리에 도움이 되는 Ultralytics Platform의 주요 기능은 다음과 같습니다.

• 데이터셋 버전 관리: NDJSON 스냅샷으로 고정된 데이터셋 버전을 생성할 수 있습니다. 각 버전에는 특정 시점의 이미지 수, 클래스 수, 어노테이션 수, 데이터셋 크기와 같은 주요 세부 정보가 담깁니다. 이러한 버전은 저장되어 나중에 다운로드할 수 있으므로 실험을 재현하고 서로 다른 데이터셋 상태의 결과를 비교하기가 쉬워집니다.
• Versions 탭: 모든 데이터셋 버전은 Versions 탭에 정리되어 있으며, 이곳에서 버전 기록을 확인하고 변경 사항에 대한 설명을 추가하며 데이터셋이 시간에 따라 어떻게 변화하는지 추적할 수 있습니다.
• 모델 연결: Models 탭에는 데이터셋으로 학습한 모든 모델과 mAP 같은 지표 및 학습 세부 정보가 표시됩니다. 데이터셋 버전은 학습 실행과 연결되어 있어 데이터 변경 사항이 모델 성능에 미치는 영향을 파악할 수 있습니다.
• Errors 탭: Errors 탭에는 처리에 실패한 파일과 오류 세부 정보 및 제안 사항이 표시됩니다. 이를 통해 학습 전에 손상된 파일이나 지원되지 않는 형식과 같은 문제를 찾아 수정할 수 있습니다.
• 데이터셋 인터페이스(Images 및 Classes 탭): 이 화면에서 이미지를 탐색하고, 어노테이션을 검토하고, 클래스 레이블을 관리하고, 클래스 분포를 분석할 수 있습니다. 필터링, 정렬, 어노테이션이 없는 이미지 식별 등의 기능을 활용하면 시간에 따른 데이터셋 품질을 더 쉽게 모니터링할 수 있습니다.
• 통계 및 차트: 분할 분포, 클래스 빈도, 어노테이션 히트맵과 같은 기본 제공 데이터 시각화를 통해 데이터 분포의 변화를 추적하고 데이터셋이 발전함에 따라 불균형을 식별할 수 있습니다.

그림 4. Ultralytics Platform에서 데이터셋의 클래스 분포를 분석하는 모습 (출처)

Ultralytics Platform에서 데이터셋을 학습 및 배포에 연결하기#

Ultralytics Platform은 AI 모델 개발의 여러 단계를 하나의 파이프라인으로 연결합니다. 이를 통해 원시 데이터에서 프로덕션에 바로 사용할 수 있는 비전 AI 애플리케이션까지의 과정이 간소화됩니다.

데이터셋을 준비하고 어노테이션한 후에는 플랫폼에서 직접 Ultralytics YOLO26과 같은 컴퓨터 비전 모델을 학습하는 데 사용할 수 있습니다. 학습 중에는 기본 제공 대시보드를 활용해 성능 지표를 모니터링하고, 실험을 추적하고, 모델이 얼마나 잘 학습하고 있는지 평가할 수 있습니다.

그림 5. Ultralytics Platform에서 모델 학습 지표를 확인하는 모습 (출처)

학습이 끝난 후에는 배포 전에 브라우저에서 새 이미지를 사용해 모델을 테스트하고 예측을 평가하며 개선이 필요한 부분을 파악할 수 있습니다. 모델의 성능이 충분하면 프로덕션 환경에 배포할 수 있습니다.

플랫폼은 여러 형식으로 모델을 내보내거나 추론 서비스 및 전용 엔드포인트를 통해 배포하는 기능을 지원하므로 다양한 환경에서 모델을 실행할 수 있습니다.

배포 후에는 기본 제공 모니터링 도구를 통해 사용량 및 모델 동작 관련 지표를 포함하여 시간에 따른 시스템 성능을 추적할 수 있습니다. 이를 통해 실제 애플리케이션에서 비전 AI 시스템을 더 쉽게 유지 관리하고 개선할 수 있습니다.

Ultralytics Platform을 활용한 데이터셋 관리 모범 사례#

Ultralytics Platform으로 데이터셋을 관리할 때 고려해야 할 주요 사항은 다음과 같습니다.

• 필터를 사용해 공백 찾기: 필터링 도구를 사용해 레이블이 없거나 충분히 반영되지 않은 데이터를 식별하면 어노테이션을 더 쉽게 완료하고 데이터 범위를 개선할 수 있습니다.
• 오류 조기 수정: 학습 전에 업로드 실패, 손상된 파일, 지원되지 않는 형식을 찾아낼 수 있도록 Errors 탭을 품질 관리에 활용합니다.
• 데이터셋 지속적으로 업데이트: 새로운 데이터를 추가하고, 어노테이션을 수정하고, 엣지 케이스가 나타나면 데이터셋에 포함합니다. 이를 통해 데이터 범위를 개선하고 실제 환경에서 모델이 안정적으로 작동하도록 할 수 있습니다.
• 데이터셋 분할을 신중하게 관리: 학습, 검증, 테스트 세트 간의 균형이 적절한지 확인합니다. 필요에 따라 분할을 수동으로 재구성하거나 자동 재분배 기능을 사용할 수 있습니다.

Ultralytics Platform에 대해 자세히 알아보려면 공식 Ultralytics 문서를 확인하세요.

핵심 요점#

컴퓨터 비전 프로젝트가 확장됨에 따라 데이터셋을 효과적으로 관리하는 일은 모델 개발만큼 중요해집니다. 체계적인 데이터셋 관리 방식은 데이터 품질을 높이고 워크플로를 간소화하며 시간이 지남에 따라 모델 성능을 개선하는 데 도움이 됩니다.

Ultralytics Platform은 데이터셋 관리, 학습, 배포를 하나의 워크플로로 통합하여 이 과정을 간소화합니다. 체계적인 데이터셋 관리 방식을 채택하면 팀은 복잡성을 줄이고 효율성을 높이며 확장성과 신뢰성이 뛰어난 컴퓨터 비전 시스템을 구축할 수 있습니다.

성장하는 커뮤니티에 참여하고 GitHub 리포지토리에서 AI 리소스를 살펴보세요. 지금 비전 AI를 활용해 개발을 시작하려면 라이선스 옵션을 확인하세요. 솔루션 페이지를 방문해 농업 분야의 AI가 농업을 어떻게 변화시키고, 헬스케어 분야의 비전 AI가 미래를 어떻게 만들어 가는지 알아보세요.