시각화를 통한 컴퓨터 비전 애플리케이션 향상

1단계: 환경 설정

원하는 환경을 선택했다면 다음 단계는 예측을 실행하고 결과를 시각화하기 위해 환경을 설정하는 것입니다. 가장 편한 환경에 따라 위에서 언급한 환경 중 하나를 사용할 수 있습니다.

Google Colab에서 작업하는 경우 기본적으로 CPU 사용하므로 성능이 느려질 수 있다는 점에 유의하세요. 속도를 높이려면 '런타임' 메뉴로 이동하여 '런타임 유형 변경'을 선택한 다음 하드웨어 가속기를 GPU (이상적으로는 T4)로 설정하여 GPU 전환하세요.

환경을 준비하려면 아래에 언급된 명령을 사용하여 Ultralytics Python 패키지를 설치해야 합니다. Colab이나 Jupyter와 같은 노트북 기반 도구에서는 명령 앞에 느낌표(!)를 추가해야 합니다.

pip install ultralytics

‍

2단계: 동영상 파일 다운로드

다음으로 작업할 동영상이 필요합니다. 펙셀과 같은 무료 스톡 사이트에서 쉽게 다운로드할 수 있습니다. YOLO11 감지할 수 있는 사물이 포함된 동영상을 선택해야 합니다. 이 모델은 COCO 데이터 세트에 대해 사전 학습되었으므로 사람, 자동차, 자전거와 같은 일반적인 물체를 인식할 수 있습니다. 

이 튜토리얼에서는 분주한 공항 터미널에서 수하물을 처리하는 동영상을 사용하겠습니다. 동일한 동영상을 사용하거나 프로젝트에 맞는 다른 동영상을 선택할 수 있습니다.

‍

3단계: 패키지 가져오기

다음으로 필요한 라이브러리를 가져와서 입력 영상을 로드할 수 있습니다.

컴퓨터 비전에서 이미지 및 비디오 작업에 널리 사용되는 라이브러리인 OpenCV(cv2)를 가져오는 것으로 시작하겠습니다. 또한 객체 감지를 실행하고 비디오에서 분석을 생성하는 데 도움이 되는 Ultralytics 라이브러리를 가져올 것입니다.

그런 다음 경로를 지정하여 동영상 파일을 열어 보겠습니다. "path/to/video.mp4"를 다운로드한 동영상 파일의 실제 위치로 바꿔야 합니다. 

또한 아래 코드 스니펫에는 동영상이 올바르게 로드되는지 확인할 수 있는 간단한 확인 방법이 포함되어 있습니다. 경로가 잘못되었거나 파일이 손상된 경우 프로그램이 중지되고 오류 메시지가 표시됩니다: "동영상 파일을 읽는 중 오류가 발생했습니다."

import cv2

from ultralytics import solutions

cap = cv2.VideoCapture("path/to/video.mp4")
assert cap.isOpened(), "Error reading video file"

‍

4단계: 동영상 작가 준비하기

그런 다음 비디오 작성기를 설정하여 출력을 저장합니다. 분석을 실행하면 이 코드 부분이 원본 동영상의 각 프레임에서 생성된 업데이트된 그래프를 기록하는 새 동영상 파일을 생성합니다.

아래 코드 스니펫에서는 먼저 입력 비디오에서 너비, 높이, 초당 프레임 수(fps)와 같은 주요 속성을 추출합니다. 이러한 값은 비디오에서 직접 가져와 정수로 변환하여 출력을 작성하는 데 올바른 형식인지 확인합니다.

다음으로 cv2.VideoWriter 함수를 사용하여 "analytics_output.avi"라는 이름의 새 동영상 파일을 만듭니다(필요에 따라 이름을 바꿀 수 있음). 동영상은 일반적인 동영상 압축 방법인 MJPG 형식을 사용하여 저장됩니다. 출력 해상도는 원본 동영상의 크기에 관계없이 1280×720픽셀로 설정됩니다.

w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))
out = cv2.VideoWriter(
    "analytics_output.avi",
    cv2.VideoWriter_fourcc(*"MJPG"),
    fps,
    (1280, 720), 
)

‍

5단계: Ultralytics 애널리틱스 솔루션 설정하기

이제 동영상에서 그래프를 생성하기 위해 Ultralytics 솔루션을 설정하겠습니다. 선, 파이, 영역 또는 막대 차트 등 데이터가 표시되는 방식과 사용할 YOLO 모델을 선택할 수 있습니다. 이 예에서는 가벼운 "yolo11n.pt" 모델을 사용하여 결과를 영역 그래프로 표시합니다.

analytics = solutions.Analytics(
    show=True, 
    analytics_type="area", 
    model="yolo11n.pt",   
)

‍

6단계: 입력 비디오 처리하기

코드의 마지막 부분은 한 번에 한 프레임씩 동영상을 처리하는 루프를 실행합니다. 각 프레임은 분석 도구로 전달되어 실시간으로 그래프를 업데이트합니다. 그런 다음 업데이트된 그래프가 출력 비디오에 기록됩니다. 프레임을 읽을 수 없는 경우 루프가 중지됩니다. 모든 프레임이 처리되면 동영상이 저장되고 열려 있던 창이 모두 닫힙니다.

frame_count = 0
while cap.isOpened():
    success, im0 = cap.read()
    if success:
        frame_count += 1
        results = analytics(im0, frame_count) 

        out.write(results.plot_im) 
    else:
        break
cap.release()
out.release()
cv2.destroyAllWindows() 

‍

7단계: 모든 것을 종합하기

마지막으로 모든 것을 종합해 보겠습니다. 코드 몇 줄만 추가하면 바운딩 박스와 레이블이 있는 YOLO11 객체 감지 결과를 보여주는 동영상과 실시간 분석 그래프를 보여주는 동영상 두 개를 생성할 수 있습니다.

이를 위해 예측 동영상 저장용과 분석용 두 개의 VideoWriter 인스턴스를 설정합니다. 이 버전의 코드에는 객체 추적과 그래프 생성이 모두 포함되어 있으므로 시각적 인사이트와 함께 탐지 결과를 확인할 수 있습니다.

다음은 예측 및 분석 결과의 예와 함께 포괄적인 코드입니다.

import cv2
from ultralytics import YOLO, solutions

# Load model and video
model = YOLO('yolo11n.pt')
cap = cv2.VideoCapture('path/to/video.mp4')
assert cap.isOpened(), "Error opening video"

# Get properties
w, h = int(cap.get(3)), int(cap.get(4))
fps = cap.get(5)
analytics_res = (1280, 720)

# Writers for prediction and analytics videos
out_pred = cv2.VideoWriter('output_predictions.avi', cv2.VideoWriter_fourcc(*'MJPG'), fps, (w, h))
out_ana = cv2.VideoWriter('output_analytics.avi', cv2.VideoWriter_fourcc(*'MJPG'), fps, analytics_res)

# Analytics setup
analytics = solutions.Analytics(show=True, analytics_type="area", model='yolo11n.pt')

# Process frames
frame_count = 0
while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break

    frame_count += 1
    pred_frame = model.track(frame, persist=True)[0].plot()
    out_pred.write(pred_frame)

    resized = cv2.resize(pred_frame, analytics_res)
    out_ana.write(analytics(resized, frame_count).plot_im)

cap.release(), out_pred.release(), out_ana.release(), cv2.destroyAllWindows()

‍

위의 코드가 성공적으로 실행되면 두 개의 출력 동영상이 생성됩니다. "output_predictions.avi" 파일에는 바운딩 박스와 레이블이 있는 객체 감지 결과가 표시되고, "output_analytics.avi" 파일에는 감지 결과를 기반으로 한 실시간 분석 그래프가 표시됩니다.

‍

다음은 예측을 기반으로 한 분석 결과의 프레임입니다. 영역 차트를 사용하면 시간 경과에 따른 가방 수 변동과 같은 인사이트를 얻을 수 있습니다(예: 268프레임 전후로 급증하여 해당 동영상 부분의 가방 이동 또는 활동을 나타냄).

‍