Lightning AI에서 Ultralytics YOLO 모델 커스텀 학습하기

숙련된 AI 개발자이든 이제 막 비전 AI를 탐색하기 시작한 사용자이든, Ultralytics YOLO11과 같은 컴퓨터 비전 모델을 자유롭게 다루고 실험할 수 있는 신뢰할 수 있는 환경을 갖추는 것이 중요합니다. 환경은 AI 모델을 효율적으로 설계하고 테스트하며 배포하는 데 필요한 도구, 리소스 및 인프라를 의미합니다.

여러 온라인 플랫폼에서 다양한 AI 도구를 제공하지만, 데이터 준비부터 모델 배포까지 전체 AI 수명 주기를 아우르는 통합 환경을 제공하지 않는 경우가 많습니다. 이때 AI 개발을 위한 올인원 플랫폼인 Lightning AI가 데이터 준비부터 배포까지의 프로세스를 간소화합니다.

AI 개발을 더 쉽게 만드는 것의 중요성은 AI와 컴퓨터 비전의 발전에 초점을 맞춘 Ultralytics 주최의 연례 하이브리드 행사인 YOLO Vision 2024 (YV24)에서 잘 드러났습니다. Lightning AI의 CTO인 Luca Antiga는 'Going YOLO on Lightning Studios'라는 제목의 기조연설에서 Lightning AI를 사용해 기술적 복잡성을 직접 처리하지 않고도 Ultralytics YOLO 모델을 빠르고 원활하게 학습하는 방법을 설명했습니다.

이 글에서는 Luca의 강연에서 얻은 주요 내용을 살펴보며, 실제 컴퓨터 비전 애플리케이션부터 Lightning AI를 사용한 Ultralytics YOLO 모델의 학습 및 배포 라이브 데모까지 다룹니다. 시작해 보겠습니다!

Lightning AI와 Ultralytics YOLO를 사용한 간소화된 AI 개발#

Luca는 기조연설에서 다양한 산업 분야에 걸친 YOLO 모델의 영향력에 대한 자신의 생각과 감사를 공유하며 연설을 시작했습니다. 그는 YOLO 모델이 제조업과 농업 같은 분야에 적용될 수 있다는 점을 강조했습니다. 그는 다음과 같이 말했습니다. '실제적이고 실용적인 문제를 해결해야 하는 빌더들의 커뮤니티에 YOLO가 미친 영향을 높이 평가합니다. 이는 저에게 매우 가까운 주제입니다.'

AI 학습에 대한 관심이 커지는 흐름과 연결하여, 그는 모든 사람이 AI 모델을 더 빠르고 간단하며 쉽게 개발할 수 있도록 설계된 플랫폼인 Lightning AI를 소개했습니다. Lightning AI는 AI의 반복적인 발전을 지원하는 데 특히 유용하며, 개발자가 모델을 개선하고 고도화할 수 있도록 돕습니다.

그림 1. YV24에서 Lightning Studios에 대해 원격으로 발표하는 Luca Antiga.

그는 또한 Lightning AI가 AI 모델 학습 프로세스를 간소화하는 프레임워크인 PyTorch Lightning과 유사하다고 설명했습니다. 하지만 Lightning AI는 AI 모델 학습에만 국한되지 않고 전체 AI 개발 프로세스를 위한 더 폭넓은 도구와 기능을 제공하는 종합 플랫폼이라는 점에서 차이가 있습니다.

Lightning AI의 핵심 구성 요소 중 하나인 Lightning Studios는 AI 모델을 설계하고 학습하며 배포할 수 있는 직관적인 작업 공간을 제공하여 전체 워크플로를 원활하고 효율적으로 만들어 줍니다. Lightning Studios를 클라우드에서 실행되는 AI용 재현 가능한 개발 환경이라고 생각할 수 있습니다. 예를 들어 Jupyter Notebook과 유사한 환경을 복제하여 다른 개발자와 공유할 수 있으므로 협업을 개선하는 데 도움이 됩니다.

Luca는 이어서 Lightning Studios의 장점을 설명하며 다음과 같이 말했습니다. “이제 환경을 복제하는 것은 문제가 되지 않습니다. CPU [중앙 처리 장치] 머신에서 GPU [그래픽 처리 장치] 머신으로 변경하거나 1,000대의 머신에서 학습을 시작해야 하더라도 환경은 지속적으로 유지됩니다.”

학습 및 개발을 위한 Lightning Studios 설정#

이어서 Luca는 Lightning Studios를 얼마나 빠르게 시작할 수 있는지 시연했습니다. 몇 번의 클릭만으로 새 스튜디오를 열고 Jupyter Notebooks 및 VS Code와 같은 도구와 환경에 액세스할 수 있으며, 코딩에 필요한 모든 설정이 완료되어 바로 사용할 수 있습니다. 그는 여러 머신 간에 쉽게 전환하는 방법을 보여 주었습니다. 작업에 더 높은 성능이 필요하면 CPU에서 더 강력한 GPU로 간편하게 전환할 수 있습니다. GPU는 사용 중일 때만 활성 상태로 유지되고, 그렇지 않으면 절전 모드로 전환되어 크레딧을 절약합니다.

Luca는 Studio Templates를 사용하는 이점도 언급했습니다. Studio Templates는 커뮤니티에서 미리 제작한 AI 코딩 환경으로, 별도의 설정 없이 사용할 수 있습니다. AI 프로젝트를 위한 환경을 설정하는 데는 시간이 많이 걸릴 수 있지만 Studio Templates를 사용하면 생산성을 높일 수 있습니다. 이러한 환경에는 설치된 종속성, 모델 가중치, 데이터, 코드 등 AI 프로젝트에 필요한 모든 항목이 미리 로드되어 있습니다.

그림 2. Studio Templates가 무엇인지 설명하는 Luca.

Lightning Studios에서 Ultralytics YOLO 모델 학습#

Luca는 이어서 라이브 데모를 진행하며 Lightning Studio를 사용해 Ultralytics YOLO 모델을 학습하는 방법을 보여 주었습니다. 모든 종속성이 이미 설치된 Studio Template을 열고, 학습 프로세스의 속도를 높이기 위해 GPU 4개가 장착된 머신을 시작했습니다. 데이터와 관련해서는 데이터를 머신에 직접 저장하거나 클라우드에서 스트리밍하도록 선택할 수 있어 학습 프로세스를 더 빠르고 효율적으로 만들 수 있다고 설명했습니다.

몇 초 만에 머신이 준비되었고 Luca는 신속하게 학습 세션을 시작했습니다. 데모 중 사소한 문제로 머신이 예기치 않게 중단되었지만 Lightning Studios는 중단된 지점부터 원활하게 재개하여 진행 상황이 손실되지 않도록 했습니다. Luca는 예기치 않은 중단이 발생하더라도 이러한 안정성이 원활한 워크플로를 지원한다고 강조했습니다.

데모를 계속 진행하면서 그는 머신 러닝 메트릭을 실시간으로 시각화하는 도구인 TensorBoard를 사용해 학습 진행 상황을 쉽게 모니터링하는 방법을 보여 주었습니다. Lightning Studio는 동일한 작업 공간에 있는 사용자나 팀원이 추가 설정 없이 TensorBoard 뷰에 액세스할 수 있도록 URL을 자동으로 생성하여 이 과정을 더욱 간단하게 만듭니다. 이를 통해 협업이 간소화되고 모든 구성원이 동일한 정보를 공유할 수 있습니다.

그림 3. Lightning Studios에서 Ultralytics YOLO 모델을 학습하는 과정을 보여 주는 순서도입니다. 이미지 제공: 작성자.

LitServe를 사용한 Ultralytics YOLO 모델 배포#

데모가 끝난 후 Luca는 최근 Lightning AI가 출시한 새로운 프로젝트인 LitServe로 강연의 초점을 옮겼습니다. LitServe는 학습된 모델을 다른 사람이 사용할 수 있는 확장 가능한 서비스로 전환하는 과정을 간소화하여 복잡한 배포 파이프라인이 필요하지 않도록 합니다. 모델 패키징부터 최소한의 작업으로 배포하는 과정까지 모두 처리하도록 설계되었습니다.

이를 실시간으로 보여 주기 위해 Luca는 사전 학습된 Ultralytics YOLOv8 모델을 사용해 간단한 데모를 진행했습니다. 그는 수신 요청을 처리하고 몇 초 안에 이미지 예측 결과를 반환하는 간단한 API를 만들었습니다. 따라서 누구나 이미지와 함께 이 API를 호출하여 객체 감지와 같은 컴퓨터 비전 작업의 결과를 거의 즉시 받을 수 있습니다. 내부적으로는 Ultralytics YOLOv8 모델이 서비스로 배포되어 요청을 효율적으로 처리하고, 이미지를 처리하며, 최소한의 지연 시간으로 예측 결과를 제공합니다.

그림 4. YV24에서 Lightning AI의 LitServe를 선보이는 Luca.

그는 피자 이미지에 대해 추론을 실행했고, Ultralytics YOLOv8은 피자, 숟가락, 식탁과 같은 객체를 성공적으로 식별했습니다. 또한 첫 번째 요청은 '콜드 스타트'로 인해 약간 더 오래 걸리지만 시스템이 예열된 후에는 subsequent 요청이 훨씬 빨라진다고 설명했습니다.

Luca는 이어서 '이 기능을 외부에 공개하려면 어떻게 해야 할까요?'라고 질문했습니다. 그는 API Builder 플러그인을 사용하면 모델을 실제 운영 환경에서 사용할 수 있는 라이브 서비스로 간단하게 전환할 수 있다고 설명했습니다. 커스텀 도메인, 향상된 보안, 원활한 통합과 같은 기능을 활용하면 누구나 모델에 쉽게 액세스할 수 있도록 만들 수 있습니다.

Lightning Studios 사용의 주요 장점#

강연을 마무리하며 Luca는 AI 개발을 위한 Lightning Studio의 확장성과 유연성에 대해 설명했습니다. 이 플랫폼은 여러 머신에서 모델을 학습하고 최대 10,000개의 노드까지 확장할 수 있으며, 중단이 발생하면 자동으로 재개하는 장애 허용 학습을 지원한다고 언급했습니다.

예를 들어 GPU 클러스터에서 실행 중인 학습 작업이 하드웨어 문제나 서버 재부팅으로 중단되더라도 Lightning Studios는 프로세스가 중단된 지점에서 정확히 재개되도록 합니다. 따라서 ImageNet이나 COCO와 같은 대규모 데이터셋에서 딥러닝 모델을 학습하는 것과 같은 대규모 AI 프로젝트에 적합합니다.

Luca가 소개한 Lightning Studios의 다른 주요 이점은 다음과 같습니다.

• 월별 무료 GPU 크레딧: 사용자에게 매월 무료 GPU 크레딧 15개가 제공되며 자동으로 충전되므로 추가 비용 없이 실험하고 개발할 수 있습니다.
• 향상된 협업: Lightning Studio의 공유 팀 공간과 재현 가능한 환경을 통해 팀 구성원이 원활하게 협업할 수 있으며, 프로젝트 전반에서 일관성과 효율성을 유지할 수 있습니다.
• 유연한 인스턴스 옵션: 중단 가능한 인스턴스와 중단되지 않는 인스턴스 중에서 선택할 수 있어 유연성이 높으며, 중단 가능한 옵션을 사용하면 GPU 머신 비용을 절감할 수 있습니다.
• 기존 도구와의 통합: 플랫폼은 SSH (Secure Socket Shell) 및 VS Code와 같은 원격 개발 도구와 통합되어 로컬 또는 클라우드에서 유연하게 작업할 수 있습니다.

핵심 요점#

YV24에서 진행된 Luca의 기조연설은 AI가 Ultralytics YOLO 모델 및 Lightning AI와 같은 도구와 결합되어 실제 문제를 해결하는 방식을 어떻게 변화시키고 있는지 보여 주었습니다. 이러한 도구를 사용하면 개발자가 다양한 산업 분야의 특정 문제를 해결하도록 설계된 모델을 더 쉽게 학습하고 배포할 수 있습니다.

그는 Lightning Studios가 전체 개발 프로세스를 더 빠르고 접근하기 쉽게 만들어 개발자가 강력한 솔루션을 손쉽게 구축할 수 있도록 하는 방법을 설명했습니다. Lightning AI와 같은 최첨단 플랫폼의 핵심에는 AI 솔루션이 문제를 해결하는 방식을 변화시키는 컴퓨터 비전 모델이 있습니다. 특히 최신 Ultralytics YOLO11 모델을 사용하면 개발자가 의미 있는 영향을 미치는 솔루션을 구축할 수 있습니다.

AI와 AI의 실용적인 활용 사례에 대한 최신 정보를 확인하려면 저희 커뮤니티에 참여해 보세요. 저희 GitHub 저장소를 방문하여 자율주행 자동차의 AI 및 헬스케어 분야의 컴퓨터 비전과 같은 분야의 혁신을 살펴보세요.