Scaleout은 엣지 디바이스에서 Ultralytics YOLO 모델을 파인튜닝하여 데이터를 현장에 유지하고, 오프라인으로 작업하며, 새로운 detection 모델을 수주가 아닌 수시간 만에 배포합니다.
머신 러닝 모델을 학습하려면 일반적으로 모든 데이터를 한곳에 모아 클라우드로 전송한 후 완성된 모델을 배포할 수 있다고 가정합니다. 그러나 많은 실제 환경에서는 이러한 가정이 성립하지 않습니다. 국방, 산업 및 규제 환경 전반에서 데이터는 개인정보 보호법, 보안 등급 또는 막대한 대역폭 비용으로 인해 위치에 묶여 있으며, 해당 위치를 연결하는 네트워크를 항상 신뢰할 수도 없습니다.
Scaleout은 바로 이러한 환경을 위한 인프라를 구축합니다. Scaleout Edge 플랫폼은 데이터를 모델로 이동하는 대신 데이터가 있는 곳으로 모델 학습을 가져오기 위해 연합 학습을 사용합니다. 컴퓨터 비전 프로젝트에서 Scaleout은 각 현장에 배치된 GPU 가속 엣지 스테이션인 Vision Ground Node에서 Ultralytics YOLO 모델을 커스텀 학습하고 파인튜닝합니다. 이를 통해 민감한 이미지가 디바이스 밖으로 전혀 나가지 않아도 현장에서 detection 성능을 지속적으로 개선할 수 있습니다.
데이터가 있는 곳으로 머신 러닝 가져오기#
대규모 분산 시스템을 연구하던 웁살라 대학교 연구자들이 2018년에 설립한 Scaleout은 데이터를 중앙 집중화할 수 없는 환경에서도 머신 러닝을 가능하게 하는 것을 목표로 삼았습니다. 한곳에 데이터를 모으기 어렵거나 불가능한 상황에 초점을 맞추고 있으며, 연합 학습을 이를 실현하는 핵심 메커니즘으로 사용합니다.
연합 학습은 여러 디바이스에 걸쳐 학습을 분산한 다음, 각 디바이스의 모델 업데이트를 중앙 제어 플레인으로 수집하여 새로운 글로벌 모델로 집계합니다. 각 디바이스는 자체 로컬 환경을 이해함으로써 이점을 얻고, 전체 fleet은 집단 지능을 통해 이점을 얻습니다. 데이터는 있어야 할 곳에 머무르고, 모델이 학습한 내용만 이동합니다.
Scaleout은 국방, 산업, 운송 및 기타 규제 산업 전반에서 활동하며, NATO DIANA 액셀러레이터 프로그램 및 BAE Systems와의 협업과 같은 프로젝트도 진행합니다. 이 모든 분야에서 데이터는 이동할 수 없지만 모델은 계속 개선되어야 한다는 동일한 패턴이 나타납니다.
엣지 머신 러닝의 복잡성#
다음은 Scaleout이 현장에서 모델을 학습할 때 직면한 제약을 자세히 살펴본 내용입니다.
-
제한된 하드웨어: 현장 배포 환경에는 데이터센터 서버가 없고, 드론에 탑재된 컴퓨터와 같은 소형 저전력 디바이스만 있습니다. 완성된 모델을 실행하는 것은 가능하지만, 이를 재학습하려면 훨씬 더 많은 컴퓨팅 성능이 필요합니다.
-
디바이스에 잠긴 데이터: 재학습에 필요한 영상은 독점 데이터인 경우가 많아 중앙 서버로 전송할 수 없습니다. 따라서 모델은 엣지 밖으로 절대 나가지 않는 데이터로 학습해야 합니다.
-
현장에 전문가 부재: 현장에서 데이터를 수집하는 운영자는 머신 러닝 엔지니어가 아닌 경우가 많으므로, 재학습을 위해 데이터 사이언스 전문 지식이 현장에 존재해야 한다는 전제에 의존할 수 없습니다.
-
지속적으로 변화하는 조건: 현장 환경은 빠르게 변하므로, 모델은 느린 주기적 재학습 주기가 아니라 지속적으로 업데이트되어야 합니다.
엣지에서 Ultralytics YOLO 모델 파인튜닝#
이러한 제약 내에서 작업하기 위해 Scaleout은 Ultralytics YOLO 모델을 중심으로 현장에서 전부 실행되는 학습 루프를 구축했습니다.
각 현장에는 자체 컴퓨팅 및 스토리지를 갖춘 GPU 가속 엣지 스테이션인 Vision Ground Node가 드론 fleet과 함께 배치됩니다. 드론이 영상을 촬영하면 노드가 가장 유용한 프레임을 선택하고, 운영자가 해당 프레임에 라벨을 지정한 다음, YOLO 모델을 해당 로컬 하드웨어에서 파인튜닝합니다.
몇 번의 학습 epoch 후에는 업데이트된 모델만 제어 플레인으로 다시 전송하고 원본 영상은 전송하지 않습니다. 이 루프는 Scaleout Edge 플랫폼의 확장 기능인 Scaleout의 vision 모듈을 통해 제공되며, 컴퓨터 비전 프로젝트에 필요한 도구를 하나의 패키지로 제공합니다.
이 모듈은 프레임 선택, annotation, 학습 및 배포를 한데 통합하고, detection은 Ultralytics YOLO가 처리하므로 팀은 이러한 요소를 직접 조합하는 대신 작동하는 기반 위에서 구축할 수 있습니다.
Scaleout은 NATO DIANA 액셀러레이터 프로그램에서 이 접근 방식을 처음 적용했으며, YOLOv8을 사용해 현장에서 수집한 데이터로 detection을 파인튜닝했습니다. 해당 데이터는 현장 네트워크를 통해 전송하거나 독점적인 이유로 중앙 집중화할 수 없었으므로, 팀은 파인튜닝을 분산하여 모델이 새로운 예제로 로컬에서 학습하도록 했습니다.
이 루프는 데이터 사이언티스트가 아닌 운영자를 위해 설계되었습니다. 시스템이 비전문가가 중요한 프레임을 검토하고 라벨링하도록 안내하므로, 현장 인력이 직접 모델을 계속 개선할 수 있습니다.
이를 뒷받침하는 도구로는 annotation을 위한 Label Studio 오픈 소스 버전, 드론 feed를 가져오는 streaming 서버, 그리고 파인튜닝을 위한 Ultralytics Python 패키지가 있습니다. 이 모든 구성 요소는 배포 환경에 따라 NVIDIA Jetson 모듈부터 견고한 현장 장치 또는 laptop에 이르기까지 다양한 하드웨어에서 실행됩니다.
Ultralytics YOLO 모델을 선택한 이유#
Scaleout이 보기에 Ultralytics YOLO의 가장 큰 장점은 모델이 가볍다는 점이며, 이는 불안정한 연결에서도 연합 학습을 실용적으로 수행할 수 있게 합니다. Scaleout은 원시 데이터를 이동하는 대신 모델 업데이트만 전송합니다. 가장 많이 사용하는 모델인 Ultralytics YOLOv8 nano는 약 10.7MB이므로, 대역폭이 부족한 경우에도 전체 업데이트를 작은 패키지로 전송할 수 있습니다.
Ultralytics Python 패키지는 Scaleout 엔지니어가 다양한 하드웨어에서 학습하고 배포할 수 있는 유연성도 제공합니다. 소형 YOLOv8 nano 모델은 제한된 엣지 디바이스에서도 원활하게 실행되며, 패키지의 export 옵션은 Scaleout이 작업하는 다양한 환경에 걸친 배포를 지원합니다. 모델은 파인튜닝이 간단하므로 팀은 현장 조건이 변할 때 신속하게 반복할 수 있습니다.
Ultralytics YOLO로 Scaleout의 모델 업데이트 속도 향상#
Ultralytics YOLO를 사용하면 가장 많은 작업이 디바이스에 남아 있습니다. 학습은 수백 GB에 달하는 현장 영상에서 실행되지만, 실제로 이동하는 것은 약 10MB 크기의 모델입니다. 그 결과 전송해야 하는 데이터가 대략 10분의 1로 줄어들며, 이러한 배포 환경이 의존하는 제한된 네트워크에서도 연합 학습을 실행할 수 있습니다.
이 접근 방식은 개선된 모델이 현장에 다시 적용되는 속도도 바꿉니다. 데이터를 수집하고, 중앙으로 전송하고, 재학습하고, 다시 배포하는 데 원래 수주 또는 수개월이 걸릴 수 있지만, 루프가 엣지에서 실행되면 이 과정이 수일 또는 수시간으로 단축됩니다.
이는 Scaleout의 드론 작업에서 가장 뚜렷하게 나타납니다. 국방 정찰에서 드론은 탐색 패턴으로 비행하며 탑재된 Ultralytics YOLO 모델을 사용해 관심 대상을 실시간으로 detection, 식별 및 지리적 위치 파악합니다. 모든 처리는 분석을 위해 외부로 전송하는 대신 드론 자체 컴퓨터에서 수행됩니다.
드론이 새로운 영상을 수집하면 해당 데이터는 Vision Ground Node로 전달되고, 이곳에서 YOLO가 새 프레임으로 파인튜닝된 후 업데이트된 모델이 다시 배포됩니다. 이 모든 과정에서 영상은 현장 밖으로 나가지 않습니다. Detection 모델은 빠르게 변하는 조건과 이동할 수 없는 데이터에 대응해야 하며, 로컬에서 재학습된 모델은 정적인 중앙 학습 모델이 뒤처지는 환경에서도 유용성을 유지합니다.
그림 1. Scaleout과 Ultralytics YOLO가 AI 드론을 구동하는 방식의 예시 (출처)
동일한 패턴은 드론을 훨씬 넘어 확장됩니다. 에너지 시설 및 원격 시설과 같은 산업 환경에서는 각 위치의 데이터가 민감하더라도 원시 데이터가 시설 경계를 넘지 않은 채 여러 현장의 detection 모델을 개선할 수 있습니다. 데이터가 드론에 있든 고정 설비에 있든 Scaleout은 영상을 현장에 유지하고 모델이 학습한 내용만 이동합니다.
데이터가 이동할 수 없는 환경을 위한 적응형 AI 구축#
Scaleout은 성장하면서 더 많은 환경과 하드웨어에 연합 방식의 엣지 기반 컴퓨터 비전을 계속 확장하고 있습니다. 사전 구축된 모듈은 수개월에 걸친 통합 작업을 수일로 단축하도록 설계되었으므로, 고객은 자체 하드웨어를 사용하고 기본 머신 러닝 코드를 다시 구축하지 않고도 적응형 학습 루프를 도입할 수 있습니다.
Detection 파이프라인의 핵심에 Ultralytics YOLO를 두고 있는 Scaleout은 기존 접근 방식이 한계를 보이는 바로 그 환경에서 AI를 학습하고 개선할 수 있도록 지원합니다. 데이터를 현장에 유지하고, 네트워크가 장애를 일으켜도 운영을 지속하며, 엣지 디바이스 fleet을 전체적으로 계속 학습하는 시스템으로 전환합니다.
Vision AI가 여러분에게 어떤 도움을 줄 수 있는지 알아볼 준비가 되셨습니까? GitHub repository로 이동하여 YOLO 모델이 제조 분야의 AI 및 로보틱스의 컴퓨터 비전과 같은 분야를 어떻게 변화시키고 있는지 확인해 보세요. 라이선싱 옵션을 살펴보고 더 스마트한 자동화를 향한 여정을 시작해 보세요.
