연합 학습

연합 학습의 핵심 개념

연합 학습은 일반적으로 중앙 서버 또는 코디네이터가 조율하는 반복적인 프로세스를 통해 운영됩니다:

1. 초기화: 중앙 서버는 초기 글로벌 모델(예: 일반적인 Ultralytics YOLO 모델).
2. 배포: 이 글로벌 모델은 선택한 클라이언트 디바이스(예: 휴대폰, 로컬 서버)로 전송됩니다.
3. 로컬 훈련: 각 클라이언트 디바이스는 자체 로컬 데이터를 사용하여 수신된 모델을 학습시킵니다. 이 데이터는 디바이스를 벗어나지 않으므로 개인정보가 유지됩니다. 이 단계에서는 로컬 컴퓨팅 리소스를 활용합니다.
4. 업데이트 전송: 클라이언트는 원시 데이터를 전송하는 대신 업데이트된 모델 파라미터weights and biases 또는 계산된 기울기만 중앙 서버로 다시 전송합니다. 보안 집계 및 차등 개인정보 보호와 같은 기술을 여기에 적용하여 보안을 강화할 수 있습니다.
5. 집계: 중앙 서버가 참여 클라이언트의 업데이트를 집계하여(예: 가중치 평균화) 공유 글로벌 모델을 개선합니다.
6. 반복: 2~5단계는 글로벌 모델이 원하는 성능 수준에 도달할 때까지 반복되며, 종종 YOLO 성능 지표와 같은 가이드에서 설명하는 표준 지표를 사용하여 평가합니다.

이 프로세스를 통해 글로벌 모델은 사용자 개인정보를 침해하지 않으면서도 여러 위치에 분산된 방대하고 다양한 데이터를 통해 학습할 수 있습니다. 연합 학습 연구 및 애플리케이션에서 자세한 배경 지식을 살펴볼 수 있습니다.

연합 학습 대. 분산 교육

연합 학습은 여러 머신에서 학습을 수행하지만, 기존의 분산 학습과는 크게 다릅니다:

• 데이터 배포: 분산 학습은 일반적으로 데이터가 중앙에서 수집된 다음 데이터 센터와 같은 통제된 환경 내의 노드에 분산(종종 동일하고 독립적으로, 또는 IID)된다고 가정합니다. 연합 학습은 본질적으로 데이터가 처음부터 분산되어 있고 사용자나 위치에 따른 실제 데이터 변동을 반영하여 비아이디인 경우가 많다고 가정합니다.
• 개인 정보 보호: 개인 정보 보호는 연합 학습의 기본 목표입니다. 분산 학습의 주요 목표는 일반적으로 확장성과 속도이며, 학습 프로세스 자체에서 데이터 개인 정보 보호에 대한 본질적인 초점은 덜합니다.
• 네트워크 및 하드웨어: 연합 학습은 클라이언트 장치의 불안정한 네트워크 연결과 이기종 하드웨어 기능을 처리해야 하는 반면, 분산 교육은 종종 고대역폭 네트워크와 보다 균일한 하드웨어에서 실행됩니다.

연합 학습의 응용

연합 학습은 데이터가 민감하거나, 규모가 크거나, 본질적으로 분산되어 있는 시나리오에서 특히 유용합니다:

• 헬스케어: 민감한 환자 기록을 공유하지 않고도 여러 병원에서 의료 영상 분석과 같은 작업을 위한 진단 모델을 훈련할 수 있습니다. 이를 통해 HIPAA와 같은 엄격한 개인정보 보호 규정을 준수하면서 다양한 환자 데이터를 활용하여 더욱 강력한 모델을 만들 수 있습니다. 의료 정보학을 위한 연합 학습의 사례를 살펴보고 의료 솔루션의 관련 AI를 살펴보세요.
• 모바일 디바이스: 개인 데이터나 통신 기록을 중앙 서버에 업로드하지 않고 사용자의 휴대폰에서 직접 모델을 학습시켜 예측 텍스트 키보드(예: Google Gboard), 음성 비서 명령 인식 또는 개인화된 추천과 같은 온디바이스 기능을 개선할 수 있습니다.
• 금융: 은행이 고객 기밀 데이터를 공유할 필요 없이 여러 은행이 보유한 거래 데이터로 모델을 학습시켜 사기 거래를 탐지합니다.
• 산업용 IoT: 독점적인 운영 데이터를 중앙 집중화하지 않고 여러 공장 또는 위치의 센서 데이터를 기반으로 기계류에 대한 예측 유지보수 모델을 개발합니다.

연합 학습의 이점

• 개인정보 보호 강화: 원시 데이터가 클라이언트 디바이스에 로컬라이즈되어 개인정보 보호 위험이 크게 감소합니다.
• 통신 부하 감소: 모델 업데이트를 전송하는 것은 일반적으로 전체 데이터 세트를 전송하는 것보다 대역폭을 훨씬 덜 사용합니다.
• 실시간 학습: 엣지 디바이스의 최신 로컬 데이터를 사용하여 모델을 더 자주 업데이트할 수 있습니다.
• 다양한 데이터 활용: 법적, 윤리적 또는 물류상의 이유로 중앙 집중화할 수 없는 더 크고 다양한 데이터 세트에 액세스할 수 있어 잠재적으로 과적합을 줄일 수 있습니다.

연합 학습의 과제

이러한 장점에도 불구하고 연합 학습은 몇 가지 장애물에 직면해 있습니다:

• 커뮤니케이션 효율성: 대역폭이 제한적이거나 연결이 불안정한 경우 수천 또는 수백만 대의 디바이스에서 업데이트를 조정하고 집계하는 작업은 특히 느리고 복잡할 수 있습니다.
• 시스템 이질성: 클라이언트 장치는 처리 능력 측면에서 매우 다양합니다(CPU/GPU), 메모리, 네트워크 연결성, 전원 가용성 측면에서 매우 다양합니다.
• 통계적 이질성: 일반적으로 디바이스 간 데이터는 동일하고 독립적으로 분산되지 않는 비-IID이므로 글로벌 모델에 편향이 생기거나 수렴 속도가 느려질 수 있습니다.
• 보안 우려: 데이터 프라이버시를 강화하는 동시에 시스템 자체는 모델 업데이트나 중앙 서버의 잠재적인 보안 침해를 노리는 공격에 취약할 수 있습니다. 전반적인 데이터 보안을 유지하는 것이 여전히 중요합니다.
• 고객 관리: 적절한 고객 선정, 참여 관리, 중도 탈락자 처리는 물류 관리의 과제입니다.

TensorFlow 페더레이션과 같은 프레임워크와 오픈마인드 같은 조직의 라이브러리는 이러한 문제를 해결하는 것을 목표로 합니다. 연합 학습은 복잡하지만 대규모의 개인 정보 인식 AI 시스템을 구축하는 데 있어 유망한 방향입니다. Ultralytics HUB와 같은 플랫폼은 전반적인 모델 배포 및 관리 수명 주기를 촉진하며, 잠재적으로 연합된 접근 방식을 사용하여 개발된 모델을 포괄할 수 있습니다. Ultralytics 에코시스템 내에서 다양한 모델 배포 옵션을 탐색할 수 있습니다. 액티브 러닝으로 컴퓨터 비전 개발 속도를 높이는 방법 블로그 게시물에서 설명한 대로 FL을 액티브 러닝과 같은 다른 기술과 결합하는 것도 현재 진행 중인 연구 분야입니다.