연합 학습

연합 학습(Federated Learning, FL)은 데이터를 교환하지 않고 로컬 데이터 샘플을 보유한 여러 분산 장치 또는 서버에서 모델을 훈련할 수 있도록 하는 머신 러닝(ML) 기술입니다. 이 접근 방식은 원시 데이터를 사용자 장치에 보관함으로써 중요한 데이터 개인 정보 보호 및 보안 문제를 해결합니다. 모델 훈련을 위해 데이터를 중앙 서버로 풀링하는 대신, FL은 글로벌 모델을 로컬 장치로 전송하는 방식으로 작동합니다. 각 장치는 자체 데이터로 모델을 훈련하고, 결과 모델 업데이트(작고 집중적인 개선 사항)만이 중앙 서버로 다시 전송되어 집계됩니다. 이 협업 프로세스는 사용자 정보를 손상시키지 않으면서 공유 글로벌 모델을 개선합니다.

Federated Learning은 어떻게 작동하나요?

연합 학습 프로세스는 일반적으로 중앙 코디네이팅 서버에서 오케스트레이션하는 반복적인 단계 주기를 포함합니다.

1. 모델 배포: 중앙 서버는 신경망과 같은 글로벌 AI 모델을 초기화하고 모바일폰 또는 병원 컴퓨터와 같은 클라이언트 장치에 배포합니다.
2. 로컬 학습: 각 클라이언트 장치는 로컬 데이터 세트에서 모델을 학습합니다. 이 데이터는 장치를 벗어나지 않으므로 비공개로 유지됩니다. 이 로컬 학습은 Edge AI와 관련된 온디바이스 인텔리전스의 핵심 구성 요소입니다.
3. 업데이트 제출: 몇 번의 반복 학습 후 각 클라이언트는 계산된 모델 업데이트(모델 가중치 또는 기울기 등)를 중앙 서버로 다시 보냅니다. 이는 원시 데이터 자체보다 훨씬 작고 안전한 페이로드입니다.
4. 보안 집계: 중앙 서버는 모든 클라이언트의 업데이트를 집계합니다(예: 평균화). 예를 들어 보안 다자간 계산과 같은 기술을 사용하여 서버가 개별 업데이트를 리버스 엔지니어링할 수 없도록 할 수 있습니다.
5. 모델 개선: 개선된 글로벌 모델은 다음 학습 라운드를 위해 클라이언트로 다시 전송됩니다. 이 반복적인 프로세스는 모델의 성능이 원하는 수준의 정확도에 도달할 때까지 계속됩니다.

실제 애플리케이션

연합 학습은 단순한 이론적 개념이 아니라 여러 주류 애플리케이션을 강화하고 데이터 민감도가 가장 중요한 산업을 변화시키고 있습니다.

• 스마트 키보드 예측: Google과 같은 회사에서는 FL을 사용하여 모바일 키보드의 예측 텍스트를 개선합니다. 휴대폰은 사용자의 입력 기록을 학습하여 다음 단어를 제안하고, 이러한 학습 내용은 익명화된 모델 업데이트로 공유되어 실제 메시지가 장치를 떠나지 않고도 모든 사용자를 위한 예측 엔진을 개선합니다.
• 협업 의료 연구: FL을 통해 병원과 연구 기관은 종양을 감지하기 위한 의료 영상 분석과 같은 작업을 위한 강력한 진단 모델을 공동으로 구축할 수 있습니다. 각 병원은 민감한 환자 기록을 다른 기관이나 중앙 저장소에 노출하지 않고도 HIPAA와 같은 개인 정보 보호법에 의해 보호되는 환자 데이터에 대해 공유 모델을 학습할 수 있습니다. 이를 통해 다양한 데이터 세트에 대해 학습된 보다 강력한 모델을 만들 수 있습니다.

연합 학습 vs. 관련 개념

FL(Federated Learning, 연합 학습)을 다른 학습 패러다임과 구별하는 것이 중요합니다.

• 중앙 집중식 학습: 모든 데이터를 한 곳에 모아 학습하는 전통적인 방식입니다. FL은 이와 정반대로, 데이터 중앙 집중화를 피하도록 설계되었습니다.
• 분산 학습: 이 기술은 또한 여러 시스템을 사용하여 학습 속도를 높이지만 학습 데이터가 중앙 위치에 저장되어 있고 학습 노드 간에 자유롭게 배포될 수 있다고 가정합니다. 대조적으로 FL은 본질적으로 분산되어 있고 이동할 수 없는 데이터로 작동합니다.
• 능동 학습(Active Learning): 이 방법은 어노테이션 비용을 줄이기 위해 레이블을 지정할 가장 유익한 데이터 포인트를 효율적으로 선택하는 데 중점을 둡니다. FL은 훈련이 어디에서 발생하는지를 다루는 반면, 능동 학습은 어떤 데이터가 사용되는지를 다룹니다. Active Learning에 대한 이 블로그에서 논의된 바와 같이, 이 둘을 결합하여 개인 정보 보호 및 효율성을 더욱 향상시킬 수 있습니다.

과제 및 프레임워크

FL은 장점에도 불구하고 높은 통신 비용, 다양한 컴퓨팅 성능(CPU/GPU)을 가진 장치 관리, 모델을 편향시킬 수 있는 비 IID(독립 항등 분포가 아닌) 데이터 처리와 같은 문제에 직면해 있습니다. 또한 이 시스템은 모델 업데이트를 대상으로 하는 적대적 공격에 취약할 수 있습니다. 이러한 복잡성을 해결하기 위해 TensorFlow Federated 및 OpenMined와 같은 조직의 PySyft와 같은 프레임워크가 개발되었습니다. 기술이 발전함에 따라 전체 모델 배포 및 모니터링 수명 주기를 관리하는 것이 중요해지며, 이는 Ultralytics HUB와 같은 플랫폼으로 간소화됩니다.