연합 학습

연합 학습(FL)은 데이터 자체를 교환하지 않고도 로컬 데이터 샘플을 보유한 여러 분산 장치 또는 서버에서 모델을 학습할 수 있는 머신 러닝(ML) 기법입니다. 이 접근 방식은 원시 데이터를 사용자 디바이스에 보관함으로써 중요한 데이터 개인정보 보호 및 보안 문제를 해결합니다. FL은 모델 학습을 위해 데이터를 중앙 서버로 모으는 대신 글로벌 모델을 로컬 디바이스로 전송하는 방식으로 작동합니다. 각 디바이스는 자체 데이터로 모델을 학습시키고, 그 결과 모델 업데이트(소규모의 집중 개선 사항)만 중앙 서버로 다시 전송되어 집계됩니다. 이 협업 프로세스는 사용자 정보를 손상시키지 않으면서 공유된 글로벌 모델을 개선합니다.

연합 학습의 작동 방식

연합 학습 프로세스에는 일반적으로 중앙 조정 서버에 의해 조율되는 반복적인 단계가 포함됩니다:

1. 모델 배포: 중앙 서버는 신경망과 같은 글로벌 AI 모델을 초기화하여 선택한 클라이언트 디바이스(예: 휴대폰 또는 병원 컴퓨터)에 배포합니다.
2. 로컬 훈련: 각 클라이언트 디바이스는 로컬 데이터 세트에서 모델을 학습시킵니다. 이 데이터는 디바이스를 벗어나지 않으므로 비공개로 유지됩니다. 이 로컬 트레이닝은 엣지 AI와 관련된 온디바이스 인텔리전스의 핵심 구성 요소입니다.
3. 업데이트 제출: 몇 번의 반복 훈련 후 각 클라이언트는 계산된 모델 업데이트(예: 그라데이션 또는 모델 가중치)를 중앙 서버로 다시 전송합니다. 이는 원시 데이터 자체보다 훨씬 더 작고 안전한 페이로드입니다.
4. 보안 집계: 중앙 서버는 모든 클라이언트의 업데이트를 평균화하는 등의 방식으로 집계하여 글로벌 모델을 개선합니다. 보안 다자간 계산과 같은 기술을 사용하여 서버가 개별 업데이트를 리버스 엔지니어링할 수 없도록 할 수 있습니다.
5. 모델 개선: 개선된 글로벌 모델은 다음 단계의 학습을 위해 고객에게 다시 전송됩니다. 이 반복적인 프로세스는 모델의 성능이 원하는 수준의 정확도에 도달할 때까지 계속됩니다.

실제 애플리케이션

연합 학습은 단순한 이론적 개념이 아니라 여러 주류 애플리케이션을 지원하고 있으며 데이터 민감도가 가장 중요한 산업을 변화시키고 있습니다.

• 스마트 키보드 예측: Google과 같은 회사에서는 FL을 사용하여 모바일 키보드의 예측 텍스트를 개선합니다. 휴대폰은 사용자의 입력 기록을 학습하여 다음 단어를 제안하고, 이러한 학습 결과는 익명화된 모델 업데이트로 공유되어 실제 메시지가 디바이스를 떠나지 않고도 모든 사용자의 예측 엔진을 개선할 수 있습니다.
• 공동 의료 연구: FL을 사용하면 병원과 연구 기관이 종양 감지를 위한 의료 이미지 분석과 같은 작업을 위한 강력한 진단 모델을 구축하는 데 협력할 수 있습니다. 각 병원은 민감한 환자 기록을 다른 기관이나 중앙 저장소에 노출하지 않고도 HIPAA와 같은 개인정보 보호법에 의해 보호되는 환자 데이터로 공유 모델을 훈련할 수 있습니다. 이를 통해 다양한 데이터 세트에서 학습된 더욱 강력한 모델을 생성할 수 있습니다.

연합 학습과 관련 개념

FL을 다른 학습 패러다임과 구별하는 것이 중요합니다:

• 중앙 집중식 교육: 훈련을 위해 모든 데이터를 한 곳에 수집하는 기존의 접근 방식입니다. FL은 정반대로, 데이터의 중앙 집중화를 피하기 위해 특별히 설계되었습니다.
• 분산 교육: 이 기술 역시 여러 대의 머신을 사용해 학습 속도를 높이지만, 학습 데이터가 중앙 위치에 저장되어 있고 학습 노드 간에 자유롭게 분산될 수 있다고 가정합니다. 반면 FL은 본질적으로 분산되어 있고 이동이 불가능한 데이터를 대상으로 합니다.
• 능동적 학습: 이 방법은 주석 비용을 줄이기 위해 라벨을 붙일 가장 유익한 데이터 요소를 효율적으로 선택하는 데 중점을 둡니다. FL이 학습이 이루어지는 위치를 다루는 반면, 능동 학습은 어떤 데이터가 사용되는지를 다룹니다. 액티브 러닝에 대한 이 블로그에서 설명한 대로 이 두 가지를 결합하여 개인정보 보호와 효율성을 더욱 향상시킬 수 있습니다.

도전 과제 및 프레임워크

이러한 장점에도 불구하고 FL은 높은 통신 비용, 다양한 연산 능력(CPU/GPU)을 가진 디바이스 관리, 모델에 편향을 줄 수 있는 비-IID(동일하게 독립적으로 분산되지 않은) 데이터 처리 등의 문제에 직면해 있습니다. 또한 이 시스템은 모델 업데이트를 노리는 적대적인 공격에 취약할 수 있습니다. 이러한 복잡성을 해결하기 위해 OpenMined와 같은 조직에서 TensorFlow Federated, PySyft와 같은 프레임워크가 개발되었습니다. 기술이 발전함에 따라 전체 모델 배포 및 모니터링 수명 주기를 관리하는 것이 중요해졌으며, 이 과정은 Ultralytics HUB와 같은 플랫폼으로 간소화되었습니다.