Học tập liên bang

Học Liên kết (FL) là một kỹ thuật học máy (ML) cho phép huấn luyện các mô hình trên nhiều thiết bị hoặc máy chủ phi tập trung lưu trữ các mẫu dữ liệu cục bộ mà không cần trao đổi dữ liệu. Phương pháp này giải quyết các vấn đề quan trọng về quyền riêng tư và bảo mật dữ liệu bằng cách lưu trữ dữ liệu thô trên thiết bị của người dùng. Thay vì tập hợp dữ liệu vào một máy chủ trung tâm để huấn luyện mô hình , FL hoạt động bằng cách gửi một mô hình toàn cục đến các thiết bị cục bộ. Mỗi thiết bị huấn luyện mô hình bằng dữ liệu riêng của nó, và chỉ những cập nhật mô hình kết quả - những cải tiến nhỏ, tập trung - mới được gửi trở lại máy chủ trung tâm để tổng hợp. Quá trình hợp tác này cải thiện mô hình toàn cục được chia sẻ mà không làm ảnh hưởng đến thông tin người dùng.

Học tập liên bang hoạt động như thế nào

Quá trình học liên bang thường bao gồm một chu trình lặp lại các bước được sắp xếp bởi một máy chủ điều phối trung tâm:

1. Phân phối mô hình: Máy chủ trung tâm khởi tạo mô hình AI toàn cầu, chẳng hạn như mạng nơ-ron , và phân phối mô hình này tới một số thiết bị khách hàng (ví dụ: điện thoại di động hoặc máy tính bệnh viện).
2. Đào tạo cục bộ: Mỗi thiết bị khách hàng sẽ đào tạo mô hình trên tập dữ liệu cục bộ của nó. Vì dữ liệu này không bao giờ rời khỏi thiết bị, nên nó vẫn được giữ bí mật. Việc đào tạo cục bộ này là một thành phần quan trọng của trí tuệ nhân tạo trên thiết bị, thường được liên kết với Edge AI .
3. Gửi Cập nhật: Sau khi huấn luyện một vài lần lặp, mỗi máy khách sẽ gửi các bản cập nhật mô hình đã tính toán (chẳng hạn như gradient hoặc trọng số mô hình ) trở lại máy chủ trung tâm. Đây là một tải trọng nhỏ hơn và an toàn hơn nhiều so với dữ liệu thô.
4. Tổng hợp an toàn: Máy chủ trung tâm tổng hợp các bản cập nhật từ tất cả máy khách—ví dụ, bằng cách tính trung bình—để cải thiện mô hình toàn cục. Các kỹ thuật như tính toán đa phương an toàn có thể được sử dụng để đảm bảo máy chủ không thể thực hiện kỹ thuật đảo ngược các bản cập nhật riêng lẻ.
5. Cải tiến Mô hình: Mô hình toàn cục đã được tinh chỉnh sau đó được gửi lại cho khách hàng để thực hiện vòng huấn luyện tiếp theo. Quá trình lặp lại này tiếp tục cho đến khi hiệu suất của mô hình đạt đến mức độ chính xác mong muốn.

Ứng dụng trong thế giới thực

Học tập liên bang không chỉ là một khái niệm lý thuyết; nó hỗ trợ nhiều ứng dụng chính thống và đang chuyển đổi các ngành công nghiệp mà tính nhạy cảm của dữ liệu là tối quan trọng.

• Dự đoán Bàn phím Thông minh : Các công ty như Google sử dụng FL để cải thiện khả năng dự đoán văn bản trên bàn phím di động. Điện thoại của bạn sẽ học hỏi từ lịch sử nhập liệu của bạn để đề xuất từ tiếp theo, và những dữ liệu này được chia sẻ dưới dạng bản cập nhật mô hình ẩn danh, nhằm cải thiện công cụ dự đoán cho tất cả người dùng mà không cần tin nhắn thực tế của bạn phải rời khỏi thiết bị.
• Nghiên cứu Y khoa Hợp tác : FL cho phép các bệnh viện và viện nghiên cứu hợp tác xây dựng các mô hình chẩn đoán mạnh mẽ cho các nhiệm vụ như phân tích hình ảnh y khoa để phát hiện khối u. Mỗi bệnh viện có thể đào tạo một mô hình chung trên dữ liệu bệnh nhân của mình, được bảo vệ bởi luật bảo mật như HIPAA , mà không bao giờ tiết lộ hồ sơ bệnh nhân nhạy cảm cho các tổ chức khác hoặc kho lưu trữ trung tâm. Điều này cho phép tạo ra các mô hình mạnh mẽ hơn được đào tạo trên các tập dữ liệu đa dạng.

Học tập liên bang so với các khái niệm liên quan

Điều quan trọng là phải phân biệt FL với các mô hình học tập khác:

• Đào tạo tập trung : Phương pháp truyền thống trong đó tất cả dữ liệu được thu thập tại một nơi để đào tạo. FL thì ngược lại, được thiết kế đặc biệt để tránh việc tập trung dữ liệu.
• Đào tạo Phân tán : Kỹ thuật này cũng sử dụng nhiều máy để tăng tốc độ đào tạo, nhưng giả định rằng dữ liệu đào tạo được lưu trữ tại một vị trí trung tâm và có thể được phân phối tự do giữa các nút đào tạo. Ngược lại, FL hoạt động với dữ liệu vốn đã phi tập trung và không thể di chuyển.
• Học tập chủ động : Phương pháp này tập trung vào việc lựa chọn hiệu quả các điểm dữ liệu mang lại nhiều thông tin nhất để dán nhãn nhằm giảm chi phí chú thích. Trong khi FL tập trung vào địa điểm diễn ra quá trình đào tạo, học tập chủ động tập trung vào dữ liệu được sử dụng. Hai phương pháp này có thể được kết hợp để tăng cường hơn nữa tính riêng tư và hiệu quả, như đã thảo luận trong bài viết này về Học tập chủ động .

Thách thức và khuôn khổ

Bất chấp những ưu điểm của mình, FL phải đối mặt với những thách thức như chi phí truyền thông cao, quản lý các thiết bị có công suất tính toán khác nhau ( CPU / GPU ) và xử lý dữ liệu không phải IID (không phân tán độc lập và giống hệt nhau), điều này có thể làm sai lệch mô hình. Hệ thống cũng có thể dễ bị tấn công bởi các cuộc tấn công đối kháng nhắm vào các bản cập nhật mô hình. Để giải quyết những vấn đề phức tạp này, các nền tảng như TensorFlow Federated và PySyft từ các tổ chức như OpenMined đã được phát triển. Khi công nghệ ngày càng hoàn thiện, việc quản lý toàn bộ vòng đời triển khai và giám sát mô hình trở nên quan trọng, một quy trình được đơn giản hóa bởi các nền tảng như Ultralytics HUB .