一種在不共享原始資料的情況下跨多個裝置或組織訓練模型的方法。每個參與者在自己的資料上訓練模型的本地副本,並僅將模型更新(梯度)發送給中央協調者,而非將資料發送到中央伺服器。協調者匯總所有參與者的更新以改進全域模型。
聯邦學習使得能夠在因隱私、法規或競爭顧慮而無法集中化的資料上進行 AI 訓練。醫院可以協作訓練診斷模型而不共享病人記錄。公司可以改進共享模型而不暴露專有資料。這是目前最實用的大規模隱私保護 AI 訓練方法。
標準的聯邦學習演算法(FedAvg):(1)伺服器將當前模型發送給選定的參與者,(2)每個參與者在其本地資料上訓練模型數個步驟,(3)參與者將更新後的模型權重(而非資料)發送到伺服器,(4)伺服器對更新取平均並建立新的全域模型,(5)重複。關鍵特性:原始資料永遠不會離開參與者的裝置。
非獨立同分布(Non-IID)資料:參與者通常具有非常不同的資料分布(東京的醫院與聖保羅的醫院有不同的病人統計特徵)。這使得訓練不穩定 — 不同參與者的更新可能會衝突。通訊成本:通過網路發送模型更新(可能是數十億個參數)是昂貴的,特別是對行動裝置。搭便車者:接收改進模型但貢獻低品質更新的參與者。這些挑戰使聯邦學習比集中式訓練更困難,但每個挑戰都有活躍的解決方案。
Apple 使用聯邦學習進行鍵盤預測(從你打的字中學習而不將你的文字發送到 Apple)。Google 用於改善搜尋建議。醫療保健聯盟用於多醫院模型訓練。該技術在以下情況最有價值:資料真正敏感(醫療、金融),法規阻止資料共享(GDPR、HIPAA),或資料太大而無法集中化(數十億的行動裝置互動)。