Oct 23, 2023
Verbesserung des föderalen Lernens durch erweiterte Gewichtsverteilungsanalyse
Die Konferenz „IEEE International Conference on Imaging Systems and Techniques“ (IST) diente als Plattform zur Präsentation der iPROLEPSIS-Forschung im Bereich föderiertes Lernen, wobei der Schwerpunkt speziell auf neuen Methoden zur Gewichtsaggregation lag.
Titel: Federated Learning Aggregation basierend auf Gewichtsverteilungsanalyse
Abstrakt:
Föderiertes Lernen wurde kürzlich als Lösung für das Problem vorgeschlagen, private oder vertrauliche Daten zum Trainieren eines zentralen Deep-Modells zu verwenden, ohne die lokalen Daten auszutauschen. Beim föderierten Lernen werden lokale Modelle auf der Clientseite mithilfe der verfügbaren Daten trainiert, während ein Server für die Aggregation der Gewichte dieser Modelle zu einem globalen Modell verantwortlich ist. Der traditionelle Ansatz der Gewichtsmittelung berücksichtigt jedoch nicht die Bedeutung der unterschiedlichen Gewichte für die Leistung eines Modells. Zu diesem Zweck schlägt diese Arbeit eine neuartige Methode zur Gewichtsaggregation für föderiertes Lernen vor, die die statistische Distanz der Parameter jedes Clients von der Gauß-Verteilung schätzt und den Beitrag jedes Clients zum globalen Modell entsprechend gewichtet, sodass die wichtigsten Informationen erhalten bleiben und verbessert werden. Um ein genaues globales Modell zu erstellen, wird eine komplexe gewichtete Mittelung der Parameter der Clientmodelle auf Schichtebene durchgeführt, wobei die Parameter, die der Gauß-Verteilung folgen, als minderwertig angesehen werden. Die vorgeschlagene Methode kann sowohl auf Faltungs- als auch auf lineare Schichten angewendet werden und basiert auf der Annahme, dass Parameter, die einer Gauß-Verteilung folgen, die Ausgabe eines Modells nicht wesentlich beeinflussen. Experimente mit verschiedenen Netzwerkarchitekturen und ein Vergleich mit einer Vielzahl modernster Ansätze anhand dreier bekannter Bildklassifizierungsdatensätze demonstrieren die Überlegenheit der vorgeschlagenen Methode zur Gewichtsaggregation beim föderalen Lernen.
Lesen Sie hier die vollständige Publikation:
(PDF) Federated Learning Aggregation basierend auf Gewichtsverteilungsanalyse
