Model Drift in Federated Learning: an Experimental Analysis

Abstract

Our ability to extract knowledge beyond data silos will drive the future of machine learning towards more accurate and comprehensive models. Federated Learning (FL) has emerged as a transformative paradigm in machine learning, enabling decentralized model training while preserving data privacy across multiple clients. By distributing the learning process, FL addresses critical privacy concerns but introduces challenges related to model drift. Model drift is the phenomenon where a model degrades over time due to changes in the underlying data distribution or the relationships between input features and target variables. This issue is especially pronounced in FL environments, where data is not independently and identically distributed (non-IID) across clients, leading to asynchronous and heterogeneous updates that intensify drift. In response to the challenge of model drift in FL, this thesis proposes a novel methodology for drift detection and management within federated environments. By implementing the Flower federated learning framework integrated with Alibi Detect, a specialized tool for drift detection, the study introduces an effective strategy to monitor and identify both concept drift (changes in the relationship between inputs and outputs) and data drift (changes in the input data distribution). The proposed methodology uses statistical tests to accurately detect significant deviations in model performance, ensuring timely intervention and model updates. Our experimental analysis demonstrates the effectiveness of the proposed drift detection framework. By simulating FL scenarios with varying degrees of drift introduced across different clients, the study systematically evaluates the impact of drift on model performance metrics, including accuracy, F1 score, Cohen's kappa, and ROC. The findings indicate that even minimal drift in a subset of clients can significantly degrade the global model's performance, underscoring the importance of robust drift detection. The proposed solution enhances the reliability and accuracy of federated models and addresses the scalability and privacy-preserving requirements inherent in FL environments. The contributions of this thesis are significant for the future development and application of FL systems. This study paves the way for more resilient FL models capable of maintaining high performance in dynamic and distributed settings by providing a framework for detecting model drift. The implications of this work extend to various domains where FL is employed, such as healthcare, finance, and personalized services, where the accuracy and reliability of models are critical. This research sets the foundation for future explorations into more advanced drift management techniques, ultimately contributing to FL's broader adoption and efficacy in real-world applications. Meie võime ammutada teadmisi andmesilodest kaugemale juhib masinõppe tulevikku täpsemate ja põhjalikumate mudelite suunas. Federated Learning (FL) on kujunenud masinõppes transformeerivaks paradigmaks, võimaldades detsentraliseeritud mudelikoolitust, säilitades samal ajal andmete privaatsuse mitme kliendi vahel. Õppeprotsessi levitamisega tegeleb FL kriitiliste privaatsusprobleemidega, kuid tutvustab mudeli triiviga seotud väljakutseid. Mudeli triiv on nähtus, kus mudel laguneb aja jooksul, kuna selle aluseks oleva andmejaotuse muutused või sisendfunktsioonide ja sihtmuutujate vahelised seosed. Eriti väljendub see probleem FL-keskkondades, kus andmeid ei levitata iseseisvalt ja identselt (non-IID) klientide vahel, tuues kaasa asünkroonsed ja heterogeensed uuendused, mis süvendavad triivimist. Vastuseks mudelitriivi väljakutsele FL-is pakutakse käesolevas lõputöös välja uudne metoodika triivi avastamiseks ja juhtimiseks föderatsioonis. Rakendades triivituvastuse spetsialiseeritud vahendiga Alibi Detect integreeritud Flower õpperaamistikku, tutvustab uuring tõhusat strateegiat nii mõiste triivi jälgimiseks kui ka tuvastamiseks (sisendite ja väljundite vahelise seose muutused) kui ka andmete triivimiseks (sisendandmete jaotuse muutused). Kavandatavas metoodikas kasutatakse statistilisi teste, et täpselt tuvastada olulised kõrvalekalded mudeli toimivuses, tagades õigeaegse sekkumise ja mudeliuuendused. Meie eksperimentaalne analüüs näitab kavandatava drifti tuvastamise raamistiku tõhusust. Simuleerides FL-stsenaariume erinevate klientide vahel kasutusele võetud erineva driftiastmega, hinnatakse uuringus süstemaatiliselt drifti mõju mudeli jõudluse mõõdikutele, sealhulgas täpsusele, F1-skoorile, Coheni kappale ja ROC-le. Leiud näitavad, et isegi minimaalne triiv klientide hulgas võib oluliselt halvendada ülemaailmse mudeli jõudlust, rõhutades jõulise triivi tuvastamise tähtsust. Kavandatav lahendus suurendab föderatsioonimudelite töökindlust ja täpsust ning käsitleb FL keskkondadele omaseid skaleeritavust ja privaatsust säilitavaid nõudeid. Käesoleva väitekirja panus on oluline FL-süsteemide edasiseks arendamiseks ja rakendamiseks. See uuring sillutab teed vastupidavamatele FL mudelitele, mis suudavad dünaamilistes ja hajutatud seadetes säilitada suure jõudluse, pakkudes raamistiku mudeli triivi avastamiseks. Selle töö tagajärjed laienevad erinevatele valdkondadele, kus FL töötab, nagu tervishoid, rahandus ja personaliseeritud teenused, kus mudelite täpsus ja usaldusväärsus on kriitilised. See uurimus loob aluse tulevasteks uurimusteks arenenumate driftijuhtimise tehnikate osas, aidates lõppkokkuvõttes kaasa FL-i laiemale vastuvõtmisele ja efektiivsusele reaalsetes rakendustes.