A Comparative Evaluation of Explainability Techniques for Image Data

Abstract

Masinõppe kasutamine on viimasel kümnendil paljudes valdkondades märkimisväärselt kasvanud, eriti arvutinägemise valdkonnas, kus suure jõudlusega konvolutsioonilised süva-neuronivõrgud on saavutanud ja isegi ületanud inimese jõudluse paljudes valdkondades. Et vastata nende black-box mudelite läbipaistvuse kasvavale vajadusele, on eXplainable AI kogukond loonud erinevaid tehnikaid nende prognooside selgitamiseks. Populaarne viis seda teha pildiandmete puhul on kasutada silmapaistvuse kaardid. Samas ei ole nende meetodite kvaliteedi objektiivne hindamine tõlgendatavuse mitmetahulisuse tõttu lihtne ülesanne. Käesolevas töös teostame kuue populaarse silmapaistvuse kaardi selgitamise tehnika, nimelt LIME, SHAP, GradCAM, GradCAM++, IntGrad ja SmoothGrad, põhjaliku võrdleva hindamise, kasutades kirjanduses esinevaid viit kvantitatiivset funktsioonipõhist mõõdikut, täpsemalt truudust, stabiilsust, identiteeti, eraldatavust ja aega, kolme üldkasutatava võrdlusandmestiku ja kolme tuntud mudelite arhitektuuri põhjal, et määrata kindlaks iga tehnika plussid ja miinused. Kuigi me leiame, et ükski tehnika ei domineeri kõigis mõõdikutes, näitavad saadud tulemused, et IntGrad ja SmoothGrad esinesid meie usaldusväärsuse ja stabiilsuse testides hästi, kusjuures SHAP saavutas ka kõrgeid tulemusi usaldusväärsuse osas. Kõik meetodid peale LIME ja SmoothGrad said kõrgeid tulemusi identiteedi mõõtkavas ja kõik peale LIME - eraldatavuse mõõtkavas, samas kui GradCAM ja GradCAM++ olid kaugelt kõige kiiremad. Samuti märgime, et meetrikate puhul on ettevaatusabinõusid, mis viitavad sellele, et erinevate XAI-tehnikate kvaliteedist täieliku pildi saamiseks on vaja teha rohkem tööd.