Interprétabilité de l’IA : quelles limites ?


L’interprétabilité est un processus. Elle permet au data scientist de prendre du recul sur l’algorithme employé. Elle donne du sens aux choix de l’Intelligence artificielle (IA). Mais ces choix sont-ils toujours justes ? Pour le data scientist, la compréhension des algorithmes est indispensable pour faire progresser l’usage de l’IA dans notre société. Maître de conférences au Centre de mathématiques appliquées de l'École Polytechnique (CMAP) depuis 2016, Erwan Scornet nous éclaire dans cet entretien sur les limites de l’interprétabilité et ses enjeux pour l’avenir.


En quoi l’interprétabilité des algorithmes influe-t-elle sur leur performance ?


Erwan Scornet : Quand on cherche des algorithmes interprétables, on perd en performance. Plus la compréhension est grande, plus le data scientist perd en qualité de prédiction. On se restreint à une classe d’algorithmes moins flexibles, et qui sont par conséquent moins prédictifs.


Il y a des travaux qui consistent à créer des algorithmes prédictifs et interprétables. On fabrique alors des algorithmes basés sur des règles de décision simples. Des règles de type « si, et si, alors ». L’ensemble de ces règles de décision engendre un processus qui sera prédictif et interprétable mais non stable. Actuellement, je travaille avec un doctorant et d’autres collègues sur un projet de recherche pour créer un ensemble de règles stables. Nous partons de l’algorithme des random forests, nous détectons les règles les plus utilisées par les arbres de la forêt, ce qui nous permet de constituer un ensemble de règles stables, avec de bonnes performances prédictives.


Mais, à l’heure actuelle, le paradigme de base consiste à dire que lorsque l’on gagne en interprétabilité, on perd en performance. Et inversement.


L’interprétabilité permet-elle de lutter contre les biais ?


Erwan Scornet : L’interprétabilité permet de comprendre le fonctionnement de la prédiction. On peut ainsi plus facilement comprendre les biais évidents. Mais elle ne permet pas toutefois de les éliminer.


Par exemple, la justice américaine utilise un algorithme qui s’appelle COMPAS. Il prédit la récidive en fonction de données socio-économiques. En 2016, des chercheurs ont publié un article en indiquant que cet algorithme était biaisé de façon négative envers les personnes de couleur noire. D’autres chercheurs ont essayé de rendre cet algorithme interprétable, c’est-à-dire de regarder si l’on pouvait trouver des règles de décision simples reproduisant le comportement de l’algorithme. Ils ont trouvé un algorithme simple basé uniquement sur deux variables : l’âge de la personne et le nombre de crimes passés. A priori, aucune raison de penser que l’algorithme était biaisé. Or, le jeu de données comprenait un biais. En effet, les personnes de couleur noire aux États-Unis ont plus de chances d’être arrêtées et d’être condamnées que les personnes blanches. Ainsi, le nombre de crimes passés est une variable qui intégrait indirectement le biais de la couleur de peau.


Le biais et l’interprétabilité sont ainsi deux notions différentes.


Quelle est la différence entre interprétabilité et transparence des algorithmes ?


Erwan Scornet : Le terme de transparence est un peu flou. Selon le Règlement général sur la protection des données (RGPD), la transparence implique une information claire, intelligible et facilement accessible sur le traitement des données. On peut donc dire qu’interprétabilité et transparence sont deux notions distinctes.


Souvent, les algorithmes appartiennent à des sociétés privées qui ne communiquent pas sur leur technologie. Pour qu’un algorithme soit transparent, il faut notamment que son code soit rendu public. Cependant, cela ne suffit pas à le rendre facilement compréhensible. Encore moins sans les données originales. L’algorithme est effectivement entraîné avec des données, qui vont déterminer ses paramètres. Or, les données ne sont pas partagées par souci de confidentialité. L’algorithme (c’est-à-dire le processus) et les données (la matière première) sont donc nécessaires pour comprendre le fonctionnement d’une prédiction et ainsi rendre l’algorithme transparent. Mais ce n’est pas parce que tout est public, que l’algorithme est interprétable.


Pour vous donner un exemple : l’algorithme APB, ancêtre de Parcoursup, était un logiciel permettant d’attribuer les filières universitaires aux lycéens. Cet algorithme a été rendu public, il était donc totalement transparent. Dans un second temps, certains scientifiques l’ont étudié pour le comprendre, pour interpréter son fonctionnement. Cela a conduit au nouvel algorithme Parcoursup, qui est à la fois transparent et interprétable, ce qui ne veut pas dire qu’il est optimal.


Il est ainsi impossible d’interpréter sans transparence mais il y a une différence entre transparence et interprétabilité.


Que peut apporter l’interprétabilité des algorithmes dans notre compréhension future de l’IA ?


Erwan Scornet : L’interprétabilité permet de découvrir de nouvelles pistes. D’innover. La prédiction n’est pas une fin en soi. L’interprétabilité nous permettra de découvrir de nouvelles informations, d’accroître nos connaissances et de garantir une fiabilité de l’algorithme qui autorisera une grande confiance de la part de son utilisateur.


Dernière question davantage sur la prédictibilité que sur l’interprétabilité : souvent les personnes qui s’intéressent à l’IA pensent que celle-ci permet de prédire le futur. Pourquoi n’est-ce pas le cas ?


Erwan Scornet : Quand on applique des algorithmes de machine learning, on fait l’hypothèse que le lien entre l’entrée et la sortie est le même parmi toutes les données. On peut supposer que ce lien va légèrement évoluer au fil du temps (et de la collecte de données) mais le paradigme de base en apprentissage statistique est que le monde reste tel qu’il est. Il n’y a aucun événement imprévu. Par exemple, le Covid ne pouvait pas être prévu par l’IA. Si ces événements arrivent, ils changent le lien entre l’entrée et la sortie. Nous n’avons aucun moyen de le prévoir. En clair, l’algorithme ne fait pas de miracle. Pour prévoir ce type de changements, il faudrait faire des modèles avec des hypothèses explicites sur l’évolution du monde. En machine learning, nous évitons généralement de faire des hypothèses pour nous concentrer sur les données. Réponse frustrante pour beaucoup de personnes, à commencer par les data scientists !