Comment comprendre une boîte noire ? Peut-on faire confiance à la machine et se passer du regard de l’expert ? Maître de conférences au Centre de mathématiques appliquées de l'École Polytechnique (CMAP) depuis 2016, Erwan Scornet revient dans cet entretien sur les enjeux de l’interprétabilité pour le data scientist.
Pourquoi l’interprétabilité est-elle essentielle pour le data scientist ?
Erwan Scornet : C’est une question d’actualité puisque l’application de l’IA a des domaines sensibles comme la justice, la défense ou encore la santé commence à se poser. Dans ces domaines, les conséquences d’une décision sont importantes et relèvent toujours d’un humain, qui peut néanmoins utiliser la machine pour se prononcer.
Pour la santé, il peut s’agir par exemple d’attribuer ou non un traitement et ainsi d’influer sur l’espérance de vie d’un patient. Pour des situations aussi critiques, nous ne souhaitons pas, en tant que citoyens, que l’algorithme prenne la décision seul, ni que cet algorithme soit complètement obscur pour celui qui le consulte. En santé, il est ainsi inconcevable qu’un algorithme donne une prédiction et que celle-ci soit appliquée sans l’avis d’un expert. On pourrait envisager le fait que l’algorithme propose une recommandation au médecin, et qu’ensuite il puisse y avoir une interaction entre le médecin et l’algorithme pour que le médecin comprenne comment l’algorithme arrive à cette décision.
Dans les domaines sensibles, l’humain prendra toujours les décisions finales. Il s’agit d’un élément essentiel pour de nombreuses applications, qui amène également une réflexion sociétale. Avons-nous réellement envie de vivre dans une société où tout serait automatisé ou robotisé ? Il est fondamental de comprendre l’impact des algorithmes que nous développons sur notre société. C’est pour cette raison que l’École Polytechnique organise régulièrement des séminaires d’éthique avec différents intervenants. En tant que scientifique, il ne faut pas perdre de vue l’impact sur l’environnement, la société et l’économie.
Pourtant, une décision prise par un algorithme seul ne serait-elle pas plus juste ?
Erwan Scornet : Comme évoqué précédemment, pour les domaines sensibles, nous aurons toujours une décision humaine au final. Si on laisse faire l’algorithme, et qu’un patient meurt, qui est responsable ? La société qui a créé l’algorithme ? L’ingénieur qui l’a conçu ? Les ingénieurs, chargées de recueillir les données sur lesquelles l’algorithme a été entraîné ? Cela pose des questions juridiques complexes. Il y aura toujours besoin d’une personne qui pèse le pour et le contre et qui accepte de prendre la responsabilité de la décision.
Par ailleurs, l’algorithme n’est pas moins biaisé qu’un individu, car il se base sur des données issues de notre société, qui sont elles-mêmes biaisées. Il est donc illusoire de penser que l’algorithme est objectif. Ce n’est donc pas en laissant faire l’algorithme que l’on va vers des décisions et donc des sociétés plus justes ou plus équitables.
Toutefois, il y a des domaines où l’interprétabilité n’est pas essentielle. Par exemple, si une plateforme de contenus vidéo recommande un film qui est mal ciblé, c’est dommage sans être vital. Pour les applications courantes, il n’est pas nécessaire de comprendre l’algorithme pour l’utiliser. Cela serait un problème pour l’entreprise si la préconisation était constamment fausse. Mais d’un point de vue de l’impact sociétal, cela ne changera pas nos vies ! En tant qu’utilisateur, nous n’avons pas envie de comprendre comment ce type d’algorithmes fonctionne. Nous souhaitons seulement qu’il soit efficace.
Comments