RGPD et explicabilité des algorithmes d'IA : comment humaniser les décisions artificielles ?

Les droits de la personne à une explication humaine

La dernière fois que vous avez obtenu un crédit, avez-vous demandé à votre banque comment elle avait pris sa décision, exigé qu’elle soit confirmée par une personne humaine, et que vous puissiez la contester, comme le RGPD vous y autorise ?

Comme je l’écrivais dans l’article « et si on commençait par la fin ? » la question de l’explicabilité d’un algorithme d’IA dépend de l’acteur concerné par l’algorithme, et de ses finalités.

Pour la personne directement impactée par une décision, la question de l'explicabilité est moins technique qu’humaine. Voire psychologique.

Le RGPD vous donne donc le droit de demander des explications, que vous souhaiterez exercer surtout en cas de résultat perçu comme négatif ou discriminant. L’article du RGPD qui décrit votre droit vaut la peine d’être cité, car il mériterait lui aussi quelques explications, sinon une exégèse. Si vous êtes curieux, c’est ici : https://www.cnil.fr/fr/reglement-europeen-protection-donnees/chapitre3#Article22

Explications, vraiment ?

Si donc votre conseiller bancaire (guidé par un programme d'IA) refuse de vous octroyer un crédit, il vous doit des explications compréhensibles par un non-expert, c’est-à-dire qu’il doit vous donner les moyens de comprendre la décision prise à l’aide de l’algorithme utilisé.

Voici quatre explications possibles parmi tant d’autres :

1. Votre mensualité dépasse 35 % de vos revenus mensuels moyens ;
2. Vous avez eu plus de 40 jours de solde négatif sur votre compte l’an dernier ;
3. Les variables qui ont eu le plus d’impact sur la décision ont été votre âge et le fait que vous soyez en CDD ;
4. Parmi les 472 personnes ayant un profil similaire au vôtre à qui nous avons accordé un crédit du même type, une majorité n’a pas été en mesure de le rembourser ;
5. Votre indice de risque crédit (IRC) est supérieur à 50.

Il y a de fortes chances que vous acceptiez directement les 2 premières « explications ». Les deux suivantes aussi, si elles sont bien amenées. En sera-t-il de même pour la cinquième ?

Règles et justifications

Ce qu’il y a de commun entre les 5 exemples… c’est que ce ne sont pas vraiment des explications. Les 2 premières sont des règles (celles que votre banquier appliquait avant l’avènement de l’IA) voire des règlementations, si elles s’appliquent dans votre cas. Les 2 suivantes sont des justifications a posteriori, car il n’est pas possible de retrouver la séquence de micro-décisions prise par l’algorithme, et qui prend en compte de très nombreuses interactions entre des variables corrélées entre elles.

La dernière "explication" est bien sûr imaginée, mais quand le recours à l'IA sera la norme dans les prises de décision, l'IRC, aujourd'hui fictif, deviendra peut-être aussi familier à tous que le QI ou l'IMC (Indice de Masse Corporelle), déjà utilisés respectivement dans les processus d'embauche et le calcul d'assurance crédit. Et nous trouverons sur Internet des sites du type "calcule ton IRC", ainsi que des normes ISO pour le définir.

La question n’est donc pas de fournir au client une explication de la démarche de décision, mais une argumentation règlementaire ou analogique et bientôt symbolique qui le convaincra d’accepter la décision :

Alors, si vous êtes à la place du décideur, après avoir installé avec succès une solution IA d'octroi de crédit, comment faire pour ne pas vous mettre à dos votre client, la CNIL ou les deux à la fois ?

Simplifier, rassurer, accompagner

Ne jetez pas votre système à base de règles

Dans un grand nombre de cas, votre système à base de règles donnera les mêmes résultats qu’un algorithme d’IA. Faites tourner les deux solutions, et si elles donnent les mêmes résultats négatifs, expliquez-les par les règles de la première, portées à connaissance de vos clients auparavant.

Utilisez votre connaissance client (pas seulement vos bases de données)

Dans les quelques cas où le système d’IA est plus sévère que le système à base de règles, profitez-en pour essayer de comprendre en profondeur votre client, ses enjeux et son contexte, et prenez si vous le pouvez une décision humaine (en arbitrant entre les deux systèmes d’aide à la décision).

Donnez-lui des perspectives

Si possible, proposez des solutions alternatives à votre client, ou des actions à réaliser -car son cas est sans doute « limite »- en simulant d’autres valeurs dans la solution IA pour savoir quels paramètres font basculer la décision, par exemple avec une méthode LIME  (Locally Interpretable Model-agnostic Explanation).

Dans tous les cas, ce sont les situations où les deux systèmes ont un avis contraire qui vous permettront d’acquérir une connaissance plus fine des mécanismes de risque de crédit.

Notes :

1. Le but de cet article n’est pas de se substituer aux méthodologies et technologies XAI d’explicabilité des algorithmes IA, mais de poser des questions sous-jacentes afin de tracer un chemin d’actions en fonction du contexte.
2. Ce qui vaut pour l'attribution de crédit (ici simplifiée pour en faire un cas binaire acceptation/refus) vaut pour l'embauche d'un salarié, la location d'un logement, etc.

Marc de Fouchécour - Advisor