La confusion

Le marketing, les médias, les réseaux sociaux sont des lieux dans lesquels s’opèrent facilement des confusions entre les termes. Cette imprécision peut etre involontaire par méconnaissance du domaine, ou plus généralement volontaire par croyance qu’un mot sera plus fort, plus impactant qu’un autre.

De cet amalgame entre des termes naissent des opinions publiques complétement erronées qui vont parfois jusqu’à la promulgation de lois abusivement limitatives.

Par exemple, les médias utilisent abondamment le mot « crise » qui vient du latin « crisis » et qui ne correspond qu’à la prise de décision, par exemple lors de « réunion de crise ». Mais ce que désignent les médias par « crise » c’est « le marasme », c’est-à-dire la période difficile que l’on traverse avant la prise de décision. Alors le mot « crise » sonne mieux que le mot « marasme », ça à l’air plus violent, on choisit donc celui-là, et tant pis pour la signification. Et tant pis si au lieu d’utiliser deux mots on est réduit à n’en utiliser plus qu’un et perdre ainsi de la richesse de langage. Et tant pis si on trompe le public, si on apprend des âneries aux plus jeunes.

Cela peut paraître bénin, mais il y a des circonstances ou la société tout entière se fourvoie par ce genre de confusion terminologique. C’est le cas pour la discrimination.

Le mot « discrimination »

Aujourd’hui c’est un mot qui fait peur, qui dérange. Les uns ont peur de se faire « accuser de discrimination », d’autres évoquent parfois « la discrimination » pour masquer un manque de compétence ou d’adaptation, pour ne pas se remettre en cause.

Travaillant dans le domaine de l’intelligence artificielle, je connais bien ce sujet et nombre de datascientists sont confrontés à cette hantise : mon algorithme possède-t-il un « biais discriminatoire » ?

Mais ce mot terrifiant de nos jours, n’a pas toujours été synonyme d’attitude sectaire, xénophobe ou malveillante. La discrimination est un mécanisme naturel et abondant. Le terme n’est utilisé couramment sous son assertion négative que depuis 1950.

Discriminer signifie simplement séparer ou trier sur la base de critères particuliers. Ce n’est jamais la discrimination qui est en cause, ni même la sélection du critère, mais uniquement le processus de décision qui suit l’étape de discrimination. Donc après la discrimination.

Si j’ai besoin d’aide pour déplacer une armoire, je ne vais pas appeler ma voisine Gisèle qui fait 45kg toute mouillée, je vais appeler mon voisin Loïc, prof de sport. Je discrimine mais je n’agis pas avec iniquité.

Si je suis assis dans le bus et que je vois arriver une bande d’adolescents en bonne santé je vais rester assis, mais s’il s’agit d’une femme enceinte, je vais me lever. Je discrimine de façon bienveillante. Et nous faisons tous ce genre de discrimination toute la journée.

Ici encore, on confond deux termes, « discrimination » qui est un terme anodin de catégorisation basée sur des singularités, avec « iniquité » qui véhicule le sectarisme, la xénophobie, l’injustice sous toutes leurs formes.

L’algorithme inéquitable

Pour illustrer la notion d’algorithme inéquitable, prenons un cas concret : la discrimination ethnique.

Si je créé un algorithme qui discrimine les individus selon leur couleur de peau, je suis « coupable » aux yeux de la société. Pourtant il n’y a rien qui soit réellement condamnable, la couleur de peau est un trait de personnalité comme les autres, parfaitement visible. Si l’on interroge un enfant il dira en toute innocence « ce monsieur est noir » ou « cette dame est blanche ».  Il en va de même pour l’algorithme, son seul rôle consiste à séparer une population en deux groupes, les noirs et les blancs. Pourquoi lui refuser cette innocence ?

S’il y a problème, il se situe dans le processus de décision de l’humain ou du système qui exploite la catégorisation. Mais si cette catégorisation noir ou blanc est exploitée, par exemple, par une marque de cosmétiques pour créer des produits adaptés à la couleur de peau, l’innocence est conservée d’un bout à l’autre de la chaîne. Il n’y a rien de fondamentalement critiquable.

En revanche si la catégorisation noir ou blanc est exploitée pour rejeter certaines candidatures lors d’une embauche, l’acte est tout à fait condamnable. Ce n’est pas un problème de discrimination mais d’iniquité. Ce qui permet de lever la confusion entre le mot « discrimination » et le mot « iniquité ».

Tout algorithme qui effectue une catégorisation discrimine les cas selon un ou plusieurs critères, il est donc toujours discriminatoire (au sens propre du terme). L’algorithme discriminant peut donc etre vu comme malveillant (inéquitable) ou bienveillant (équitable) en fonction de la décision prise, en fonction de l’usage fait de la catégorisation produite. Mais la « discrimination » n’est pas en cause, seule l’équité de la décision ultérieure est concernée.

L’apprentissage inéquitable

La chose se complique lorsque l’on utilise un jeu de données étiquetées comme base d’apprentissage d’un algorithme. Ici l’algorithme se comportera comme on lui a appris. Si les exemples fournis sont inéquitables alors l’algorithme héritera de cette propriété.

Hormis dans quelques cas flagrants, il est très difficile pour un datascientist de détecter un biais d’iniquité dans un jeu de données d’apprentissage. Mais à l’usage, une analyse statistique de la distribution des catégories peut faire apparaître le caractère inéquitable s’il existe.

La réciproque n’est toutefois pas vraie. Une distribution statistique en défaveur d’une catégorie n’atteste pas du caractère inéquitable de l’algorithme. En effet la sous-représentation d’une catégorie peut etre induite par un grand nombre de raisons. Si l’on reprend le cas de l’algorithme recruteur, il se peut que certaines populations soient plus réduites à la base, ou bien que les compétences cherchées soient plus rares dans la population concernée, sans qu’il y ait d’iniquité.

Dès lors il ne faut pas systématiquement fustiger l’algorithme si l’on constate qu’une catégorie est moins servie qu’une autre.

Pour lever l’ambiguïté il est possible de faire appel aux techniques suivantes :

  • un prélèvement de quelques cas pour comparaison avec des cas similaires (par exemple comparaison de deux candidatures pour un même poste)
  • une simulation d’un cas modifié au niveau de critères susceptibles d’entrainer des iniquités (par exemple un changement de pays d’étude)
  • l’exigence de la remise par l’algorithme d’une justification de sa catégorisation

La réglementation

Dans cette situation comme dans bien d’autres, la réglementation adopte une position maximaliste, qui de fait est abusive. Elle interdit tout. Pas de discrimination, on cache les signes distinctifs, les noms, les photos, tout ce qui peut etre interprété comme une source de discrimination malveillante.

La réglementation interdit tout en prônant « la voix de la sagesse ».

Mais en interdisant tout, la réglementation ne sera jamais efficace car tôt ou tard dans un processus de recrutement on se retrouvera face au candidat et le recours à « une bonne raison de rejet de la candidature » se fera jour. C’est facile de trouver une justification « bien propre » pour camoufler une iniquité.

Et en interdisant de comptabiliser les différenciants, on se prive de tout indicateur susceptible de faire apparaitre le problème au grand jour. Finalement en croyant bien faire, le législateur devient complice du forfait, c’est un comble.

En confondant « discrimination » et « iniquité », l’administration nous prive aussi d’informations pertinentes. Il y a nombre de personnes qui veulent créer de la diversité dans les équipes pour obtenir des avis différents, plus de créativité, plus de richesse dans les échanges, alors ne pas disposer des critères différenciants ou ne pas avoir le droit de les exploiter est frustrant. Chaque profil apporte ses moteurs et ses freins, constituer une équipe intelligemment en fonction du contexte et en recherchant un subtil équilibre nécessite de disposer de ces informations et de les exploiter avec bienveillance.

De plus tous ceux qui peuvent potentiellement être victimes d’iniquités, que ce soit en raison de leurs ethnie, de leur religion, de leur mœurs, de leur âge, de leur apparence physique, de leur handicap, ont dû forcément développer des qualités et des compétences bien supérieures à la barre à franchir pour pouvoir rester dans la course, car on ne leur pardonne rien. Alors n’est-il pas franchement stupide de les écarter et se priver de ces gisements de compétences et de pugnacité ? Mais pour cela il faut pouvoir les repérer ouvertement.

La différenciation

Une fois de plus, sur le plan algorithmique, l’IA différenciative peut constituer une solution bien plus intelligente que l’IA statistique. En effet s’il faut un million de photos de chats étiquetées pour qu’un algorithme de deep learning reconnaisse un chat, il suffit d’une ou deux expériences à un gamin pour reconnaitre ensuite toutes sortes de chats.

La raison est assez simple en fait, le gamin ayant vu un chat noir reconnaîtra un chat brun ou un chat tacheté car il y trouvera nombre de similitudes et quelques singularités, lesquelles constituent les premiers axes de différenciation d’une variété de chats qu’il complétera au fur et à mesure de ses observations et de ses réflexions.

C’est ce principe d’intelligence que nous mettons en œuvre dans nos processeurs d’IA différenciative. Avec peu d’exemples, mais variés, on offre à l’algorithme la capacité de comprendre une large variété de cas, y compris des cas non observés ou inédits.

Si l’on revient sur le sujet du recrutement, un recruteur physique disposant de 1000 candidats ne va pas tous les noter pour prendre les 3 meilleurs scores correspondant de fait à des candidats quasi identiques. Son client lui ferait remarquer immédiatement que sa sélection ne lui présente pas assez de diversité. Le client du recruteur veut quelques candidats bien choisis mais présentant des profils différenciés pour etre en mesure d’opérer un vrai choix et non devoir tirer au dé parmi des profils édulcorés et identiques à 99,99%.

L’algorithme d’IA réellement intelligent devra reproduire cette sélection qui consiste à analyser les différenciants pour constituer un panel de candidats suffisamment proches de la cible (critères principaux) mais aussi suffisamment variés (critères secondaires). En cherchant à élargir la variété, il y aura naturellement dans le panel des profils de différentes ethnies, régions, religions, etc. Ici la singularité devient un atout.

Utiliser intelligemment et avec bienveillance les différenciants est infiniment plus efficace que chercher en vain à les taire.

En conclusion

Nous avons vu que :

  • la discrimination est une pratique courante et tout à fait innocente contrairement à ce que l’on en dit
  • ce qui est condamnable c’est l’iniquité dans l’exploitation des différenciants et non la discrimination par elle même
  • un algorithme d’IA classique peut devenir inéquitable au travers de son jeu de données d’apprentissage
  • une expérimentation en vue de détecter des biais d’iniquité doit etre menée lors de la validation de l’algorithme après apprentissage
  • un algorithme d’IA différenciative favorise la discrimination équitable, la singularité devient même un atout
  • il est plus intelligent de constituer des panels diversifiés pour offrir un réel choix au décideur plutôt que retenir les meilleurs scores quasiment indiscernables
  • disposer publiquement des critères de différentiation présente plus d’avantages pour les populations victimes d’iniquité que de les taire (exploitation bienveillante, indicateurs d’iniquité)

Un long chemin est encore à parcourir, mais tant que l’on fera l’amalgame entre la discrimination et l’iniquité on ne pourra pas guérir.

Jean Pierre MALLE