La preuve de concept ou POC est l’opération qui consiste à expérimenter un produit sur un environnement réduit afin de valider un concept porté par le produit.

Lorsque le produit est une machine apprenante, la POC peut ne pas être représentative.

La machine apprenante revêt un comportement qui dépend de son apprentissage en termes de volume de données soumises, variété et actualité des données. Dans le cas d’une POC, le volume, la variété et l’historique peuvent être différents du futur fonctionnement opérationnel. or la machine apprenant présente deux seuils de volumes de données fondamentaux qu’il faut prédéterminer avant de conduire la POC.

  • le seuil alpha correspond au volume minimal pour que l’IA puisse apprendre le jeu de données, cela depend de la nature de l’algorithme, de son paramétrage. Par exemple du nombre minimal de cas pour constituer une catégorie.
  • le seuil beta est le seuil a partir duquel l’accroissement du volume de données n’apporte pas de qualité supplémentaire à l’apprentissage.

si l’on se situe sous le seuil beta, la POC n’est pas représentative.

La croissance de la pertinence de l’IA en fonction du volume de données est une courbe sigmoïdale, si l’on compare deux solutions lors d’une POC, avec le même volume de données et que l’une se situe sous son seuil beta, alors elle sera mécaniquement défavorisée et l’on risque d’écarter la solution la plus pertinente.

Si la variété des données est réduite volontairement pour mener une POC, par exemple en se concentrant sur une famille de cas, on risque de constater une pertinence de l’algorithme bien supérieure à celle qui sera constatée en phase d’exploitation.