"Confondre un berger allemand avec un chien de traîneau, ce n'est pas bien grave, mais si un algorithme se trompe dans une décision aux manettes d'un avion, vous comprenez que cela peut être autrement plus dévastateur", lance l'ancienne ministre Geneviève Fioraso, aujourd'hui à la tête de l'IRT Saint-Exupéry.

L'institut de recherche technologique a lancé en 2018 un programme transatlantique (baptisé DEEL pour Dependable and Explainable Learning) entre Toulouse et le Québec pour parvenir à certifier les algorithmes utilisés par les outils d'intelligence artificielle. C'est la condition sine qua non pour convaincre les constructeurs d'intégrer l'IA dans les systèmes critiques d'un avion ou d'une voiture.

Lire aussi : Avion, voiture : Toulouse veut rendre l'IA plus fiable

"Les outils de deep learning actuellement déployés dans les jeux vidéo fonctionnent comme une boîte noire. On obtient rapidement de bonnes performances mais sans savoir pourquoi. Ce n'est pas acceptable quand on a des vies humaines entre les mains. Il faut pouvoir expliquer pourquoi l'IA a pris telle décision. Par exemple, quels pixels d'une image ont permis au système de déduire qu'il s'agit d'un chat sur l'image", explique à La Tribune en 2019 Grégory Flandin, directeur du programme et par ailleurs salarié d'Airbus.

Une nécessité pour détecter de mauvais raisonnements de la machine.

"Une étude récente a montré une IA capable à 99% de distinguer un chien d'un loup. Problème, l'outil regardait uniquement s'il y avait de la neige sur l'image", complétait Guillaume Gaudron, responsable de la stratégie autour de l'IA au sein de l'IRT.

80 chercheurs mobilisés

Depuis deux ans, le programme DEEL a mené une quarantaine d'expérimentations en mobilisant 80 chercheurs toulousains et québécois (issus de Ivado et du Criaq). Le projet a fait appel également à des partenaires industriels majeurs des deux côtés de l'Atlantique : Airbus, Thales, Safran, Continental, Renault et Scalian côté français ; Bell, CS et Bombardier côté québécois.

De premiers résultats sont nés de ces recherches. En premier lieu, un livre blanc a été publié en juin 2020 (Machine Learning in Certified Systems). Il a été réalisé par une vingtaine d'experts issus de l'IRT mais également de partenaires industriels de l'industrie du transport et de la mobilité qui s'interrogent sur la manière d'embarquer de l'IA dans les systèmes critiques.

Les chercheurs ont également développé une première boîte à outils pour mesurer l'impact des biais des algorithmes dans les décisions et voir à quel point il était possible de les contrôler. Des recherches cruciales dans la perspective de l'arrivée de voitures sans chauffeur ou d'avions plus automatisés.

"Par exemple, si vous avez une voiture qui observe des piétons, vous n'avez pas envie qu'elle prenne une décision différente si elle nous observe à Toulouse ou à Paris. Ce type d'information géographique, par exemple, nous sommes capables désormais de l'exclure de la prise de décision", avance Grégory Flandin.

Des avancées ont également été obtenues concernant la robustesse des algorithmes.

"Nous avons tous des cas pathologiques de machine learning où en modifiant très peu une image, l'algorithme confond un chat avec un grille-pain. Évidemment, ce genre de cas ne donne pas envie d'aller dans un avion qui embarque un algorithme de ce type-là. Dans DEEL, nous nous sommes attaqués à ce problème en développant à la fois un cadre théorique mais aussi applicatif, avec des algorithmes à la clé qui permettent d'optimiser notre robustesse face ce type d'attaque", poursuit le directeur de DEEL.

Grâce à leurs travaux, les chercheurs ont également pu déterminer la probabilité de défaillance d'un système d'intelligence artificielle. Les cas d'application industrielle de ces recherches sont multiples : détection de véhicule dans une image, évitement de collisions entre avions, estimation des distances de freinage des avions, mesure de la qualité des composants électroniques, etc.

Ce 17 novembre, le programme DEEL franchit une nouvelle étape en rejoignant le programme IA certifiable d'ANITI, l'institut d'intelligence artificielle de Toulouse. En réalité, les chercheurs toulousains travaillent ensemble depuis plusieurs années mais la signature d'un partenariat est venu officialiser cette collaboration. Au-delà de la collaboration avec le Québec, "des projets se dessinent également avec l'Allemagne et le Japon", a glissé Philippe Raimbault, le président de l'Université fédérale de Toulouse.

Lire aussi : ANITI : "Le début d'un nouveau cycle"