IA générative d'entreprise : Au-delà de l'appel API - les compétences indispensables [article 3/5]

*IA customisée : construire une solution basée sur une ou plusieurs IA dans son SI comme une application « maison » qui s’appuie sur ses données. Les IA utilisées peuvent exploiter ou non des données spécifiques. Elle se différentie de l’IA embarquée qui est proposée nativement comme une fonctionnalité par les éditeurs des solutions logicielles.

L'apparente simplicité d'intégration de l'IA générative est trompeuse. Trois lignes de code suffisent pour appeler l'API d'OpenAI ou d'Anthropic. Cette facilité technique crée une illusion dangereuse : celle qu'intégrer l'IA en production ne serait qu'une question de développement classique. Cette approche "plug-and-play" peut fonctionner pour des démonstrateurs et permettre de produire rapidement des preuves de concept (POC), mais elle masque des défis qui peuvent compromettre la viabilité à long terme de tout projet d'industrialisation.

L'erreur fondamentale consiste à appréhender ces technologies avec des méthodologies inadaptées.

La nature fondamentalement différente des applications IA

L'erreur fondamentale consiste à appréhender ces technologies avec des méthodologies traditionnelles. Jérôme MOLLIER-PIERRET, directeur offres innovation chez Talan, est formel : "Les applications d'IA ne se comportent pas comme des logiciels traditionnels ; leur nature est évolutive et leur performance, non garantie. Une architecture microservices est une réponse nécessaire mais incomplète : elle gère l'enveloppe, mais pas l'incertitude du moteur algorithmique. La véritable maîtrise vient de la compréhension profonde de ce que ces technologies permettent de faire et de ne pas faire, tout autant que connaitre quelles sont les limites des modèles utilisés".

Le premier défi que rencontre toute entreprise qui industrialise l'IA est celui que nous avons détaillé dans l’article « Anticiper le Cycle de Vie des Modèles pour ne pas Bâtir sans Fondation » : l'évolution constante du cycle de vie des modèles. Les modèles état de l'art et leur disponibilité évoluent en permanence, avec des conséquences directes et potentiellement dévastatrices sur vos services en production.
Cette maîtrise approfondie ouvre par exemple la porte à des choix stratégiques éclairés, notamment l'utilisation de modèles "open parameters". Ces modèles peuvent être entraînés ou affinés (fine-tuning) sur vos données métiers permettant de créer un actif unique.

L'industrialisation de l'IA générative personnalisé impose de repenser les méthodologies de développement pour intégrer les spécificités de l'IA, une formation approfondie des équipes à ces nouvelles technologies, et enfin l'adaptation des processus de test et de validation à leur nature probabiliste.

Comment franchir la "barrière des 80%" en production

La majorité des projets d'IA atteignent facilement la phase de POC, mais échouent à franchir ce palier dès lors qu’il faut passer à l’échelle ou en environnement de production. Presque quatre projets sur cinq sont dans ce cas comme plusieurs études le confirment *.
Arnaud DELERUYELLE, Docteur en Intelligence Artificielle, explique ce phénomène : "Le passage à l'échelle des applications d'IA ne suit pas une courbe linéaire d'effort. Les derniers 20% de qualité représentent souvent 80% de l'effort total. Cet investissement réside principalement dans la mise en place de systèmes de contrôle, d'évaluation et d'amélioration continue."

Phase 1 : Établir un système d'évaluation rigoureux.
Contrairement aux applications traditionnelles où les tests unitaires suffisent, l'IA requiert des jeux de tests métier annotés par des experts. Cette annotation humaine reste l'étalon-or pour établir la vérité terrain sur laquelle calibrer ensuite des évaluations automatisées, comme nous le verrons dans l’article « Alignement et Explicabilité - Les fondements de la confiance ».

Phase 2 : Mettre en place une architecture en couches de contrôle.
Plutôt que de laisser le modèle répondre directement aux utilisateurs, on intercale des mécanismes de contrôle dans le pipeline applicatif : pré-traitement des données, génération de données synthétiques, augmentation contextuelle avec des données fiables via RAG (Retrieval-Augmented Generation), détection de tonalité inappropriée, datamasking, re-ranking … 
Cette approche ajoute des "garde-fous" permettant de compenser les faiblesses intrinsèques des modèles génératifs, comme les hallucinations tout en capitalisant sur leurs forces.
Ces mécanismes de contrôle s'intègrent dans le cadre d’une gestion global et long terme du projet que nous décrivons dans l’article « Du Shadow AI au MLOps - Comment Reprendre le Contrôle ».

Phase 3 : Construire une boucle d'amélioration continue.
Les erreurs détectées en production doivent alimenter un processus d'enrichissement du jeu de test ou de fine-tuning progressif du modèle. Cette boucle transforme chaque échec en opportunité d'apprentissage, permettant au système de s'améliorer dans la durée. 

Phase 4 : L'accompagnement utilisateur, un facteur de réussite critique
Un aspect souvent négligé de la confiance concerne l'accompagnement des utilisateurs finaux. Arnaud DELERUYELLE souligne : "La formation des utilisateurs sur les capacités réelles et les limites du système est cruciale. Une IA perçue comme infaillible génère invariablement de la méfiance à la première erreur. À l'inverse, une compréhension claire de ses forces et faiblesses permet une utilisation plus efficace et une tolérance appropriée face aux imperfections."

Les compétences indispensables : au-delà du développement classique

Pour mettre en œuvre cette méthodologie, votre organisation doit développer ou acquérir un ensemble de compétences qui dépasse largement le périmètre du développement logiciel traditionnel.
L'architecture des systèmes distribués constitue la première compétence clé. Un système d'IA en production est par nature distribué : appels API vers des modèles externes, bases de données vectorielles pour le RAG, services de monitoring, files d'attente pour gérer les pics de charge. Maîtriser cette complexité requiert une expertise DevOps avancée.

La science des données et les méthodes d’ingénierie spécifiques aux projets d’IA (MLOps) forment le deuxième pilier. Évaluer un modèle, détecter les dérives, orchestrer des pipelines de réentraînement, gérer des registres de modèles versionnés : ces tâches exigent des compétences à l'intersection du machine learning et de l'ingénierie logicielle. Comme nous le détaillons dans l'article 5 le passage du DevOps au MLOps est un chemin balisé qui capitalise sur l'expérience acquise avec le cloud.

L'expertise métier pour définir des métriques pertinentes constitue le troisième pilier, souvent négligé. Il faut traduire les objectifs business en indicateurs mesurables : taux de résolution au premier contact pour un chatbot, conformité réglementaire pour un assistant juridique, cohérence terminologique pour un traducteur spécialisé. Cette traduction requiert une collaboration étroite entre data scientists et experts métier.

Pour votre DSI, cela signifie que développer une application IA nécessite une équipe combinant expertise en architecture logicielle, science des données et compréhension approfondie des technologies d’Intelligence Artificielle.

L'industrialisation de l'IA générative est une discipline d'ingénierie logicielle à part entière. Les compétences requises englobent de nombreuses compétences techniques et une expertise métier pour définir des métriques pertinentes. L'appel API n'est que la porte d'entrée ; le succès à long terme dépend de votre capacité à maîtriser ce qui se passe sous la surface.

* https://www.rand.org/pubs/research_reports/RRA2680-1.html
* https://www.bcg.com/publications/2024/wheres-value-in-ai

GLOSSAIRE

Pipeline applicatif : Séquence automatisée d'étapes de traitement qui transforment des données d'entrée en résultat final. Dans l'IA, il s'agit de l'enchaînement de plusieurs opérations (collecte, prétraitement, analyse, génération, …) pour produire une réponse.

Données synthétiques : Données artificielles générées par des algorithmes plutôt que collectées dans le monde réel. Elles permettent d'entraîner des modèles d'IA tout en préservant la confidentialité ou en compensant un manque de données réelles.

RAG (Retrieval-Augmented Generation) : Techniques qui combinent la recherche d'informations dans une base de documents avec la génération de texte par IA. Le modèle recherche d'abord des informations pertinentes, puis les utilise pour formuler une réponse plus précise et factuelle.

Datamasking : Technique de protection des données sensibles qui consiste à masquer, remplacer ou anonymiser des informations confidentielles ou limités par la règlementation dans leurs usages (noms, adresses, numéros)

Re-ranking : Processus de réorganisation des résultats de recherche selon leur pertinence. Après une première recherche, un algorithme affine le classement pour présenter en priorité les résultats les plus adaptés à la requête de l'utilisateur.

Hallucinations : Phénomène où un modèle d'IA génère des informations fausses, inventées ou sans fondement, tout en les présentant avec assurance comme si elles étaient vraies. C'est l'une des principales limites des modèles génératifs.

Données vectorielles : Représentation numérique de l'information sous forme de tableaux de nombres (vecteurs) qui capturent le sens et les caractéristiques des données. Elles permettent à l'IA de comparer et rechercher des informations par similarité sémantique plutôt que par simple correspondance de mots.