Choix du LLM et du mode d’hébergement, cadre de gouvernance, implication des métiers, sécurisation et mise en conformité… La conduite d’un projet d’IA générative doit prendre en compte un grand nombre de facteurs. Explications.
À moins que vous n’ayez passé les deux dernières années sur une île déserte, vous n’avez pu échapper au phénomène de l’IA générative. Les ChatGPT, Gemini, Claude et autres Copilot connaissent un formidable engouement grâce à leurs performances et leurs interfaces intuitives.
Tout un chacun a pu les interroger, à titre privé ou professionnel, et s’étonner de leur capacité à répondre correctement à une grande variété de sujets.
Pourtant, selon Redha Moulla, formateur et consultant indépendant en intelligence artificielle, il existe un grand décalage entre l’effet « waouh » éprouvé par l’utilisateur lambda et la difficulté à mener à bien un projet d’IA générative au sein d’une entreprise.
Car « à la différence d’autres technologies, les membres de la direction générale ont l’occasion de tester ChatGPT. Comme il répond rapidement à leurs questions, ils ne se rendent pas compte de la complexité qui se cache derrière cette impression de simplicité. »
Leurs premières interactions les poussent à croire que le déploiement de l’IA générative est aisé.
De fait, une fois passé le stade du POC (Proof of Concept, la démonstration de faisabilité), le passage à l’échelle est autrement plus compliqué. Selon une étude du cabinet Deloitte, 68 % des organisations déclarent avoir mis 30 % ou moins de leurs projets en production, un ratio particulièrement faible.
Un projet d’IA générative n’est pas un projet de machine learning
Un des principaux facteurs d’échec tient dans la nature des données exploitées. Alors que l’IA « traditionnelle », de type machine learning, utilise essentiellement des données tabulaires structurées aux formats CSV ou Excel, l’IA générative recourt à des données non structurées (textes, images, vidéos), particulièrement riches et complexes.
[Lire notre article sur la différence entre machine learning et deep learning]
« La base documentaire d’une entreprise repose sur des documents Word ou PDF, aux formats très différents, créés parfois il y a une dizaine d’années, explique Redha Moulla. Il faut les trier, supprimer les fichiers redondants, extraire les informations pertinentes. Ce travail préparatoire, long et coûteux, exigeant des manipulations manuelles, peut se révéler rédhibitoire et sceller la fin du projet. »
Autre différence : alors qu’un algorithme de machine learning doit être entraîné “from scratch”, à partir de zéro, un modèle d’IA générative arrive pré-entraîné. Cette différence change la composition des équipes mobilisées, comme le souligne Hervé Mignot, Chief AI Officer du cabinet de conseil en transformation numérique Equancy.
« Un projet d’IA générative fait appel à du prompt engineering et à des compétences IT classiques d’intégration. Ce n’est qu’à la fin, sur la phase de « fine-tuning », que l’apport des data scientists se fait sentir. »
Selon lui, beaucoup de profils techniques peuvent monter en compétences sur l’IA générative sans avoir d’expérience préalable en data science. À l’inverse, « des data scientists peuvent renâcler à l’idée de participer à des projets d’IA générative. Ils ont choisi ce métier pour concevoir des modèles avec une forte dimension statistique et préfèrent rester sur l’approche prédictive du machine learning. »
L’expert métier, le juge de paix
Alors que l’implication des directeurs métiers est un facteur clé de tous les projets informatiques, celle-ci est encore plus critique dans le domaine de l’IA générative. Un grand modèle de langage (LLM) vise en effet à optimiser, voire remodeler les processus d’un workflow de travail. « Définir les étapes du travail des personnes que l’on souhaite “augmenter” [grâce à l’IA] suppose de travailler étroitement avec les opérationnels », avance Hervé Mignot.
Notre expert prend l’exemple d’une direction commerciale qui souhaite automatiser la réponse aux appels d’offres. « Dans quels processus l’IA va-t-elle s’insérer ? Elle peut analyser le dossier de consultation, générer une note de synthèse, mais aussi aller jusqu’à apporter des éléments de réponses à partir de contenus existants. »
Pour Hervé Mignot, l’expert métier est le seul juge de paix. « C’est lui qui décide qu’un modèle d’IA est suffisamment qualitatif pour être mis en production. Le recours aux méthodes agiles permet de montrer en continu aux opérationnels les différentes itérations du projet. »
Pour fluidifier les échanges entre les développeurs du modèle et les « Ops », les équipes chargées de la mise en production, il conseille d’adopter une approche LLMOps (Large Language Model Operations). Cet ensemble de pratiques, de méthodes et d’outils permet de gérer efficacement le déploiement, le monitoring et la maintenance des LLM.
Mettre en place les bonnes pratiques du LLMOps permet, par ailleurs, d’assurer la stabilité d’un système d’IA dans le temps. « En cas de changement de version du modèle de fondation, l’application qui repose dessus ne doit pas être altérée dans son fonctionnement et ses performances, note Hervé Mignot. De même, si les données entrantes baissent en qualité, il faut s’assurer qu’elles ne vont pas dégrader le modèle. Cela peut nécessiter de repasser par un travail de qualification de la data. »
LLM ou SLM ? Propriétaire ou open source ?
Mais, avant cela, se pose le choix du modèle. Depuis le lancement de ChatGPT, la famille des LLM ne cesse de s’agrandir. On distingue les modèles propriétaires (Gemini de Google, Claude d’Anthropic…) et leurs équivalents open source (Llama de Meta, Mistral AI…). Une autre distinction s’opère également entre les grands modèles de langage (LLM), comme GPT-4 et ses 175 milliards de paramètres, et les “petits” modèles (SLM), conçus pour exécuter des tâches spécifiques.
Hervé Mignot conseille de commencer d’abord son projet d’IA générative par un LLM généraliste. Cela permet de valider la pertinence du modèle sans être bloqué par des performances bridées.
« Un SLM peut être pertinent quand le domaine abordé par le cas d’usage est suffisamment réduit. » Moins gourmand en puissance de calcul, un petit modèle présente l’avantage de réduire le coût économique et environnemental d’un projet d’IA générative. Il offre aussi une sécurisation accrue. Un SLM assistant de codage peut être installé en local sur le poste de travail du développeur, plutôt que d’être hébergé dans le cloud.
Dans tous les cas, il recommande de recourir à la technologie de la génération augmentée par récupération (RAG). Elle consiste à améliorer les réponses d’un modèle en s’appuyant sur une base de connaissances interne et jugée fiable, indépendante des données d’entrainement du LLM. Par exemple la base documentaire de l’entreprise.
Approche “as a service” ou hébergement on-premises
Vient ensuite la question du mode d’hébergement. Deux possibilités s’offrent à une entreprise. La solution la plus courante consiste à faire appel à un modèle hébergé dans le cloud, via une API. Les hyperscalers américains, Google Cloud, AWS et Microsoft Azure… mais aussi des acteurs français, comme Scaleway et OVHcloud, proposent cette approche “as a service”.
« Certaines entreprises sont réticentes à utiliser cette modalité pour des questions de sécurité et de confidentialité de leurs données », tempère Redha Moulla.
Autre solution, l’entreprise héberge un modèle de fondation open source sur ses propres serveurs (on-premises). Ce choix implique d’investir dans de la puissance de calcul ad hoc, composée de processeurs graphiques (GPU), une ressource particulièrement onéreuse. L’entreprise devra, par ailleurs, maintenir cette infrastructure dédiée sans pouvoir la mutualiser comme le font les acteurs du cloud. Un choix qui peut se révèle, là encore, particulièrement coûteux et complexe.
Sécurité, conformité et suivi post-production
Enfin, la vie d’un projet d’IA générative ne s’arrête pas à la mise en production. Il faut ensuite surveiller le modèle d’IA comme le lait sur le feu pour s’assurer qu’il ne dérive pas dans le temps et fasse l’objet d’hallucinations. Des études montrent qu’un modèle d’IA générative peut produire jusqu’à 21 % de contenus erronés ou « hallucinations », ce qui peut avoir des conséquences néfastes.
Parallèlement, des cybercriminels ont mis au point un ensemble de techniques dites de “d’injection de prompt” pour force un modèle à générer du contenu indésirable, trompeur ou toxique.
Si le modèle est réservé à un usage interne, « il faut mettre en place des garde-fous pour s’assurer que des collaborateurs n’aient pas accès à des documents non autorisés », complète Redha Moulla. Selon une enquête de Cybersecurity Ventures, 60 % des fuites de données proviennent d’acteurs internes.
Enfin, les organisations doivent anticiper les exigences de l’AI Act, le règlement européen sur l’IA qui entra pleinement en application en 2026. Pour se mettre en conformité, elles doivent dès à présent cartographier leurs modèles en production et les classer selon leur niveau de risque.
En résumé, réussir un projet d’IA générative nécessite une approche multidisciplinaire, associant compétences techniques, forte implication des métiers, attention particulière à la sécurité et à la conformité, ainsi qu’une gestion rigoureuse des ressources et des attentes.
