Keuze van LLM en hostingmodus, bestuurskader, betrokkenheid van het bedrijf, beveiliging en compliance... Er zijn een groot aantal factoren waarmee rekening moet worden gehouden bij het uitvoeren van een generatief AI-project. Hier volgen enkele verklaringen.
Tenzij je de afgelopen twee jaar op een onbewoond eiland hebt doorgebracht, kan het je niet ontgaan zijn dat het fenomeen generatieve AI de kop opsteekt. ChatGPT, Gemini, Claude en Copilot maken allemaal een enorme impact dankzij hun prestaties en intuïtieve interfaces.
Iedereen heeft de kans gehad om hen te ondervragen, privé of professioneel, en zich te verbazen over hun vermogen om correct te reageren op de meest uiteenlopende onderwerpen.
Maar volgens Redha Moulla, een onafhankelijke trainer en consultant in kunstmatige intelligentie, Er is een enorme kloof tussen het 'wow'-effect dat de gemiddelde gebruiker ervaart en de moeilijkheid om een generatief AI-project tot een goed einde te brengen. binnen een bedrijf.
Auto "In tegenstelling tot andere technologieën hebben leden van het senior management de mogelijkheid om ChatGPT uit te proberen. Omdat het snel reageert op hun vragen, realiseren ze zich niet de complexiteit die schuilgaat achter de indruk van eenvoud.
Door hun eerste interacties denken ze dat generatieve AI gemakkelijk in te zetten is.
Sterker nog, zodra je het POC (Proof of Concept)-stadium voorbij bent, opschalen is veel ingewikkelder. Volgens een onderzoek door Deloitte, 68 % van de organisaties zegt dat ze 30 % of minder van hun projecten in productie hebben genomeneen bijzonder lage verhouding.
Een generatief AI-project is geen machine-leerproject
Een van de belangrijkste redenen voor mislukking is de aard van de gebruikte gegevens. Terwijl 'traditionele' AI voor machinaal leren voornamelijk gebruikmaakt van gestructureerde gegevens in tabelvorm in CSV- of Excel-formaat, is deGeneratieve AI maakt gebruik van ongestructureerde gegevens (tekst, afbeeldingen, video), die bijzonder rijk en complex zijn.
[Lees onze artikel over het verschil tussen machine learning en deep learning]
"Het documentenbestand van een bedrijf is gebaseerd op Word- of PDF-documenten in zeer verschillende formaten, waarvan sommige tien jaar geleden zijn gemaakt, legt Redha Moulla uit. Ze moeten worden gesorteerd, overbodige bestanden verwijderd en relevante informatie geëxtraheerd. Dit voorbereidende werk, dat tijdrovend en kostbaar is en handmatige handelingen vereist, kan onbetaalbaar blijken en het einde van het project betekenen.. »
Een ander verschil is dat een algoritme voor machinaal leren vanaf nul moet worden getraind, een generatief AI-model komt voorgetraind aan. Dit verschil verandert de samenstelling van de betrokken teams, zoals Hervé Mignot, Chief AI Officer van digital transformation consultancy Equancy, aangeeft.
"Een generatief AI-project vereist snelle engineering en traditionele IT-integratievaardigheden. Pas aan het einde, tijdens de finetuningfase, wordt de bijdrage van datawetenschappers voelbaar.
Naar zijn mening, veel technische profielen kunnen hun vaardigheden in generatieve AI ontwikkelen zonder enige eerdere ervaring in datawetenschap. Omgekeerd " Datawetenschappers schrikken misschien terug voor het idee om deel te nemen aan generatieve AI-projecten. Ze hebben dit beroep gekozen om modellen te ontwerpen met een sterke statistische dimensie en houden het liever bij de voorspellende benadering van machine learning".
De handelsexpert, de vrederechter
Overwegende dat De betrokkenheid van business managers is een belangrijke factor in alle IT-projecten en is zelfs nog belangrijker op het gebied van generatieve AI. Het doel van een groot taalmodel (LLM) is om workflowprocessen te optimaliseren of zelfs opnieuw vorm te geven. " Het definiëren van de fases in het werk van mensen die je wilt 'vergroten' [met behulp van AI] betekent nauw samenwerken met operationeel personeel. »zegt Hervé Mignot.
Onze expert neemt het voorbeeld van een verkoopafdeling die de reactie op offerteaanvragen wil automatiseren. " Bij welke processen wordt AI betrokken? Het kan het raadplegingsdossier analyseren, een samenvatting genereren, maar ook antwoorden geven op basis van bestaande inhoud.
Voor Hervé Mignot, de handelsexpert is de enige rechter van de vrede. "Hij is degene die beslist dat een AI-model van voldoende kwaliteit is om in productie te worden genomen. Het gebruik van agile methoden betekent dat we de operationele medewerkers voortdurend de verschillende iteraties van het project kunnen laten zien.
Om uitwisselingen tussen de ontwikkelaars van het model en de "Ops", de teams die verantwoordelijk zijn voor het in productie nemen, te vergemakkelijken, Er wordt een LLMOps-aanpak (Large Language Model Operations) aanbevolen.. Deze set van praktijken, methoden en tools maakt het mogelijk om de inzet, het monitoren en het onderhoud van LLM's effectief te beheren.
Het implementeren van best practices voor LLMOps helpt ook om de stabiliteit van een AI-systeem in de loop der tijd te garanderen. " In het geval van een versiewijziging van het foundationmodel mogen de werking en prestaties van de applicatie die erop is gebaseerd niet worden gewijzigd.noteert Hervé Mignot. Ook als de kwaliteit van de binnenkomende gegevens daalt, moeten we ervoor zorgen dat dit het model niet verslechtert. Dit kan betekenen dat we terug moeten naar de tekentafel om de gegevens te kwalificeren.
LLM of SLM? Bedrijfseigen of open source?
Maar eerst is er de keuze van het model. Sinds de lancering van ChatGPT is de LLM-familie blijven groeien. Er zijn propriëtaire modellen (Google's Gemini, Anthropic's Claude, etc.) en hun open source equivalenten (Meta's Llama, Mistral AI, etc.). Er is ook een onderscheid tussen grote taalmodellen (LLM's), zoals GPT-4 en zijn 175 miljard parameters, en 'kleine' modellen (SLM's), ontworpen om specifieke taken uit te voeren.
Hervé Mignot adviseert om je generatieve AI-project te beginnen met een generalistische LLM. Zo kan de relevantie van het model worden gevalideerd zonder gehinderd te worden door beperkte prestaties.
"Een SLM kan relevant zijn als het domein waarop de use case betrekking heeft voldoende klein is. "Een klein model vergt minder rekenkracht en heeft het voordeel dat het de economische en milieukosten van een generatief AI-project verlaagt. Het biedt ook meer veiligheid. Een SLM-coderingsassistent kan lokaal worden geïnstalleerd op het werkstation van de ontwikkelaar, in plaats van te worden gehost in de cloud.
In alle gevallen wordt het gebruik aanbevolen van Recovery Augmented Generation (RAG)-technologie. Het bestaat uit het verbeteren van de reacties van een model door te vertrouwen op een interne kennisbank die betrouwbaar wordt geacht en onafhankelijk is van de LLM-trainingsgegevens. Bijvoorbeeld de documentendatabase van het bedrijf.
Als een dienst" of hosting op locatie
Dan is er nog de kwestie van hosting. Er zijn twee mogelijkheden voor een bedrijf. De meest gebruikelijke oplossing is het gebruik van een model dat in de cloud wordt gehost, via een API. De Amerikaanse hyperscalers, Google Cloud, AWS en Microsoft Azure... maar ook Franse spelers, zoals Scaleway en OVHcloud, bieden deze "as a service" benadering aan.
" Sommige bedrijven zijn terughoudend om deze methode te gebruiken om redenen van gegevensbeveiliging en vertrouwelijkheid", modereert Redha Moulla.
Een andere oplossing is dat het bedrijf een open source foundation-model host op zijn eigen servers (on-premises). Hiervoor moet worden geïnvesteerd in rekenkracht. ad hocDit is een bijzonder dure bron. Bovendien zal het bedrijf deze specifieke infrastructuur moeten onderhouden zonder deze te kunnen poolen zoals cloudspelers doen. Nogmaals, dit kan een bijzonder dure en complexe keuze zijn.
Veiligheid, naleving en controle na de productie
Tot slot eindigt het leven van een generatief AI-project niet wanneer het in productie gaat. Het AI-model moet dan gemonitord worden als melk op het vuur om ervoor te zorgen dat het in de loop van de tijd niet afdrijft en het onderwerp wordt van hallucinaties. Studies tonen aan dat een generatief AI-model tot 21 % aan foutieve inhoud of "hallucinaties" kan produceren, wat schadelijke gevolgen kan hebben.
Tegelijkertijd hebben cybercriminelen een reeks zogenaamde "prompt injection" technieken ontwikkeld om een sjabloon te dwingen om ongewenste, misleidende of giftige inhoud te genereren.
Als het model alleen voor intern gebruik is, "Er moeten voorzorgsmaatregelen worden genomen om ervoor te zorgen dat werknemers geen toegang hebben tot onbevoegde documenten. "voegt Redha Moulla toe. Volgens een onderzoek van Cybersecurity Ventures is 60 % van de datalekken afkomstig van interne bronnen.
Tot slot moeten organisaties anticiperen op de vereisten van de AI Act, de Europese verordening over AI die in 2026 volledig van kracht wordt. Om hieraan te voldoen, moeten ze nu hun modellen in productie in kaart brengen en deze classificeren op basis van hun risiconiveau.
Samengevat vereist een succesvol generatief AI-project een multidisciplinaire aanpak, waarbij technische vaardigheden, sterke betrokkenheid van het bedrijf, bijzondere aandacht voor beveiliging en compliance en rigoureus beheer van middelen en verwachtingen worden gecombineerd.
