Bedrijven halen voortdurend waarde uit data. Toch schat Gartner dat 85% van de AI-projecten nog steeds faalt. Hoe komt dat? De focus binnen projecten ligt vaak op het in productie brengen van modellen, maar dat is niet voldoende. Modellen moeten worden geïntegreerd in besluitvorming om daadwerkelijk waarde te leveren — met andere woorden, ze moeten worden geadopteerd.
Bij Borg helpen we bedrijven om het succespercentage van AI-projecten te verhogen door de niet-technische uitdagingen te managen die optreden bij de overgang van productie naar waarde.
In dit artikel delen we 5 veelvoorkomende uitdagingen bij de overgang van productie naar adoptie, en tips over hoe jouw ML-team deze kan overwinnen.
1. Modellen in productie worden niet gebruikt
We hebben veel voorbeelden gezien van bedrijven waar modellen zijn ontwikkeld en dashboards zijn gebouwd, maar waar vervolgens niemand ernaar kijkt. Vanuit het perspectief van het Data Science-team hebben ze alles goed gedaan. Hun model wordt behandeld als productie-software. Er is een gestructureerd releaseproces, voorspellingen zijn beschikbaar via een goed gedocumenteerde API, enzovoorts. Maar vanuit het bredere organisatieperspectief is er pas waarde zodra de modellen daadwerkelijk worden gebruikt. De waarde ontstaat pas bij de adoptie.
Waarde ontstaat bijvoorbeeld als het zoekteam verbeterde suggesties laadt in de zoekindex om conversie te verhogen. Of als een salesmedewerker contact opneemt met voorspelde leads en de feedback vastlegt. Of wanneer de klantenservice de personeelsplanning optimaliseert op basis van voorspelde bellast. Dus hoe komt het dat modellen vaak worden gebouwd, maar niet worden gebruikt?
De reden is dat ML-teams niet per se de vaardigheden of middelen hebben om de adoptiefase te leiden nadat hun model in productie is gebracht. In één van onze projecten wilde de financiële afdeling de kwartaalprognoses verbeteren met data. Wat bleek? Het centrale data science-team had al een voorspellend model gebouwd. Maar het werd niet gebruikt. Het bouwen en in productie brengen van het model was niet voldoende. Projectmanagement, domeinkennis over financiële controle en verandermanagement zijn nodig om de voorspelling te integreren in de bedrijfsplanning. ML-teams zouden moeten zorgen dat een “translator”-rol in projecten aanwezig is om de adoptie te begeleiden.
2. Analytics-projecten duren eindeloos
Zoals we hebben gezien, ontstaat waarde bij de adoptie. Veel ML-teams werken vooral aan complexe en risicovolle projecten die vanuit de business geweldig klinken, maar een hoge kans op mislukking hebben. Daardoor kunnen projecten eindeloos duren zonder resultaat.
We zien twee grote oorzaken van complexiteit: ten eerste de afhankelijkheid van IT en andere stakeholders voor adoptie, en ten tweede de hoeveelheid verandermanagement die nodig is bij het werken met voorspellingen.
In een van onze projecten ontwikkelden we een simpele nieuwe zoekvoorstelsuggestie. Maar om deze in productie te krijgen en conversie te meten via A/B-testing, waren we afhankelijk van vier IT-teams. Wat begon als een eenvoudige algoritmische verbetering, vereiste plots samenwerking met meerdere teams die al overbelast waren.
ML-teams zouden vooraf moeten investeren in het in kaart brengen van afhankelijkheden met andere teams. Projecten met meerdere betrokken teams zijn niet onmogelijk, maar deze complexiteit moet wel vroegtijdig worden erkend. Zorg bij dergelijke projecten dat betrokken teams zich vooraf committeren om vertraging te voorkomen.
3. ML-teams worden overspoeld met verzoeken
Machine learning-teams worden vaak overspoeld met verzoeken en vinden het lastig om de waarde ervan goed in te schatten. Dat is niet vreemd, want dat vereist diepgaand begrip van de bedrijfsimpact — iets wat buiten hun expertisegebied ligt. Teams zonder duidelijke langetermijnstrategie riskeren te werken aan projecten die weinig bijdragen aan de strategische doelen van de organisatie.
Dit leidt vaak ook tot een voorkeur voor projecten met snel resultaat. Ons advies: breng ook de langetermijnwaarde van projecten in kaart.
Bepalen wat de langetermijnwaarde kan zijn van een data science-team vereist het vertalen van de bedrijfsstrategie naar een datastrategie met ambitieuze doelen. Dit gebeurt idealiter in samenwerking met business stakeholders, bijvoorbeeld via ideatiesessies met inspirerende voorbeelden van techbedrijven. Door een AI-strategie op te stellen en een strategische roadmap te ontwikkelen, kunnen teams hun inspanningen beter richten op waardevolle projecten — in een mix van korte successen en grote sprongen.
4. Eindgebruikers worden (te) laat betrokken
In veel projecten duurt het veel te lang voordat eindgebruikers daadwerkelijk met voorspellingen werken. Toch is dit cruciaal, om drie redenen. Het verhoogt de kans op gebruik, verkort de doorlooptijd doordat je niet eerst maandenlang werkt aan modelperformance, en de feedback uit de praktijk helpt om de technische scope te bepalen.
Herkenbaar is de meeting waarin modelperformance wordt gepresenteerd aan eindgebruikers met de vraag: “is dit goed genoeg om te gebruiken?” Meestal is het antwoord: nee. Om te weten wat “goed genoeg” is, moet je werken met de voorspellingen.
In een project presenteerden we pas na 9 maanden de eerste voorspellingen aan de eindgebruikers. Tijdens het gebruik ontdekten we dat de maanden aan engineering om een ML-model te bouwen overbodig waren: een simpel ranking-algoritme had volstaan. Als eindgebruikers eerder betrokken waren, had dat de time-to-market aanzienlijk verkort en de ontwikkelkosten verlaagd.
Ons advies: richt zo snel mogelijk een feedbackloop in met eindgebruikers. Zorg ook dat voorspellingen terechtkomen op een plek waar eindgebruikers er makkelijk bij kunnen. Een model dat leads genereert voor callcentermedewerkers moet bijvoorbeeld in hun CRM-systeem geïntegreerd zijn. Als dit niet via bestaande API’s lukt, kan robotisering (RPA) een oplossing bieden.
5. Doelen van projecten zijn onduidelijk
We merken dat de doelen, scope en succescriteria van analytics-projecten vaak onvoldoende zijn gedefinieerd. Dit vermindert de focus en veroorzaakt onnodige vertraging.
ML-teams richten zich vaak uitsluitend op de voorspellingen en historische modelperformance. Als je niet uitzoomt en het succes van het project als geheel definieert, blijf je hangen in modelontwikkeling. Formuleer dus wat de voorspellingen concreet moeten verbeteren, en hoe je dat meet.
In fraudedetectie wil je natuurlijk modelperformance aantonen op historische data. Maar je wilt ook meten hoe goed het model in de praktijk wordt gebruikt. Hoeveel fraudegevallen zijn doorgestuurd naar de risicodienst? Hoeveel zijn onderzocht en hoeveel daarvan waren correct / incorrect? Zoals je ziet, hangt dit samen met eerdere punten. Eindgebruikers moeten werken met de voorspellingen. Het meten van adoptie en effectiviteit is net zo belangrijk als het meten van de kwaliteit van het model zelf.
Vraag kritisch wat het doel van een project is, en wees niet bang om projecten te stoppen als doelen te vaag zijn.
Bedankt voor het lezen van ons artikel over de uitdagingen bij analytics-projecten. We praten hier graag verder over, dus neem gerust contact op als je meer wilt weten!
Namens Borg Consulting: Eric Prinsen en Eric van der Knaap.