Wat elke manager moet begrijpen van data science. Zonder één regel code

Je hoeft geen data scientist te zijn. Dat is het goede nieuws.

Maar je moet wél begrijpen wat de beperkingen zijn van data science, wat je kunt verwachten, en welke vragen je als manager moet stellen. Want als je dat niet doet, neem je beslissingen op basis van claims die je niet kunt beoordelen. En dat is gevaarlijk.

Ik heb te veel vergaderingen gezeten waar een data scientist of AI-specialist een presentatie gaf met indrukwekkende getallen en mooie visualisaties, en het management knikte instemmend zonder echt te begrijpen wat er werd gepresenteerd. Dat is geen kritiek op het management. Het is een communicatieprobleem dat beide kanten moeten oplossen.

Wat data science eigenlijk doet

In de kern zoekt data science naar patronen in data die je helpen beslissingen te nemen of processen te automatiseren.

Dat klinkt simpel. En het principe is simpel. Maar de uitvoering zit vol met aannames, keuzes, en beperkingen die niet altijd zichtbaar zijn in de eindpresentatie.

Een model wordt getraind op historische data. Dat betekent dat het model de patronen uit het verleden leert. Als de toekomst op het verleden lijkt, werkt dat prima. Als de toekomst anders is dan het verleden, heeft het model een probleem dat het zelf niet signaleert.

De drie dingen die je altijd moet vragen

Als een data scientist of AI-specialist je iets presenteert, zijn er drie vragen die je altijd moet stellen. Niet omdat je de techniek wil begrijpen. Maar omdat je de kwaliteit van de beslissing wil begrijpen.

Vraag 1: Welke data gebruiken jullie, en hoe recent is die?

Een model is zo goed als de data waarop het is getraind. Als die data oud is, vertekend is, of niet representatief is voor de situatie waarvoor je het model inzet, is de output minder betrouwbaar dan de presentatie suggereert. Dit is een eerlijke vraag die elke goede data scientist kan beantwoorden.

Vraag 2: Wat zijn de gevallen waarbij het model het meest fout zit?

Elk model heeft blinde vlekken. Situaties waarbij de voorspelling systematisch slechter is. Die gevallen zijn altijd interessant om te kennen, omdat ze je vertellen wanneer je de output van het model niet moet volgen. Als een data scientist geen antwoord heeft op deze vraag, heeft hij zijn model onvoldoende begrepen.

Vraag 3: Wat kost het als het model een fout maakt?

Dit is de belangrijkste vraag, en hij is niet technisch. Als het model een vals positief geeft, wat zijn dan de consequenties? Als het een vals negatief geeft? De drempel voor actie op basis van model-output is afhankelijk van wat er op het spel staat.

Hoe je een goed gesprek voert met een data scientist

Dit is het praktische deel.

Een goede data scientist waardeert het als een manager goede vragen stelt. Het is geen teken van onkunde. Het is een teken dat je serieus neemt wat je verantwoordelijkheid is.

Vraag naar de context, niet de techniek. "Wat is de aanname die het meest impact heeft op dit model?" is een betere vraag dan "hoe werkt het algoritme?"

Vraag naar wat er misgaat. "Wanneer zouden jullie zelf de output van dit model niet vertrouwen?" laat zien dat je begrijpt dat modellen beperkingen hebben.

Vraag naar de baseline. "Hoe goed doet een mens dit probleem op dit moment, en hoe vergelijk je die prestatie met het model?" Als het model beter is dan een mens, is er een sterke reden om het te gebruiken. Als het vergelijkbaar is, moet je goed nadenken over de kosten en risico's.

Wat je NIET moet doen

Dit is even belangrijk.

Neem geen beslissing op basis van nauwkeurigheidspercentages alleen. "Het model is 94% nauwkeurig" klinkt indrukwekkend. Maar als 95% van alle gevallen dezelfde uitkomst heeft, kan een model dat altijd die uitkomst voorspelt ook 95% halen. Zonder enige waarde toe te voegen.

Laat je niet overweldigen door visualisaties. Mooie dashboards zeggen niets over de kwaliteit van de onderliggende data of het model. Ze zeggen veel over de presentatievaardigheden van het team.

Stel de "wat als dit fout is?"-vraag altijd. Niet om pessimistisch te zijn. Maar omdat de verantwoording voor een beslissing bij jou ligt, niet bij het model.

De samenwerking die het oplevert

Als managers de juiste vragen stellen en data scientists die vragen serieus beantwoorden, verandert de samenwerking.

Data scientists bouwen modellen die beter aansluiten op de werkelijkheid, omdat de manager hen heeft geholpen de werkelijkheid te begrijpen. Managers nemen betere beslissingen, omdat ze de context begrijpen in plaats van alleen de output.

Dat is de waarde van beter wederzijds begrip. Niet dat de manager code leert schrijven. Maar dat de manager begrijpt wat hij of zij gebruikt.

Tot slot

Je hoeft geen data scientist te zijn om goed samen te werken met data scientists.

Maar je moet wel bereid zijn om te begrijpen wat ze doen, wat de beperkingen zijn, en welke verantwoordelijkheid bij jou blijft. Het model adviseert. Jij beslist. Nooit andersom.

Welke beslissing in jouw organisatie wordt momenteel genomen op basis van model-output, zonder dat iemand de kwaliteit van dat model echt heeft bevraagd?