Kan AI de kloof dichten tussen kwantitatief en kwalitatief onderzoek? – Deel 2

Kan AI de kloof dichten tussen kwantitatief en kwalitatief onderzoek?

door: Wilmar Schaufeli

Deel 2: The Proof of the Pudding……

Analyse van een panel onderzoek

Om te onderzoeken of AI erin slaagt de kwantitatieve en kwalitatieve benaderingen te verenigen, heb ik gegevens geanalyseerd uit het tweejaarlijkse panelonderzoek naar de mentale energie van werkend Nederland[1]. Dit onderzoek wordt uitgevoerd in opdracht van Triple i Human Capital bij een representatieve steekproef van ruim 1.500 Nederlandse werknemers. De meest recente data is van 2023.

De deelnemers vulden het EnergieKompas in, waarin onder andere 30 energiebronnen worden gemeten met gesloten vragen. Een voorbeeld daarvan is de vraag: “Kan je zelf de manier bepalen hoe je jouw werk uitvoert?” (Autonomie) en “Kan je jouw collega’s om hulp vragen wanneer dat nodig is?” (Sociale steun). De antwoorden op deze vragen waren op een schaal van 1 tot 5, waarbij 1 = nooit en 5 = altijd.

Naast deze gesloten vragen werd ook een open vraag gesteld: “Wat is het meest motiverend op je werk en geeft je veel energie? Noem maximaal drie belangrijke energiebronnen voor jou.” De werknemers konden hier in hun eigen woorden op antwoorden. Dit leverde een schat aan kwalitatieve data op.

De kracht van AI in actie

Hiermee hadden we zowel kwantitatieve informatie over de 30 energiebronnen als kwalitatieve informatie over wat werknemers energie geeft. Als AI de brug kan slaan tussen deze twee benaderingen, dan zou er een duidelijke overlap moeten zijn tussen de categorieën die AI uit de open antwoorden haalt en de scores op de gesloten vragen.

Om dit te testen, vergeleek ik de resultaten van drie verschillende AI-systemen. Allereerst werd gebruik gemaakt van het AI-systeem van het vragenlijstplatform dat Triple i gebruikt. Vervolgens heb ik dezelfde dataset ook geanalyseerd met ChatGPT en NotebookLM. Het doel was om te kijken in hoeverre de drie AI-systemen dezelfde categorieën creëerden op basis van de antwoorden op de open vragen. Het zou immers problematisch zijn als de resultaten volledig afhangen van het gebruikte AI-systeem.

Resultaten van de AI-categorisering

Het platform dat door Triple i werd gebruikt classificeerde meer dan 2100 antwoorden op de open vraag. Deze resultaten heb ik vergeleken met de categorieën die ChatGPT en NotebookLM produceerden. Hieronder een tabel met de overlap tussen de systemen.

.

Analyse van de resultaten

Van de 11 categorieën die het platform gebruikte, overlappen er 8 met die van ChatGPT en 6 met die van NotebookLM. Daarnaast heeft elk van de drie AI-systemen enkele unieke categorieën geïdentificeerd. NotebookLM blijkt minder categorieën te onderscheiden dan de andere twee systemen.

Wat verder opvalt, is dat het EnergieKompas een meer gedifferentieerd beeld geeft met zijn met zijn gesloten vragen over 30 energiebronnen dan de antwoorden op de open vragen, die ongeveer een dozijn categorieën opleveren. Zo zijn sommige van die 30 energiebronnen in één enkele categorie samengenomen. Bijvoorbeeld, in de categorie “waardering” van ChatGPT valt ook een goed salaris, terwijl dit in het EnergieKompas apart van elkaar wordt gemeten.

Wat kunnen we concluderen?

Hoewel de resultaten van de AI-systemen een redelijke mate van overlap vertoonden in de categorieën die ze genereerden, zagen we ook dat de classificatie enigszins afhankelijk is van het gebruikte systeem. Dit roept de vraag op: hoe goed sluiten deze door AI gegenereerde categorieën aan bij de kwantitatieve gegevens uit het EnergieKompas? Met andere woorden, kunnen we met deze categorieën daadwerkelijk waardevolle verbanden vinden tussen de kwalitatieve en kwantitatieve informatie?

In Deel 3 gaan we dieper in op deze vraag door te onderzoeken in hoeverre de door AI gecreëerde categorieën samenhangen met de 30 energiebronnen uit het EnergieKompas. We kijken naar de correlaties en wat deze ons vertellen over de relatie tussen de open antwoorden en de gestructureerde data. Blijven de resultaten overeind, of laat de beloofde brug tussen kwalitatieve en kwantitatieve data toch te wensen over?

[1] Zie het whitepaper “De mentale energie van werkend Nederland voor, tijdens en na de Covid-19 pandemie. Een vergelijking tussen 2017, 2021 en 2023”.