
Kan AI de kloof dichten tussen kwantitatief en kwalitatief onderzoek?
door: Wilmar Schaufeli
Deel 3: Lessen en beperkingen
Hangen open en gesloten vragen samen?
Na te hebben vastgesteld hoe de verschillende AI-systemen open antwoorden classificeren, is de volgende stap te onderzoeken in hoeverre de gevonden categorieën samenhangen met de energiebronnen uit het EnergieKompas. Om dit te testen, heb ik de correlaties berekend tussen de door het platform geïdentificeerde categorieën (die grotendeels overeenkomen met die van ChatGPT) en de 30 energiebronnen uit het EnergieKompas, die gebaseerd zijn op gesloten vragen.
De resultaten waren teleurstellend: de correlaties waren zonder uitzondering laag. Verreweg de meeste correlaties lagen onder de .10, en slechts enkele kwamen boven de 0,15 uit. De onderstaande tabel toont het aantal significante correlaties en hoeveel daarvan een waarde van 0,10 of hoger hadden. Omdat de steekproef met ruim 1.500 respondenten erg groot was, zijn zelfs correlaties van 0,05 significant, maar de praktische betekenis daarvan is nagenoeg nihil.
Categorie platform | Aantal significant | Waarvan .10 en meer | |
1 | Interactie met collega’s | 16 | 6 |
2 | Werktevredenheid | 13 | 2 |
3 | Werksfeer | 11 | 0 |
4 | Werkuitdagingen | 12 | 2 |
5 | Klantenservice | 5 | 1 |
6 | Klantentevredenheid | 0 | 0 |
7 | Resultaten en prestaties | 10 | 0 |
8 | Vrijheid en autonomie | 4 | 1 |
9 | Werkinhoud | 11 | 0 |
10 | Beloning en erkenning | 13 | 1 |
11 | Persoonlijke ontwikkeling | 5 | 0 |
.
Het aantal significante correlaties varieerde sterk: van geen enkele (klantentevredenheid) tot meer dan een derde van de energiebronnen voor andere categorieën. Toch bleken zelfs de hoogste correlaties, zoals .0,19 tussen “interactie met collega’s” en “steun van collega’s”, en 0,15 tussen “vrijheid en autonomie” en “autonomie”, beperkt in hun verklarende kracht. Zo betekent een correlatie van 0,19 dat slechts 3,6% van de variantie wordt verklaard en 96% van de verschillen dus onverklaard blijft. Het heeft dan ook weinig zin om met deze kwalitatieve categorieën verder te rekenen.
Patronen en betekenisvolle samenhangen
Bij nadere inspectie zagen we dat sommige categorieën betekenisvolle patronen vertoonden. Zo correleerde “interactie met collega’s” niet alleen significant met “steun van collega’s”, maar ook met andere indicatoren van team functioneren, zoals “sociale veiligheid”, “teamsfeer”, “teameffectiviteit” en “inclusie”. Dit suggereert dat hoewel de correlaties zwak zijn, er wel patronen in de gegevens te ontdekken zijn.
Toch blijft de conclusie dat de correlaties tussen de kwalitatieve categorieën en de kwantitatieve energiebronnen zonder uitzondering te laag zijn om als praktisch bruikbaar te beschouwen.
Inhoudelijke verschillen tussen kwalitatieve en kwantitatieve gegevens
De geringe samenhang tussen de resultaten van open vragen en de kwantitatieve energiebronnen laat zien dat het om verschillende soorten informatie gaat. Waar de 30 energiebronnen uit het EnergieKompas zeer specifiek en direct worden gemeten, geven de antwoorden op de open vraag een minder specifiek en meer subjectief beeld van wat mensen op hun werk energie geeft. Kennelijk zijn lang niet alle energiebronnen ‘top of mind’ wanneer er spontaan wordt geantwoord op een open vraag. Hoewel er enige overlap is, zijn open en gesloten vragen twee verschillende manieren van informatie verzamelen die niet volledig uitwisselbaar zijn.
Wat betekent dit voor medewerkersonderzoek?
Voor medewerkersonderzoek betekent dit dat het gebruik van open vragen, zoals die over energiebronnen, interessant kan zijn, en dat AI redelijk succesvol kan zijn in het classificeren van deze antwoorden. Echter, het heeft weinig zin om met de gegenereerde categorieën verder te rekenen. Voor diepgaande, statistische analyses zijn gesloten vragen veel geschikter. Toch kunnen open vragen waardevolle informatie opleveren over wat medewerkers spontaan als belangrijk ervaren, iets waar organisaties in hun HR-beleid rekening mee kunnen houden, bijvoorbeeld bij het binden en boeien van personeel.
In de onderstaande tabel is te zien welke energiebronnen volgens de deelnemers aan het panelonderzoek uit 2023 het vaakst spontaan genoemd werden.
Categorie | N | % | |
1 | Interactie met collega’s | 495 | 29,4 |
2 | Werktevredenheid | 254 | 15,1 |
3 | Werksfeer | 183 | 10,9 |
4 | Werkuitdagingen | 175 | 10,4 |
5 | Klantenservice | 159 | 9,5 |
6 | Klantentevredenheid | 136 | 8,1 |
7 | Resultaten en prestaties | 89 | 5,3 |
8 | Vrijheid en autonomie | 61 | 3,6 |
9 | Werkinhoud | 59 | 3,5 |
10 | Beloning en erkenning | 57 | 3,4 |
11 | Persoonlijke ontwikkeling | 13 | 0,8 |
Totaal | 1818 | 100,0 | |
12 | Geen onderwerp (restcategorie) | 426 | 20,2 |
Totaal generaal | 2107 |
.
Opvallend is dat het sociale aspect van werk (interactie met collega’s en werksfeer) veruit het vaakst genoemd werd. Daarnaast wordt tevredenheid met het werk zelf (“Werk is mijn hobby”, “Het werk dat ik doe”, “Werken aan iets dat ik interessant vind”) ook relatief vaak genoemd. Deze twee categorieën vormen samen ruim 44% van de antwoorden. Persoonlijke ontwikkeling, beloning en erkenning werden daarentegen nauwelijks genoemd als energiebron.
Conclusie: lost AI de verwachtingen in?
Hoewel AI veel potentie heeft en in staat is om categorisaties te maken op basis van open vragen, zijn de resultaten voorlopig nog onvoldoende sterk om volledig op te vertrouwen. De geringe samenhang tussen kwalitatieve en kwantitatieve gegevens benadrukt dat ze verschillende aspecten van hetzelfde onderwerp belichten. Toch blijft het aantrekkelijk om verder onderzoek te doen naar de mogelijkheden van AI, omdat de technologie steeds beter wordt en organisaties baat kunnen hebben bij inzichten die spontaan door hun medewerkers worden gedeeld. Zo blijkt het sociale aspect anno 2023 een belangrijke energiebron te zijn voor veel Nederlandse werknemers, iets waar organisaties rekening mee kunnen houden in hun beleid. Ondanks de beperkingen van AI op dit moment, is het zeker een waardevol instrument om de stem van medewerkers beter te begrijpen en tot hun recht te laten komen.