‘Iedereen OK’-zelftest werd 15.000 keer ingevuld, maar nu blijkt: niemand is oké

Met deze koptitel opent De Morgen haar artikel over het online interventieplatform www.iedereenok.be, ontwikkeld door Elke Van Hoof.

Ondertussen heeft Van Hoof de bewuste zelftest reeds aangepast, maar tot gisteren was het mogelijk om vast te stellen dat er met de online vragenlijst die opgesteld werd door Van Hoof iets niet pluis was. Ook ik heb de vragenlijst uitgebreid bekeken en kwam tot dezelfde constatatie als de journalisten van De Morgen: dit klopt niet.

De vragenlijst maakt voor het overgrote gedeelte gebruik van het volgende antwoordformat:

Dit zijn klassieke 5-punts Likertschalen die de respondent in staat stellen om relatief genuanceerd te antwoorden op een heel aantal stellingen die betrekking hebben op je gedachten en gevoelens van de afgelopen week. Het resultaat van deze vragenlijst wordt uitgedrukt in een zogeheten ‘veerkrachtscore‘. Van Hoof voorziet een mooie visuele uitwerking van deze score, kwestie van de begrippelijkheid te vergroten:

Bovenstaande visualisatie geeft vier verschillende ‘resultaten’ weer, gaande van positief (uiterst links) tot negatief (uiterst rechts).

Het valt meteen op dat de manier waarop dit instrument geconstrueerd is enigszins vreemd is. Het responsformat is immers niet volledig congruent met de mogelijke resultaten of de ‘discrete categorieën’. Een ‘neutraal’ antwoord op een aantal stellingen zou eventueel nog aanleiding kunnen geven tot een non-score, maar wanneer een respondent aangeeft dat hij of zij ‘soms’ last heeft van bepaalde klachten is het niet meteen duidelijk waar deze persoon binnen de gegeven categorieën uiteindelijk zou landen.

Pas echt problematisch wordt het echter wanneer we vaststellen dat de eerste categorie, i.e. de meest positieve, schijnbaar nooit kan worden behaald. Ikzelf heb de proef meermaals op de som genomen: zelfs wanneer je bij alle stellingen aangeeft dat je geen last hebt van bepaalde klachten of symptomen, krijg je volgende boodschap te lezen:

“Je bent minder veerkrachtig geworden” – de absurditeit van deze uitspraak viel me meteen op. Hoe kan men dit in godsnaam weten aangezien ik de vragenlijst voor de eerste keer heb ingevuld? Maar nog frappanter is de vaststelling dat ik zelfs in afwezigheid van klachten of symptomen in de ‘tweede categorie’ ben beland. Dit lijkt me niet koosjer. Uiteindelijk heb ik de vragenlijst moedwillig ingevuld op alle mogelijke manieren, en heb ik de achterliggende structuur blootgelegd:

Wanneer men bovenstaande afbeelding bekijkt kan men al snel vaststellen dat hier een probleem is. Men zou op basis hiervan durven veronderstellen dat men bewust een bepaalde vertekening of bias heeft ingebouwd in de vragenlijst met als bedoeling een zo groot mogelijk aantal verwijzingen te garanderen. In vier van de vijf mogelijke scenario’s (op basis van het responsformat) wordt je verwezen naar wellweb.be, een platform dat ontwikkeld is door… u heeft het al geraden, Elke Van Hoof.

Dit is problematisch om verschillende redenen, niet in het minste omdat mensen in ieder scenario de boodschap krijgen dat er iets mis is. Het al dan niet bewust gaan problematiseren of pathologiseren is niet oké. Wanneer hier bovendien nog betalende diensten aan worden verbonden, zou men kwalijke dingen kunnen beginnen veronderstellen.

Toegegeven, het zou te wijten kunnen zijn aan een programmeerfout. Maar ik stel me toch vragen bij deze uitleg. De ontwikkeling van deze online interventietool zou klaarblijkelijk om en bij de 200.000 euro hebben gekost – voor dergelijk bedrag zou je toch een product mogen verwachten dat vrij is van dergelijke programmeerfouten. Bovendien is de vragenlijst qua testconstructie betrekkelijk eenvoudig; psychometrisch gezien is dit écht geen complexe materie. Ook dit maakt de aanwezigheid van eventuele bugs wel erg onwaarschijnlijk.

Los van eventuele programmeerfouten hangt ook de rest van de vragenlijst met haken en ogen aan elkaar. Zo wordt er bijvoorbeeld aan het begin van de vragenlijst gesproken over een cut-offscore van 6 (op 10), terwijl er verder geen instructies worden voorzien over wat deze cut-off precies betekent of hoe deze moet worden bepaald. Verder kan je je ook vragen stellen over de constructvaliditeit aangezien zij items die peilen naar veerkracht vermengt met duidelijke depressie-items (en hier en daar ook PTSS-items).

In ieder geval: ik ben benieuwd of dit verhaal nog een staartje krijgt.

 

Tags: , ,