Handleiding Divergent Denken Test

Normering Divergent Denken Test

Bij de DDT gaat het om een normgerichte interpretatie. Dat wil zeggen dat de scores van een kandidaat worden vergeleken met de normpopulatie. De normpopulatie is bij de DDT een representatie van de hoogopgeleide beroepsbevolking van Nederland. In dit hoofdstuk wordt nader beschreven hoe de normering is uitgevoerd en hoe de normgroep is gevormd.

3.1 Normeringsonderzoek

Doelstelling
De DDT is ontwikkeld voor adviessituaties binnen de HRM praktijk. Onder advies worden allerlei vormen van loopbaanbegeleiding, carrièreadvies, beroepskeuzeadvies en coaching verstaan. Alhoewel de DDT geen intelligentie meet, is het wel een prestatietest: met andere woorden, men vult de DDT zo goed mogelijk in.

Om sample of convenience-­‐effecten (Cotan, 2010) te vermijden is daarom een onderzoek gestart met als doel een representatieve afspiegeling van de hoogopgeleide Nederlandse beroepsbevolking te verkrijgen op de kenmerken leeftijd, geslacht, opleidingsniveau en provincie.

Methode van dataverzameling
De data waarover de normering is uitgevoerd, zijn begin 2015 door een onderzoeksbureau Right verzameld door middel van een internetpanel. De werving van dit ISO-­‐gecertificeerde internetpanel geschied met zogenaamd online veldwerk, via de volgende kanalen:

  • Via traditionele dataverzamelingsmethoden
  • Aangekochte adressen
  • Via links op websites
  • Via telefonische werving
  • Via een sneeuwbalmethode onder bestaande leden
  • Via social media

Door deze verschillende methoden in te zetten wordt een zo breed mogelijk publiek aangesproken, wat de representativiteit ten goede komt. Echter, de representativiteit van onderzoek via een online onderzoekspanel kan nadelig beïnvloed worden door selectie-­‐effecten. Zo hebben sommige groepen binnen de bevolking bijvoorbeeld een betere toegang tot internet dan andere. Indien een aselecte steekproef wordt getrokken uit een online panel, dan bestaat de kans dat bepaalde groepen zijn oververtegenwoordigd (bijvoorbeeld jongeren t.o.v. ouderen). Al is het overigens de vraag hoe groot dit effect precies is, gezien het feit dat ongeveer 83% van de huishoudens tegenwoordig een internetverbinding heeft (Bethlehem, 2009).

Het grote voordeel van het gebruik van onderzoekspanels is dat er gecorrigeerd kan worden voor mogelijke vertekeningen. Steekproeven worden namelijk samengesteld op basis van de volgende demografische dimensies: geslacht, leeftijd en regio. Deze samenstelling is gelijk aan de verdeling van de Nederlandse bevolking volgens de gegevens van het CBS. De demografische kenmerken kunnen nog worden uitgebreid met kenmerken zoals inkomen, gezinssamenstelling, etniciteit en opleiding. Maar achteraf kan op deze kenmerken ook worden herwogen om mogelijke vertekeningen te corrigeren. Voor het normeringsonderzoek hebben we gestreefd naar representativiteit op de volgende kenmerken: opleiding (HBO en WO), leeftijd, geslacht en werksituatie.

De representativiteit van onderzoek via een online onderzoekspanel kan verdernadelig beïnvloed worden door zogenaamde “zelfselectieonzuiverheid”. Deze ontstaat doordat respondenten zichzelf hebben geselecteerd (aangemeld) om deel te nemen aan een online panel. Deze onzuiverheid treedt overigens niet alleen op bij online veldwerk,maar bij elke vorm van onderzoek (bijvoorbeeld bij face-­‐ to-­‐face, telefonisch of schriftelijk onderzoek). Deze onzuiverheid is niet alleen inherent aan gebruik van zogenaamde Access Panels (waarbij respondenten worden geselecteerd uit een bestand van mensen die daarvoor toestemming hebben gegeven) maar wordt ook veroorzaakt door het simpele gegeven dat responspercentages niet 100% zijn. Dus zelfs bij een aselecte steekproef uit de Nederlandse bevolking waar mensen huis aan huis worden ondervraagd vindt zelfselectie plaats omdat niet iedereen die wordt benaderd zal deelnemen aan het onderzoek.

Er kunnen ook twijfels ontstaan over de kwaliteit van de data die verkregen is bij een Access Panel. Zo vreest men voor de opkomst van ‘professionele’ respondenten, die meedoen met veel internetvragenlijsten en die alleen meedoen als een beloning wordt aangeboden (Matthijsse et al., 2012), wat de kwaliteit van de data kan beïnvloeden. Zulke ‘professionele’ respondenten, vooral gemotiveerd door de beloning, willen misschien zo snel mogelijk en met de minste moeite de vragenlijst invullen, zeker als ze lid zijn van meerdere panels (van Ossenbruggen et al., 2008). Dit zou naar voren kunnen komen in allerlei vormen van ‘response bias’, dus bijvoorbeeld alleen de extreme antwoorden kiezen, of juist altijd ‘helemaal mee eens’ (‘acquiescence’) antwoorden of steeds hetzelfde antwoord geven (‘straight-­‐lining’). Dit zal de kwaliteit van de data negatief beïnvloeden. Aan de andere kant zijn zulke ‘professionele’ respondenten geoefende invullers van vragenlijsten, wat de betrouwbaarheid van de schalen omhoog zou kunnen brengen (Chang & Krosnick, 2009). Dit zou dus een positief effect op de kwaliteit van de data kunnen hebben.

Mathhijsse et al. (2012) hebben aangetoond dat er inderdaad ‘professionele’ respondenten bestaan – die lid zijn van meerdere panels en vooral gemotiveerd worden door excentrieke beloningen– maar dat kwaliteit van data nauwelijks verschilt van meer vrijwillige respondenten. Er bleek nauwelijks verschil in betrouwbaarheden tussen deze twee groepen en inconsistente verschillen in ‘response bias’.

De mogelijke invloed van zelfselectie op de externe validiteit van online panels is ook onderzocht. Chang en Krosnick (2009) deden dit voor twee panels in de Verenigde Staten. Zij vergeleken gegevens verkregen via telefonische interviews onder een aselecte steekproef met gegevens van een Internetpanel dat gebaseerd was op een (aselecte) kanssteekproef, en een Internetpanel dat bestond uit respondenten die zichzelf hadden aangemeld. Het bleek dat de respondenten die zichzelf hadden aangemeld de beste antwoorden gaven. De telefonische interviews leverden meer data die tekenen van response bias en nondifferentiatie vertoonden, wat leidde tot een slechtere datakwaliteit. De ‘professionele’ respondent bleek juist minder gemakzuchtig. Chang en Krosnick concludeerden dan ook dat Internetdata, mits op de juiste manier verkregen, goede en bruikbare resultaten opleveren en van vergelijkbare kwaliteit zijn als data verkregen via traditionele methoden. Deze conclusie is door meerderen onderzoekers onderstreept (zie bijvoorbeeld Gosling et al., 2004).

Hieruit kunnen we concluderen dat het verkrijgen van de data via een internetpanel een goede manier van dataverzameling is, die de kwaliteit van de normgroepgegevens van de DDT niet nadelig beïnvloed heeft.

Representativiteit
Gezien het gebruiksdoel van de DDT bestond de normgroep uit mensen met HBO-­‐ of WO-­‐niveau. Het gebruik van een online onderzoekspanel heeft ons zoals hierboven beschreven in staat gesteld om een steekproef te gebruiken die representatief is voor de hoogopgeleide Nederlandse beroepsbevolking. Bij het verzamelen van data is er gestreefd naar representativiteit op de volgende kenmerken: leeftijd, geslacht en werksituatie. Er zijn gegevens verzameld van 336 personen. 21 hiervan hadden missende data, wat de N op 305 brengt. De kenmerken van deze personen zijn weergegeven in Tabel 3.1

Tabel 3.1

Kenmerken onderzoeksgroep (N=305)

N%
GeslachtMan15249.8
Vrouw15350.2
OpleidingsniveauHBO21570.5
WO9029.5
Leeftijdsgroep1,00 16-­‐24 jaar154.9
2,00 25-­‐44 jaar14146.2
3,00 44-­‐65 jaar14948.9
WerksituatieWerkzaam26985.4
Werkloos/werkzoekend4614.6
Etniciteitautochtoon26583.3
allochtoon5316.7

3.2 Beschrijving normgroep

In de volgende sectie zullen we kort de kenmerken van de normgroep (N = 305) beschrijven.

De verdeling van mannen en vrouwen over de opleidingsniveaus is gelijk (Chi2 = 0,936 df = 1, p = .333). Wel werden er leeftijdsverschillen tussen mannen en vrouwen gevonden (Chi2 = 7,275 df = 2, p = .026). Er waren meer vrouwen dan verwacht in de leeftijdsgroep 25 tot 44 jaar, en meer mannen in de groep 45 tot 65 jaar. Ook werden er verschillen gevonden in leeftijd tussen de verschillende opleidingsniveaus (Chi2 = 12,325, df = 2, p = .002): Mensen in de leeftijdscategorie 25 t/m 44 jaar waren hoger opgeleid dan verwacht. Mensen in de oudste categorie waren juist lager opgeleid dan verwacht. Mannen en vrouwen waren ongelijk verdeeld over werksituatie (Chi2 = 6,069 df = 1, p = .014): vrouwen waren vaker werkloos dan mannen. De verschillende leeftijds-­‐ en opleidingsgroepen verschilden niet van elkaar in werksituatie.

Beschrijving sectoren in de normgroep
In Tabel 3.2 wordt het aantal respondenten per sector weergegeven. De werksectoren zijn onderverdeeld in twaalf categorieën, gebaseerd op de indeling van het CBS zoals ook gehanteerd door het UWV-­‐werkbedrijf. Elke categorie is onderverdeeld in meerdere subsectoren .

Tabel 3.2

Aantal personen in normgroep per sector

SectorN%
Landbouw, bosbouw en visserij20,7
Industrie196,2
Energievoorziening10,3
Waterbedrijven en afvalbeheer10,3
Bouwnijverheid93
Handel206,6
Vervoer en opslag103,3
Horeca62
Informatie en communicatie237,5
Financiële dienstverlening165,2
Verhuur en handel van onroerend goed10,3
Specialistische zakelijke diensten196,2
Verhuur en overige zakelijke diensten51,6
Openbaar bestuur en overheidsdiensten123,9
Onderwijs4113,4
Gezondheids-­‐ en welzijnszorg6120
Cultuur, sport en recreatie134,3
Overige dienstverlening278,9
Anders196,2

 

Beschrijving allochtonen in de normgroep
In de normgroep waren 41 personen van niet-­‐Nederlandse afkomst. De indeling in etniciteit van de onderzoeksgroep is als volgt:

Tabel 3.3

Etnische achtergrond allochtone deelnemers

Respondent of een van de ouders geboren in:N
Turkije3
Europa overig17
Indonesië7
Azië overig2
Suriname4
China2
Latijns-­‐ en Zuid-­‐Amerika overig2
Australië2
Nederlandse Antillen / Aruba1
Marokko1


Beschrijving van schaalkenmerken in de normgroep
De DDT kent twee schalen: productie (aantal correcte antwoorden) en originaliteit (gemiddelde originaliteit van de antwoorden). Om een beeld te geven van de verdeling van deze schalen in de normgroep, worden in Tabel 3.4 de gemiddelden en standaarddeviaties van de schalen weergegeven. Om te bepalen of de scheefheid en kurtosis substantieel zijn voor zowel productie alsoriginaliteit een Kolmogorov-­‐Smirnovtest uitgevoerd. Deze was significant voor productie. Visuele inspectie liet ook zien dat veel mensen uit de normgroep precies acht antwoorden hadden gegeven, oftewel voor ieder item een. De verwachting is dat dit in een ‘echte’ sample niet het geval zal zijn. Zodra er meer data beschikbaar is zal dan ook een nieuwe normering plaatsvinden. De Kolmogorov-­‐Smirnovtest voor originaliteit gaf aan dat deze schaal normaal verdeeld was.

Tabel 3.4

Gemiddelde ruwe score productie en originaliteit in de normgroep (N=305)

SchaalMSDScheefheid (SD)Kurtosis(SD)
Productie15,348,5810.242 (.14)–.895 (.278)
Originaliteit3,081,180.531 (.14).858(.278)

 3.3 Gebruikte scores en normtabellen

Bij de DDT wordt er gerapporteerd op stenscores. Per schaal worden de ruwe schaalscores omgezet in stenscores. Dit zijn bij benadering normaal verdeelde scores op een schaal die loopt van 1 tot 10. Het theoretisch gemiddelde is 5.5 met een standaarddeviatie van 2, de spreiding van de ware scores is gefixeerd op 2. De schaal is symmetrisch en volgt een normale verdeling. Standaardscores, en dus ook stenscores, geven een beeld van de manier waarop een bepaalde score zich verhoudt tot het gemiddelde van alle scores.

De stenscores worden niet gelijk discreet berekend, maar als intervalscore, en alleen discreet gerapporteerd. De procedure die is gehanteerd bij het omzetten van ruwe scores naar stenscores wordt uitgebreid beschreven in van der Woud (2007), zieBijlage 1. Hieronder zullen wij echter de belangrijkste en de voor de gebruiker meest relevante punten samenvatten.

In Bijlage 2 zijn de normtabellen van de schalen opgenomen. In deze tabellen wordt voor iedere ruwe score de bijbehorende standaardscore, normscore en latente score weergegeven. Ook wordt voor de normscore een betrouwbaarheidsinterval gegeven, en voor de latente score een waarschijnlijkheidinterval.

Beperkingen normscores
In ons geval maken we gebruik van normen gebaseerd op gemiddelden en spreiding. Het voordeel van het gebruik van dit soort scores is dat deze rekening houden met de verdeling van de scores op een bepaalde schaal. Niet elke score komt namelijk even vaak voor: scores rond het gemiddelde komen veel vaker voor dan hele hoge of juist hele lage scores en volgen dus de normale verdeling. Hier wordt rekening mee gehouden door de normscore op basis van het gemiddelde en de standaardafwijking te berekenen. Bij de normale verdeling, en dus ook onze genormeerde scores, bevindt zich namelijk ongeveer 68% van de scores tussen een standaardafwijking onder het gemiddelde en een standaardafwijking boven het gemiddelde. Dit is een groot voordeel ten opzichte van het gebruik van bijvoorbeeld percentielen of decielen: bij percentielen wordt niet rekening gehouden met de verdeling van scores. Een score in het 4e deciel betekent bijvoorbeeld dat 40% van de normgroep dezelfde score heeft of lager, en dat dus 60% een hogere score heeft. Het verschil in scores tussen deciel 4 en deciel 5 zal echter veel kleiner zijn dan het verschil in scores tussen deciel 9 en 10, omdat de scores in het midden van de verdeling veel vaker voorkomen. Het gevaar is dus dat de verschillen in scores aan de uiteinden van de verdeling worden onderschat. Dit gevaar is minder aanwezig bij het gebruik van normen gebaseerd op gemiddelden en spreiding.

Zoals gezegd rapporteren we in de afgeronde latente (= geschatte ware) score als stenscore. Het nadeel van stenscores kan zijn dat het vrij grofmazig is, er zijn immers slechts tien klassen. Echter, bij het bespreken van iemands creativiteit, en zeker in adviessituaties, bieden stenscores genoeg differentiatie: het gaat erom een globaal beeld van iemands persoonlijkheid te scheppen waarbij het gaat om globale verschillen met de normgroep. Het verschil tussen sten 1 en 2 zal bijvoorbeeld in de praktijk niet zoveel uitmaken: het is duidelijk dat deze kandidaat laag scoort. Aangezien de DDT voor adviesdoeleinden bedoeld is, zullen er geen ingrijpende beslissingen genomen worden op basis van iemands score, wat zou pleiten voor een fijnmazigere rapportage.

Tot slot kunnen we zeggen dat stenscores over het algemeen makkelijk te interpreteren zijn. Nadeel kan wel zijn dat ze verward kunnen worden met schoolcijfers. In het rapport wordt echter duidelijk uitgelegd dat dit niet het geval is.