Handleiding Intellectuele Capaciteitentests

3. De Capaciteitentest Verbale Analogieën

In dit hoofdstuk wordt allereerst de ontwikkeling van de capaciteitentest Verbale Analogieën behandeld. Verderop in dit hoofdstuk wordt ingegaan op de interpretatie van de resultaten van de test en de afname instructie.

3.1 Ontwikkeling

De ontwikkeling van deze test is begonnen met de ontwikkeling  van een 80-tal items. Uitgangspunt hierbij is een bestaand format voor capaciteitentests op HBO / WO- niveau geweest. Deze lijst met 80 items is voorgelegd aan een groep van 24 personen. Bij het invullen van deze test hielden de personen de tijd bij die zij per opgave nodig hadden. Op deze manier kon een inschatting gemaakt worden van de benodigde tijd voor deze test.

Van deze groep was 50% man en 50% vrouw. De gemiddelde leeftijd van deze groep was 33 jaar. De resultaten van deze personen zijn aan de hand van SPSS 10.1 geanalyseerd. Van ieder van de items in deze lijst zijn de itemdifficulty  en item-discriminability berekend. De itemdifficulty wordt uitgedrukt in p-waarde. Deze waarde geeft aan welke proportie van de personen die de test hebben gemaakt het betreffende item correct hebben beantwoord. De itemdiscriminability wordt uitgedrukt als Rbis. Deze waarde geeft aan in hoeverre de score op een bepaald item samenhangt met de uiteindelijke totaal score op de test. De verwachting is dat personen met een hoge intelligentie meer items goed hebben dan mensen met een lage intelligentie. Wanneer dus personen met een lage totaalscore op de test een bepaald item beter maken dan personen met een hoge totaalscore op de test dan kan men stellen dat het desbetreffende item niet goed discrimineert tussen hoge en lage intelligentie en dus geen goed item is.

Bij de berekening van de Rbis is uitgegaan van een normale verdeling van het te meten construct, in dit geval verbaal-analytisch vermogen.  Dit uitgangspunt is bepalend voor de keuze van formule aan de hand waarvan de Rbis berekend wordt en in het verlengde hiervan dus voor de samenstelling van volgende versies van de test.

Items met een p-waarde hoger dan 0.90 (te makkelijk) of een p-waarde lager dan 0.10 (te moeilijk) zijn uit de lijst verwijderd. Tevens zijn items met een lage Rbis uit de lijst verwijderd. Dit laatste is gedaan omdat de score op deze items een te geringe relatie hebben met de totaal score op de test. Uiteindelijk bleef een lijst van 32 item over. De na deze analyse-ronde ontstane lijst van 32 items is voorgelegd aan een groep van 111 personen. De gemiddelde leeftijd van deze groep was 27 jaar. Van deze groep was 34% man en 66% vrouw.

Het opleidingsniveau van deze groep was als volgt verdeeld:

Tabel 1: opleidingsniveau

OpleidingsniveauAantal
WO5%
HBO24%
VWO8%
HAVO19%
MBO21%
MAVO14%
LBO9%
Totaal111

Grafiek 1 geeft een overzicht van de verdeling van de totaalscores die behaald zijn op de test Verbale Analogieën. Uit deze grafiek is ons inziens te concluderen dat de scores voldoende normaal verdeeld zijn om het gebruik van de Rbis-formule die uitgaat van een normale verdeling te rechtvaardigen. Ook is uit de grafiek op te maken dat de gemiddelde goedscore van deze groep van 111 personen 18.8 opgaven is met een standaarddeviatie van 4.26.

In een volgende analyse-ronde zijn de resultaten van deze groep aan de hand van SPSS 10.1 geanalyseerd. Wederom zijn de p-waarden (item-difficulty) en de Rbis (item-discriminability) berekend. Items met p-waarden hoger of gelijk aan 0.90 (te makkelijk) en items met p-waarden lager dan 0.10 (te moeilijk) zijn uit de lijst verwijderd. Dit waren respectievelijk items met p-waarden 0.91(2 items); 0.90; 0.05; 0.06 en 0.08. Vervolgens zijn items met een Rbis van 0.33 en lager uit de lijst verwijderd. Dit waren items met Rbis van 0.18 (2 items) 0.22; 0.26; 0.31; 0.33. Na deze analyses bleef uiteindelijk een lijst met 24 items over.

Tabel 2: opname items versie 2 in versie 3 Verbale Analogieën

Vraagnr.RbisPOpgenomen in versie 3
250.490.05Te  moeilijkNee
310.680.06Nee
30-0.030.08Nee
320.550.16P 0.10 – 0.30Ja
290.460.32P 0.31 – 0.50Ja
220.180.33Nee
230.560.33Ja
150.400.41Ja
240.660.41Ja
260.440.48Ja
140.180.50Nee
120.420.50Ja
180.390.52P 0.51 – 0.70Ja
160.420.57Ja
270.670.65Ja
100.360.66Ja
280.470.66Ja
110.410.68Ja
90.500.71P 0.71 – 0.90Ja
210.330.72Nee
40.310.73Nee
130.630.75Ja
170.260.76Nee
20.220.78Nee
30.530.80Ja
10.460.82Ja
190.660.84Ja
50.540.87Ja
60.690.88Ja
80.430.90Te gemakkelijkNee
200.550.91Nee
70.790.91Nee

De normgroep waarop de rapportage in de Toolkit gebaseerd is, is voorlopig gedestilleerd uit de groep van 111 personen die de 32-item versie hebben ingevuld. Specifieke gegevens met betrekking tot de Toolkit-versie van 24 items was op het moment van dit schrijven nog niet voorhanden. Wanneer dit voorhanden is worden deze gegevens aangevuld. Tevens zijn er op het moment van dit schrijven nog niet voldoende gegevens voorhanden om specifieke normgroepen voor verschillende opleidingsniveaus te genereren. Er is nu nog sprake van een algemene normgroep. Wanneer er voldoende gegevens beschikbaar zijn zullen de volgende normgroepen gegenereerd worden:

  • WO
  • HBO/ VWO
  • HAVO/ MBO
  • MAVO/ LBO

3.2 Interpretatie van de scores

Met de test Verbale Analogieën wordt het verbaal- analytisch vermogen van de kandidaat bepaald. Dit geeft een beeld van de mate van inzicht dat een kandidaat heeft in verbaal materiaal, zijn algemene verbale aanleg. De score op deze test geeft een beeld van het vermogen om verbanden te zien tussen woorden, woorden in een bepaalde context te kunnen plaatsen; oftewel het vermogen te redenen op het verbale vlak. Tevens geeft het een beeld van de woordenschat van een persoon. Goed verbaal analytisch vermogen is van belang in functies waarin verwacht wordt dat men veel schrijft en/of leest en uit verbaal materiaal (teksten, gesprekken) snel de benodigde informatie moet kunnen destilleren.

3.3 Afname instructie

De test Verbale Analogieën bestaat uit 24 opgaven. De opgaven lopen op in moeilijkheidsgraad. Deze test is een test onder tijdsdruk. Dit houdt in dat de kandidaat een bepaalde vastgestelde tijd heeft om de test te maken. Voor deze test is dit 12 minuten. De kandidaat mag eventueel gebruik maken van kladpapier. Dit zal naar verwachting echter tot vertraging leiden bij het maken van de test en wordt om deze reden dan ook niet aangeraden.

Overige instructies met betrekking tot de afname die gegeven kunnen worden zijn meer algemene instructies die in principe bij iedere testafname in acht genomen dienen te worden. Zo dient er sprake te zijn van een rustige ruimte waar de kandidaat zo min mogelijk wordt gestoord en afgeleid. Vanwege toepassing van de Toolkit is controle op de omgeving minder mogelijk. De test kan immers eventueel ook thuis gemaakt worden. Wel kan er een tijdsperiode worden aangegeven waarbinnen de test gemaakt dient te worden door de kandidaat. Deze tijdsperiode kan bijvoorbeeld afgestemd worden op de perioden dat de kandidaat aanwezig is op het werk. Hierdoor kan er toch enige mate van controle uitgeoefend worden. Tevens is het van belang dat de instructie voor de kandidaat helder is en dat precies duidelijk is hoe de test ingevuld dient te worden. Aangezien de test, door toepassing van de Toolkit niet perse in een omgeving gemaakt hoeft te worden waar professionele ondersteuning aanwezig is, is deze mogelijke afwezigheid van uitleg, getracht te ondervangen door bij iedere test een voorbeeld opgave met duidelijke uitleg aan te bieden. Tevens maakt de kandidaat voorafgaand aan de werkelijke test drie oefenopgaven waarbij telkens een uitgebreide toelichting wordt gegeven. Deze oefenopgaven kunnen bij onduidelijkheid zo vaak als voor de kandidaat wenselijk is herhaald worden.  

Bij alle testen binnen de ISFIC-reeks welke middels de Toolkit ingevuld worden, is het van belang voorafgaand aan de test bij de kandidaat te controleren of deze over een basisniveau aan computervaardigheden beschikt.