Handleiding Adaptieve Capaciteiten Test Algemene Intelligentie

De ACT Algemene Intelligentie is een intelligentietest die voor het werkveld van Human Resource Management (HRM) is ontwikkeld door Ixly. De ACT Algemene Intelligentie bevat drie subtests, namelijk Cijferreeksen, Figurenreeksen en Verbale Analogieën. Op basis van de scores op deze drie subtests wordt een algemene intelligentiescore berekend – de zogenaamde g-score. De ACT Algemene Intelligentie is primair ontwikkeld voor selectiedoeleinden, maar kan ook ingezet worden voor andere assessmentdoeleinden, zoals bij loopbaanvraagstukken waarbij een inschatting van het denkvermogen vereist of gewenst is.

Uitgangspunten bij de testconstructie

In dit hoofdstuk wordt een aantal theorieën over intelligentie besproken, en hoe intelligentie aan de hand van tests gemeten wordt. Het theoretisch uitgangspunt van de ACT Algemene Intelligentie wordt uiteengezet. Het komt erop neer dat ACT Algemene Intelligentie bestaat uit verschillende tests die allen een verschillend aspect van intelligentie meten, maar waarbij een overkoepelende algemene intelligentiefactor g verondersteld wordt. Ook de keuzes voor de gekozen subtests komen aan bod, evenals cultuurvrij testen.

Tevens wordt in dit hoofdstuk ingegaan op itemresponstheorie, het statistisch model dat gebruikt wordt bij adaptieve tests. Ook gaan we in op de voordelen van adaptief testen: het biedt een snelle en nauwkeurige manier van meten, waarbij minder sprake is van itembekendheid. Tot slot staan we stil bij de ontwikkelings- en ontstaansgeschiedenis van de ACT Algemene Intelligentie, en alle onderzoeken die daarvoor gedaan zijn. Hierbij wordt ook uitgebreid stil gestaan bij de gemaakte keuzes bij en onderzoeken naar de itempool, de methode van itemselectie, de startregel en de stopregel van de adaptieve test.

Testmateriaal

In dit hoofdstuk wordt ingegaan op de kenmerken van de items, zowel qua inhoud als qua psychometrische kenmerken van de itembanken. De ACT Algemene Intelligentie duurt maximaal ongeveer 45 minuten, maar de meeste kandidaten zullen er aanzienlijk minder tijd voor nodig hebben (20-30 minuten). Dit hoofdstuk bevat ook de instructies voor de testafname, informatie over eventueel onjuist gebruik van de software, het scoringssysteem en beveiliging van de test en het testmateriaal.

Handleiding voor testgebruikers

De ACT Algemene Intelligentie is ontwikkeld voor selectiedoeleinden maar kan in principe in elke situatie ingezet worden waarbij het van belang is meer te weten te komen over iemands intellectuele capaciteiten. In dit hoofdstuk worden de toepassingsmogelijkheden en ook de beperkingen van de test besproken en wordt ingegaan op de vereiste kennis voor het gebruik van de test. Tevens wordt er een instructie gegeven voor de testleider.

Er wordt verder ingegaan op de berekening van de g-score – de totaalscore op basis van de drie subtests – en de terugkoppeling van de scores in het rapport. Dit gebeurt aan de hand van een IQ-score, T-score, percentielscore en stenscore. In dit hoofdstuk wordt toegelicht – onder andere aan de hand van twee casussesn – hoe deze geïnterpreteerd dienen te worden. Tot slot worden er ingegaan op relevante informatie bij de interpretatie en wordt er informatie gegeven over de software en technische ondersteuning.

Normen

Bij de ACT Algemene Intelligentie gaat het om een normgerichte interpretatie. De normpopulaties zijn een representatie van personen met VMBO, MBO, HBO en WO opleidingsniveau in Nederland met betrekking tot de achtergrondvariabelen leeftijd en geslacht. Ten behoeve van de berekening van de IQ-scores is er ook een normgroep die wat betreft leeftijd en geslacht representatief is voor gehele beroepsbevolking van Nederland. De ACT Algemene Intelligentie is voor selectiesituaties genormeerd en dus gebaseerd op gegevens verkregen uit daadwerkelijke selectiesituaties uit de praktijk. Dit hoofdstuk beschrijft de samenstelling van de normgroep, de normeringsprocedure, de kenmerken van de scores in de normgroepen en geeft tevens informatie over de gebruikte de gestandaardiseerde scores. Ook wordt er ingegaan op het niet hanteren van speciale normgroepen op basis van bijvoorbeeld etniciteit. In Bijlagen 4.1. en 4.2. staan de normtabellen bij de test.

Betrouwbaarheid

In dit hoofdstuk worden de onderzoeken beschreven die gedaan zijn om de betrouwbaarheid van de ACT Algemene Intelligentie te bepalen. Hieruit bleek dat de betrouwbaarheid van de subtests voor relevante intelligentieniveaus acceptabel tot goed was, en van de g-score zeer goed (.92). De betrouwbaarheid van de subtests zijn ook relatief hoog (gemiddeld .81 dus >.80): voor Cijferreeksen (.81) en Verbale Analogieën (.86) zijn deze voldoende, terwijl de betrouwbaarheid van  Figurenreeksen (.77) net niet aan de drempelwaarde van .80 voldoet. We adviseren dan ook belangrijke beslissingen – zoals in selectiesituaties – voornamelijk te nemen op basis van de g-score.

Bovenstaande waarden zijn echter gebaseerd op de empirische betrouwbaarheid. Op basis van de SEM-methode zijn de betrouwbaarheid bij kandidaten hoog te noemen, namelijk .86, .83, .90 en .96 voor respectievelijk Cijferreeksen, Figurenreeksen, Verbale Analogieën en de g-score.

Er waren nauwelijks verschillen in de betrouwbaarheid van de metingen naar geslacht, leeftijd en etniciteit bij kandidaten die de ACT Algemene Intelligentie in selectiesituaties hadden gemaakt.

Begripsvaliditeit

Onderzoek naar de interne structuur toonde aan dat de relatief hoge relaties tussen de drie subtests verklaard konden worden door één factor – wat zoals verwacht duidt op de aanwezigheid van g. De onderlinge relaties bleven onveranderd wanneer we deze apart voor verschillende groepen berekenden (mannen/vrouwen, allochtonen/autochtonen, laag/midden/hoog opleidingsniveau, jong/middelbaar/oud). Verschillende onderzoeken toonden aan dat we kunnen aannemen dat de subtests van de ACT Algemene Intelligentie (voldoende) unidimensioneel zijn – dat wil zeggen dat de scores op deze subtests verklaard kunnen worden door één onderliggende verklarende factor. Dit is een belangrijke bevinding, omdat dit een belangrijke assumptie van itemresponstheorie is en overeenkomt met ons verkozen theoretisch model. Al deze resultaten bieden bewijs voor de solide structuur van de ACT Algemene Intelligentie.

Verder werden de hypotheses over verschillen tussen groepen op basis van achtergrondvariabelen (geslacht, leeftijd, opleiding en etniciteit) grotendeels bevestigd. Divergente validiteit werd aangetoond aan de hand van zwakke relaties tussen scores op de ACT Algemene Intelligentie en persoonlijkheid. Deze bevindingen geven aan dat scores op de ACT Algemene Intelligentie samen lijken te gaan met reële verschillen tussen groepen en dat het beoogde construct – intelligentie – inclusief deze reële verschillen tussen groepen, wordt gemeten.

Soortgenoten-validiteit werd aangetoond in een onderzoek met de MCT-H (Bleichrodt & Van den Berg, 1997, 2004), waarbij hoge correlaties gevonden werden tussen de subtests van de ACT Algemene Intelligentie en de MCT-H. De g-scores van de twee tests bleken zelfs nagenoeg identiek te zijn (r = .99). Ook werd een sterke onderlinge relatie aangetoond met een begrijpend lezen-test (r = .60). Convergente validiteit werd verder aangetoond aan de hand van een voorspelde positieve relatie met de persoonlijkheidstrek Openheid. Verder wordt een onderzoek beschreven waarin de voorspelde relatie tussen de ACT Algemene Intelligentie en reactiesnelheid wordt aangetoond.

Een onderzoek naar de aanwezigheid van afwijkende antwoordpatronen (person fit) toonde aan dat (1) weinig afwijkende responspatronen werden gevonden en (2) dat er nauwelijks tot geen verschillen waren tussen groepen (op basis van leeftijd, geslacht en etniciteit) in het aantal afwijkende antwoordpatronen. Omdat op basis van het antwoordpatroon iemands score wordt bepaald, ondersteunen deze bevindingen de validiteit van de verkregen testscores op individueel niveau.

Ter verdere ondersteuning van de validiteit van de verkregen testscores is ook onderzoek gedaan naar differential item functioning en differential test functioning (DTF): dit onderzoek toonde aan dat we op basis van leeftijd, geslacht en etniciteit weinig vertekeningen in itemresponses mogen verwachten bij de ACT Algemene Intelligentie. Dit is een belangrijke bevinding in relatie tot de fairness van de test: op basis van dit onderzoek kan geconcludeerd worden dat de test bij verschillende groepen ingezet kan worden.

Criteriumvaliditeit

In dit hoofdstuk worden tot slot twee onderzoeken beschreven die ondersteuning bieden voor de criteriumvaliditeit van de ACT Algemene Intelligentie. Bij criteriumvaliditeit gaat het erom of testscores een goede voorspeller zijn van gedrag of uitkomsten die buiten het domein van de test liggen.

In het eerste onderzoek (N = 92) werd aangetoond dat scores op de ACT Algemene Intelligentie sterk gerelateerd waren – in de orde van grote zoals we op basis van meta-analyses verwachtten – aan sociaaleconomische status van personen (inkomen, beroepsstatus, opleidingsniveau). Dit is belangrijk omdat de ACT Algemene Intelligentie ontwikkeld is voor het HR-werkveld waarin dit soort variabelen van belang zijn. Hieraan gerelateerd was een belangrijke bevinding dat ACT Algemene Intelligentie-scores samenhingen met werkcomplexiteit, en dat werkcomplexiteit de relatie tussen intelligentie en werktevredenheid medieerde. Tot slot werd aangetoond dat intelligentie gemeten door de ACT Intelligentie gerelateerd kon worden aan werkprestatie en dat deze relatie sterker was voor meer complexere banen. Intelligentie lijkt de belangrijkste prestatie voor werkprestatie (Schmidt & Hunter, 1998) en testgebruikers zullen sollicitanten selecteren op intelligentie omdat ze verwachten dat dit een voorspeller is van uiteindelijke prestaties op het werk. Dus, gezien het test- en meetdoel van de ACT Algemene Intelligentie, vormen de beschreven bevindingen belangrijke ondersteuning voor de criteriumvaliditeit van de ACT Algemene Intelligentie.

Een andere belangrijke bevinding uit het bovenstaande onderzoek was dat testscores een positieve relatie lieten zien met eindcijfers behaald op de middelbare school (r = .34). Voor veel van de personen in de steekproef waren deze cijfers jaren of zelfs decennia geleden behaald: de ACT Algemene Intelligentie bleek dus retrospectief een goede voorspeller voor schoolprestaties. Het tweede onderzoek (N = 66) bevestigde deze relatie met een concurrente studie naar de relatie tussen intelligentie, divergent denken en academische prestaties. Scores op de ACT Algemene Intelligentie waren positief gerelateerd aan scores op divergent denken-taken (r = .38) en het gemiddeld behaalde tentamencijfer (r = .37). Hoewel de ACT Algemene Intelligentie niet direct ontwikkeld is voor de voorspelling van academische prestaties, weten we uit de literatuur wel dat academische prestaties overeenkomsten vertonen met werkprestaties (Kuncel, Hezlett, & Ones, 2004) waardoor de gevonden resultaten ook van belang zijn voor de criteriumvaliditeit van de ACT Algemene Intelligentie.

Overzicht

De ACT Algemene Intelligentie is een intelligentietest die voor het werkveld van Human Resource Management (HRM) is ontwikkeld door Ixly[1]. De ACT Algemene Intelligentie is een adaptieve test die in een kort tijdsbestek een nauwkeurige meting geeft van het algemeen denkniveau van een persoon. De ACT Algemene Intelligentie bevat drie subtests, namelijk Cijferreeksen, Figurenreeksen en Verbale Analogieën. Aan de hand van deze tests kan respectievelijk cijfermatig analytisch vermogen, abstract-analytisch vermogen en verbaal analytisch vermogen bepaald worden. Op basis van de scores op deze drie subtests wordt een algemene intelligentiescore berekend – de zogenaamde g-score. De ACT Algemene Intelligentie is met name ontwikkeld voor selectiedoeleinden.

Deze handleiding volgt de structuur van het beoordelingssysteem van de Cotan (2009) voor de kwaliteit van tests:

  1. Uitgangspunten van de testconstructie
  2. Testmateriaal
  3. Handleiding voor testgebruikers
  4. Normen
  5. Betrouwbaarheid
  6. Begripsvaliditeit
  7. Criteriumvaliditeit

[1] Ixly (voorheen Orga Toolkit B.V.) is een uitgeverij van online instrumenten en legt zich toe op het ontwikkelen, onderzoeken en beschikbaar stellen van vragenlijsten en tests voor de HRM beroepspraktijk. Deze worden via een internetapplicatie gedistribueerd.