Handleiding Dilemma’s

5. Validiteit Dilemma’s

De validiteit van een test geeft een indicatie van de mate waarin het instrument daadwerkelijk het construct meet dat het pretendeert te meten. Oftewel: meet een persoonlijkheidstest ook daadwerkelijk persoonlijkheid. In het geval van de Dilemma vragenlijst geldt: meet de vragenlijst daadwerkelijk de motieven waar iemand zich door laat leiden bij morele dilemma’s? Meer specifiek dient de validiteit aan te geven of iedere schaal meet wat het pretendeert te meten.
Om de validiteit van de Dilemma vragenlijst vast te kunnen stellen wordt in de eerste plaats naar de test zelf gekeken, de interne validiteit. Een andere manier om de validiteit van een test te bepalen is door de test te vergelijken met andere tests, die het criterium vormen. Hiervoor heeft een onderzoek plaatsgevonden waarmee de externe validiteit van de vragenlijst Dilemma’s onderzocht is.

5.1 Interne validiteit: De schaalstructuur van de vragenlijst Dilemma’s

Op dit moment wordt er data verzameld met de nieuwste versie van de vragenlijst. Zodra er data beschikbaar is wordt informatie over de interne structuur toegevoegd.

5.2 Externe validiteit: Relevante onderzoeken

Om een uitspraak te kunnen doen over de externe validiteit is een onderzoek uitgevoerd met de Werkgerelateerde Persoonlijkheidsvragenlijst (WPV) en de Morele waarden vragenlijst. Kijk voor meer informatie over deze vragenlijsten op: https://www.ixly.nl/kennisbank/.

5.2.1 Onderzoek met de WPV

Van de 159 kandidaten die de Dilemma vragenlijst hebben ingevuld waren er 132 die ook de WPV hadden ingevuld. Dit gaf ons de kans om de relatie tussen de schalen van de Dilemma vragenlijst en een aantal schalen van de WPV te onderzoeken. Door deze relatie te onderzoeken kunnen we meer zeggen over de begripsvaliditeit: begripsvaliditeit heeft betrekking op het theoretische begrip waarmee de test een verklaring wil geven voor het testgedrag. Met andere woorden, we kunnen voorspellen welke schalen van de WPV op theoretische gronden zou moeten correleren met de schalen van de Dilemma vragenlijst. Deze voorspellingen staan hieronder beschreven.

Verwachtingen
De verwachting is dat de schaal Belang positief zal correleren met de schalen Zorgzaamheid en Vertrouwen van de WPV. Daarnaast verwachten we de schaal negatief zal correleren met de schalen Status en Dominantie van de WPV.

We verwachten ook een positieve correlatie tussen de schaal Keuzes Maken en de schalen Onafhankelijkheid en Weloverwogen van de WPV.

Tevens is de verwachting is dat er een positieve correlatie gevonden zal worden tussen de schaal Regels en de factor Structuur van de WPV, en dan met name de schaal Conformisme.

Als laatste verwachten we een positieve correlatie tussen de schaal Verantwoordelijkheid Nemen en de schalen Onafhankelijkheid, Zelfvertrouwen en Volharding van de WPV.

In Tabel 5.1 staan de verwachte en gevonden correlaties van de schalen van de Dilemma vragenlijst en de schalen uit de WPV.

Tabel 5.1: Correlaties tussen de Dilemma vragenlijst en de WPV (N=132)

Omschrijving van psychometrische kwaliteiten en de resultaten
Het onderzoek is gedaan onder 132 personen waarvan 96 mannen (72,7%) en 36 vrouwen (27,3%). De gemiddelde leeftijd binnen deze groep is 45,4 jaar met een minimum van 24 jaar en een maximum van 60 jaar (van 7 personen is de leeftijd onbekend). Van de respondenten hadden 88 personen (71,2%) middelbaar beroepsonderwijs als opleidingsniveau (van 5 personen, 3,8 %, was het opleidingsniveau onbekend). De meeste respondenten waren afkomstig uit de provincies Brabant (19,7 %) en Zuid-Holland (18,2 %).

Uit Tabel 5.1 blijkt dat onze verwachtingen deels zijn uitgekomen, deels niet. Voor de schalen Keuzes Maken en Regels geldt dat de verwachte positieve correlaties ook uit de analyses naar voren komen, hoewel de correlatie tussen Keuzes Maken en Onafhankelijkheid en de correlatie tussen Regels en Conformisme niet significant waren. Voor de schaal Verantwoordelijkheid Nemen vinden we duidelijk de positieve relaties met Zelfvertrouwen en Volharding. De correlatie tussen Verantwoordelijkheid Nemen en Onafhankelijkheid is opvallend genoeg negatief (tegen onze verwachting in), maar niet significant. Voor de schaal Belang geldt dat alle drie de verwachte correlaties gevonden zijn (waarvan echter maar 1 significant). Samenvattend kunnen we zeggen dat 9 van de 10 verwachte correlaties gevonden zijn, waarvan 5 significant.

5.2.2 Onderzoek met de Morele Waarden vragenlijst

Een tweede onderzoek is uitgevoerd met de Morele Waarden vragenlijst, ook een vragenlijst die uitgegeven wordt door ixly. In de Morele Waarden vragenlijst worden andere factoren die te maken hebben met de integriteit van een persoon gemeten, namelijk Normbesef, Bescheidenheid, Oprechtheid en Vermijden van Materialisme. We hebben resultaten van 156 respondenten die zowel de vragenlijst Dilemma’s als de Morele waarden vragenlijst hebben ingevuld. In tabel 5.2 worden de correlaties tussen de schalen van de vragenlijst Dilemma’s en de Morele waarden vragenlijst weergegeven.

Tabel 5.2: Correlaties tussen de Dilemma vragenlijst en de Morele Waarden vragenlijst (N=156)

De correlaties tussen de schalen van de verschillende vragenlijsten zijn goed te verklaren. De hoogste correlaties vinden we over het algemeen bij de schaal Normbesef: het hanteren van bepaalde normen is vaak leidend bij de keuzes in morele dilemma’s. Normbesef heeft de hoogste correlatie dan ook met de schaal Regels: personen die een groter normbesef hebben zijn over het algemeen dus ook strikter in het hanteren van die normen (regels) bij morele dilemma’s. Ook de positieve correlaties tussen Keuzes Maken en Verantwoordelijkheid Nemen enerzijds en Oprechtheid anderzijds zijn verklaarbaar. Het is te verwachten dat personen die oprecht zijn ook oprecht zijn in hun keuzes en achter hun keuzes staan, dat wil zeggen verantwoordelijkheid nemen voor hun genomen keuzes.

Conclusies
Uit de beschreven resultaten blijkt dat er sprake is van samenhang tussen de schalen van de vragenlijst Dilemma’s en de schalen van de WPV en Morele Waarden vragenlijst. Deze resultaten dragen bij aan de externe validiteit van de vragenlijst.

5.3 Verder onderzoek

Zoals aangegeven bij de constructie van de vragenlijst Dilemma’s streven we ernaar om de psychometrische kwaliteiten van de vragenlijst te blijven verbeteren. Ook zullen wij verder gaan met het onderzoek naar de validiteit van de vragenlijst Dilemma’s. Dit zal parallel lopen met de verdere ontwikkelingen van de overige vragenlijsten van Ixly die iets kunnen aangeven over de integriteit van een persoon: de open integriteitsvragenlijst en de Morele waarden vragenlijst. Verder zullen wij onderzoek doen naar de predictieve validiteit van de vragenlijst. Hierbij willen we onderzoeken of mensen met een lage score op de vragenlijst Dilemma’s bij ambigue situaties vaker minder integer gedrag vertonen ten opzichte van personen met een hogere score op de vragenlijst.