Handleiding Dilemma’s

2. Ontwikkeling Dilemma’s

In dit hoofdstuk wordt de geschiedenis van de vragenlijst Dilemma’s in kaart gebracht.

2.1 Theoretische achtergrond vragenlijst Dilemma’s

De dilemma’s van de eerste versie van de vragenlijst zijn gebaseerd op veel voorkomende integriteitsschendingen, denk hierbij aan corruptie, fraude, diefstal, wangedrag in de vrije tijd of misbruiken van informatie. De eerste versie van de vragenlijst bestond uit zeven dilemma’s. Om te onderzoeken wat de beste antwoordschaal bij de dilemma’s zou zijn bestond deze testversie uit items met verschillende antwoordschalen. Bij sommige dilemma’s moest de respondent een antwoord kiezen uit de aangeboden oplossingen. Bij andere dilemma’s moesten de respondenten aangeven in hoeverre zij het eens of oneens waren met de aangeboden oplossingen bij de dilemma’s. De eerste versie van de vragenlijst werd ingevuld door 141 respondenten. Aan de hand van frequentietabellen is de data geanalyseerd. Hieruit bleek dat items waarbij gebruik gemaakt was van een antwoordschaal lopend van ‘helemaal oneens’ naar ‘helemaal eens’ voor de meeste spreiding zorgden. Ook werd duidelijk dat niet zozeer de keuzes die iemand maakte bij de dilemma’s onderscheidend zijn maar dat het vooral gaat om de overwegingen of de redenen achter de keuze. In de literatuur werd dit tevens terug gevonden op de site van BIOS. Daar wordt een integer persoon omschreven als iemand die:

  • Zorgvuldig en verantwoordelijk omgaat met bevoegdheden, middelen en informatie en het algemeen belang dat hij dient, leidend laat zijn;
  • In staat is om verleidingen te weerstaan en te voorkomen dat hij in verleidelijke situaties terecht komt;
  • De regels naar de letter en de geest interpreteert;
  • Een zorgvuldige afweging maakt van de legitieme rechten, belangen en verwachtingen, ook in situaties waarbij het niet (onmiddellijk) duidelijk is wat de juiste keuze is;
  • Bereid is om zijn overwegingen (vooraf dan wel achteraf) te toetsen en daarover verantwoording af te leggen (BIOS, 2012).

Dit concept zijn we verder gaan uitwerken en vormde de basis voor de tweede versie van de vragenlijst Dilemma’s.

2.2 Ontwikkeling tweede versie van de vragenlijst

Bij de analyse van de eerste versie is duidelijk geworden op welke manier de dilemma’s het beste bevraagd konden worden. Bij de tweede versie was het van belang te ondervinden op welke wijze de resultaten konden worden gerapporteerd. Bij de constructie van deze versie is bij het formuleren van de items bij de dilemma’s het model wat Jeurissen en Musschenga (2002) beschrijven centraal blijven staan. Daaraan toegevoegd zijn items die iets aangeven over de overwegingen die een persoon kan hebben om een bepaalde keuze te maken. De toegevoegde overwegingen zijn in te delen in de volgende categorieën: Flexibel omgaan met regels en normen versus rigide omgaan met regels en normen en keuze maken waarbij het eigen belang voorop staat versus een keuze maken waarbij het algemene belang voorop staat. De tweede versie van de vragenlijst bestond uit 16 dilemma’s en is afgenomen bij 73 respondenten. Op de data is een frequentie analyse uitgevoerd en is de interne consistentie van de schalen berekend. Hieruit bleken de items waarbij naar een keuze werd gevraagd het wederom niet goed te doen, de spreiding was niet optimaal. Er is gekozen om het model van Jeurissen en Musschenga (2002) los te laten en verder te gaan met de items die vragen naar de overwegingen van de keuzes. Om de spreiding in de antwoorden verder te vergroten is er gekozen om de items ipsatief te maken.

2.3 Ontwikkeling derde versie van de vragenlijst

De 16 dilemma’s van de tweede versie zijn ongewijzigd gebleven. De items bij deze versie zijn ipsatief gemaakt. Bij de analyse van de tweede versie is inhoudelijk gekeken naar de items die bij hebben gedragen aan de spreiding. Tevens is er aan de hand van de interne consistentie en item rest correlatie gekeken welke items inhoudelijk bij elkaar hoorden. Hieruit zijn de volgende vier schalen gedestilleerd: Belang, Keuzes maken, Regels en Verantwoordelijkheid nemen. De items van de derde versie plotten op een of meerdere van deze vier schalen. Deze versie werd ingebouwd in de Test-Toolkit en is enige tijd data verzameld.

2.4 Ontwikkeling vierde versie van de vragenlijst

Aan de constructie van de vierde versie van de vragenlijst Dilemma’s is een uitgebreide analyse vooraf gegaan. Deze analyse worden besproken in de paragrafen 2.4.1 en 2.4.2.

2.4.1 Studie 1. Item selectie op basis van betrouwbaarheden.

De Dilemma vragenlijst (versie drie) is ingevuld door 159 personen. Het overgrote deel van deze personen is lager opgeleid, van 8 personen is het opleidingsniveau niet bekend. De groep bestaat voor 26 procent uit vrouwen en voor 74 procent uit mannen. De gemiddelde leeftijd is 43 jaar (SD =10), van 10 personen is de leeftijd onbekend.

Om in eerste instantie te bepalen of en welke items bij een bepaalde schaal horen, hebben we de Cronbach’s alpha van de vier schalen Keuzes Maken, Regels, Verantwoordelijkheid Nemen en Belang bekeken. Hieruit is gebleken dat de alpha’s, voor een eerste testversie met een kleine normgroep, relatief hoog zijn (Tabel 2.1).

Tabel 2.1: Betrouwbaarheden van schalen op basis van alle items.

Bij het analyseren van de schalen hebben we gekeken naar de rbps (feitelijk de correlatie tussen het betreffende item met de som van correlaties van alle overige items) en de waarde van de Cronbach’s alpha als het item niet meegenomen zou worden in de berekening van alpha. Bij de selectie van items voor een bepaalde schaal zijn we stapsgewijs te werk gegaan. Allereerst hebben we de items met een negatieve rbps waarde (wat inhoudt dat een item negatief bijdraagt aan de schaal) verwijderd. In de volgende stap hebben we de items met rbpswaarden van onder de 0,1 (wat betekent dat een item nauwelijks bijdraagt aan de schaal) verwijderd. In de laatste stap hebben we de items die onvoldoende spreiding vertoonden (met skewness waarden van kleiner dan -2 of groter dan 2) verwijderd. De betrouwbaarheden na deze stappen zijn weergegeven in Tabel 2.2.

Tabel 2.2 Betrouwbaarheden van schalen van de 16 dilemma’s.

Vervolgens is de focus verlegd van item niveau naar dilemma niveau. Hierbij is op basis van de gevormde schalen gekeken welke dilemma’s veel goede items leverden en welke dilemma’s niet. Bij 6 van de 16 dilemma’s bleken weinig items overeind te blijven in de betrouwbaarheidsanalyses. Besloten is om met de overige 10 dilemma’s verder te gaan. Deze keuze had wel gevolgen voor de betrouwbaarheden van de schalen (Tabel 2.3), die allemaal iets lager werden. De dalingen waren klein en ongeveer even groot voor alle vier de schalen (tussen de 0.02 en 0.04).

Tabel 2.3 Betrouwbaarheden van schalen van de 10 dilemma’s.

2.4.2 Studie 2. Item selectie op basis van MGM.

Om structuur in de data te ontdekken zijn we overgegaan op een factoranalyse, weer op basis van de data van 159 personen. Een PCA factor analyse is in dit geval niet de juiste methode, mede door de constructie van de vragenlijst: veel items hebben meerdere ladingen op meerdere schalen, waardoor er sprake is van onderlinge samenhang van de items. De Multiple Group Method (MGM), waarbij van te voren aangegeven dient te worden op welke factoren (schalen) je verschillende items verwacht te laden, is in dit geval een betere methode. Deze analyse, de Multiple Group Methode (MGM) toetst of de indeling van items in schalen correct is. Er wordt berekend of een item inderdaad een hogere correlatie heeft met zijn eigen schaal dan met een andere schaal. De reden dat er gekozen is voor de MGM is dat deze analyse toepasbaar is bij het testen van een specifieke hypothese (Nunnally, 1978). Aangezien we willen weten of de eerdere gemaakte indeling van de items in de 4 schalen overeenstemt met de huidige data, wordt de voorkeur gegeven aan deze methode. Voor meer informatie over deze procedure zie Stuive, Kiers, Timmerman & Ten Berge (2008). Specifiek bij de MGM die hier is uitgevoerd is dat er gebruik is gemaakt van de formule van Steiger (1980) om de significantie te bepalen van de verschillen tussen afhankelijke correlaties (Steiger, 1980).

De 94 items die zijn overgebleven na de hierboven beschreven studie 1 werden in het MGM model gestopt. Zoals gezegd is er een groot aantal items dat ladingen op verschillende schalen heeft; aan de hand van de correlaties van de items met de verschillende schalen is bekeken bij welke schaal het item daadwerkelijk behoort. Een voorbeeld: het item waarbij de kandidaat moet kiezen tussen de stellingen “De zeiler heeft zelf het risico genomen en daarom is het zijn eigen verantwoordelijkheid.” en “Iemand in nood moet je redden, ook al is hij door eigen schuld in de problemen gekomen.” Laden op de schalen Keuzes maken en Verantwoordelijkheid nemen. Uit de MGM analyse bleek dat dit item een correlatie van 0.25 met de schaal Keuzes maken had, en een correlatie van 0.14 met de schaal Verantwoordelijkheid nemen. Op basis hiervan is dit item ingedeeld bij de schaal Keuzes maken. Op deze manier hebben we naar de correlaties van alle items met de verschillende schalen gekeken en de indeling van items naar schalen gemaakt.

Aangezien bij deze analyse ieder item bij één schaal werd ingedeeld is het aantal items weer afgenomen. Omdat maar weinig items bij de schaal Keuzes maken bleken te horen, is besloten om enkele items toe te kennen aan twee schalen. Naast dat ze werden toegekend aan de schaal waarmee ze de hoogste correlatie hadden werden ze ook toegekend aan de schaal Keuzes maken. In Tabel 2.4 staan de betrouwbaarheden van de vier schalen na indeling op basis van de MGM vermeld.

Tabel 2.4 Betrouwbaarheden van schalen op basis van MGM analyse.

Uit deze analyse bleek verder dat 8 van de 94 items wellicht niet op de juiste plek waren ingedeeld. Ze correleerden significant hoger met één van de andere schalen. Voor ieder van deze 8 items is gekeken met welke schaal zij hoger correleerden en of ze logischerwijs verplaatst konden worden naar de betreffende schaal. Op deze wijze werden 5 van de 8 items naar een andere schaal verplaatst. Bijvoorbeeld het item waar de kandidaat moet kiezen tussen de stellingen “Er wordt heel veel software illegaal gebruikt, dus blijkbaar kan het gewoon” en “Het is illegaal, dus verboden, en u moet hier niet aan meewerken” bij het Dilemma Software. In eerste instantie hadden we dit item bij de schaal Toepassen van regels ingedeeld, maar aan de hand van de MGM analyse bleek het item beter bij de schaal Belangenafweging te horen. Aangezien de correlatie van de overige drie items wel hoog genoeg was met de eigen schaal en zij inhoudelijk niet overeenkwamen met een van de andere schalen, is ervoor gekozen deze drie items bij hun oorspronkelijke schaal ingedeeld te laten.

Uit bovenstaande analyses is gebleken dat we een gedegen vragenlijst hebben ontwikkeld die ingezet kan worden in het HRM werkveld. In de huidige versie van de vragenlijst dilemma’s wordt er gerapporteerd op basis van 10 dilemma’s met in totaal 50 items. We streven er echter naar om de psychometrische kwaliteiten van de vragenlijst te blijven verbeteren; bijvoorbeeld door middel van hogere betrouwbaarheden van de schalen. Om deze reden is besloten om onderzoeksitems toe te voegen aan de vragenlijst. Aan vijf van de tien overgebleven dilemma’s is een extra itempaar toegevoegd. Ook zijn er twee onderzoeksdilemma’s toegevoegd met elk vijf itemparen.