Handleiding Interessevragenlijst Taken en Sectoren

5.Betrouwbaarheid Interessevragenlijst Taken en Sectoren

De betrouwbaarheid van een vragenlijst geeft een indicatie van de nauwkeurigheid van het instrument. Het begrip heeft betrekking op de reproduceerbaarheid van de gemeten uitkomsten: in hoeverre komen de resultaten van een meting met het instrument bij een tweede keer (en een derde keer, enzovoorts) overeen, of in hoeverre komen de uitkomsten bij een vergelijkbare set items overeen.

De betrouwbaarheid van een vragenlijst kan op verschillende manieren worden bepaald. De meest gebruikte betrouwbaarheidsmaat voor een vragenlijst als de ITS is de Cronbach’s alfa (α-­‐coëfficiënt). Dit is een maat voor interne consistentie (Nunnally, 1978). COTAN (2010) noemt een alfa van .70 als ondergrens waar naar gestreefd moet worden bij adviessituaties.

Ook kan de test-­‐hertest betrouwbaarheid bepaald worden door dezelfde vragenlijst na een vooraf vastgelegde periode voor een tweede maal bij dezelfde persoon af te nemen waarna de resultaten van deze twee metingenmet elkaar vergeleken kunnen worden.

Alle onderstaande analyses zijn gebaseerd op de gewogen onderzoeksgroep beschreven in Hoofdstuk 4.

5.1 Interne consistentie van de ITS

Voor de zeven factoren en de sectoren van de ITS is de Cronbach’s alfa berekend.De betrouwbaarheden zijn af te lezen in Tabel 5.1 en Tabel 5.2.

Tabel 5.1.

Tabel 5.2.

De betrouwbaarheid van de factoren is hoog tot zeerhoog (α = .86 voor Intellectueel tot .98 voor Realistisch), met een gemiddelde van α =.93. De betrouwbaarheid van de sectoren loopt uiteen van α = .65 (Commerciële Dienstverlening) tot α = .92 (Elektrotechniek), met een gemiddelde van α = .83. Alleen de sectoren Commerciële Dienstverlening en Huishouding hebben een alfa lager dan .70, waarbij huishouding slechts 0,01 daaronder ligt. Het zou kunnen zijn dat de iets lagere betrouwbaarheid van Commerciële Dienstverlening toevallig is. Bij vervolgonderzoek zullen wij onderzoeken of het nodig is de betrouwbaarheid van deze sector te versterken. Omdat 39 van de 40 sectoren een voldoende tot zeer goede betrouwbaarheid laten kan de vragenlijst zonder bezwaar ingezet worden bij loopbaanadvies.

5.2 Stabiliteit van schalen en factoren over tijd

Om een uitspraak te kunnen doen over de stabiliteit van de schalen en de factoren over de tijd is er een hertest uitgevoerd. De correlatie tussen beide metingen geeft een schatting van de test-­‐hertestbetrouwbaarheid (Van den Brink, 1998). De tijd tussen deze meetmomenten moet lang genoeg zijn om het effect van herinnering uit te schakelen. In dit geval is gekozen voor een periode van drie weken tussen de metingen. Dit is lang genoeg om te zorgen dat men de items niet meer exact herinnert, en kort genoeg om te veel uitval te voorkomen.

Verschillende onderzoeken wijzen uit dat interesse in beroepen stabiel is over tijd, zowel voor adolescenten (Rottinghaus, Coon, Gaffey, & Zytowski, 2007) als voor volwassenen (Swanson, 1999; Low, Yoon, Roberts, & Rounds, 2005; Rottinghaus et al., 2007). Onze aanname is dat ook de ITS stabiel is over tijd.

De onderzoeksgroep voor de hertest is een subsample van de onderzoeksgroep beschreven in Hoofdstuk 4, Normering. De subsample is random gekozen uit de 1065 mensen die op T1 de vragenlijst hebben ingevuld. In Tabel 5.3 worden de kenmerken van de huidige groep weergegeven:

Tabel 5.3.

Er hebben in totaal 150 personen meegedaan aan de hertest. Aangezien deze groep random is gekozen uit de volledige groep, kan aangenomen worden dat deze subsample representatief is voor de populatie. De vragenlijst is 3 weken na de eerste afname opnieuw afgenomen. Tijdens beide meetmomenten zijn de vragenlijsten in dezelfde setting afgenomen. De betrouwbaarheden van de factoren bij de hertest worden weergegeven in Tabel 5.4. Ook wordt hierin weergegeven of deze significant verschillen van de betrouwbaarheden tijdens T1. Om dit te berekenen is de Feldt-­‐test gebruikt (Feldt, 1969). Hiermee wordt getoetst of twee α-­‐coëfficiënten significant van elkaar verschillen, en resulteert in een p-­‐waarde en een W-­‐waarde. Deze laatste kan als F-­‐ waarde geïnterpreteerd worden (Suen, persoonlijke correspondentie). De betrouwbaarheden op T1 en T2 blijken voor geen van de factoren significant van elkaar te verschillen.

Tabel 5.4.

Tabel 5.5.

Om uitspraken te kunnen doen over de stabiliteit van de factoren zijn de correlaties berekend tussen de scores in de eerste en de tweede afname. Deze worden, samen met de factorgemiddelden, weergegeven in Tabel 5.5. Te zien is dat alle factoren een significante (p < .000) en zeer hoge (rA = .88 tot 1, gemiddelderA= .93) correlatie tussen T1 en T2 kennen. T-­‐tests wijzen uit dat behalve bij de factoren Sociaal (t =2.11, p < .05) en Ondernemend (t = 2.03, p < .05) de factorgemiddelden niet significant van elkaar verschillen op beide meetmomenten. Zowel op Sociaal als Ondernemend scoorde men iets lager op T2.

Ook voor de sectoren is de betrouwbaarheid op T2 berekend. Deze zijn weergegeven in Tabel 5.6, en lopen van .65 (Persoonlijke verzorging) tot .93 (Metaal). De betrouwbaarheden verschillen bij drie sectoren (Communicatie, absoluut verschil .05; Organisatie en advies, absoluut verschil .08; Textiel en mode, absoluut verschil .05) tussen T1 en T2, maar deze verschillen hebben zijn klein en hebben een vrij lage W-­‐ waarde (.76 tot .78).

Tabel 5.6.

De correlaties tussen de sectoren tijdens T1 en T2 evenals de sectorgemiddelden, zijn weergegeven in Tabel 5.7. Ook hier bleken de correlaties tussen T1 en T2 allemaal significant en hoog (r = .65 tot .87 met een gemiddelde van .81). Organisatie en advies was de enige sector met een correlatie lager dan .70. Op 10 van de 44 sectoren verschilden de gemiddelden significant van elkaar tussen T1 en T2. Huishouding (T2 lager), Onderwijs (lager), Ontwerp en Ontwikkeling (ICT) (hoger), Openbaar bestuur (lager), Organisatie en Advies (lager), Planten (lager), Procestechniek (lager), Schoonmaak (lager), Vervoer (lager), Visserij (lager). Sommige van deze sectoren, zoals Huishouding en Schoonmaak, hebben een lagere sociale status, wellicht een reden dat men getracht heeft hier lager op te scoren op T2.

Tabel 5.7.

Conclusie
Bovenstaande resultaten geven aan dat de stabiliteit van zowel de sectoren als de factoren hoog is. De interne consistentie en test-­‐hertestbetrouwbaarheid zijn goed te noemen, met slechts enkele uitzonderingen waarbij een coëfficiënt lager dan .70 wordt gevonden. Verder zijn alle coëfficiënten voor de factoren boven .80. Dit draagt bij aan de betrouwbaarheid van de ITS.