Handleiding Werkgerelateerde Persoonlijkheidsvragenlijst Compact

7. Criteriumvaliditeit Werkgerelateerde Persoonlijkheidsvragenlijst Compact

In het vorige hoofdstuk, Begripsvaliditeit, is aangetoond dat de WPV Compact en de WPV N equivalent zijn. Dit wil zeggen dat beide versies dezelfde (latente) constructen met dezelfde betrouwbaarheid meten. Wanneer twee tests dezelfde constructen op dezelfde betrouwbare en valide manier meten, dan kunnen we verwachten dat de correlaties met externe instrumenten bij beide versies gelijk zullen zijn. Daarom zullen in dit hoofdstuk twee onderzoeken naar de criteriumvaliditeit van de WPV besproken worden, die dus tevens bewijs leveren voor de criteriumvaliditeit van de WPV Compact.
Bij criteriumvaliditeit gaat het om de voorspellende waarde van testscores (Cotan, 2010). Ter ondersteuning van deze predictieve validiteit zijn twee onderzoeken uitgevoerd waarbij enige tijd na afname van de reguliere WPV bepaalde arbeidscriteria zijn gemeten. Vervolgens is getoetst wat de voorspellende waarde van de WPV is. Ook hier is een significantieniveau van 5% gehandhaafd.

7.1. Verpleegkundigenonderzoek met 360-graden beoordelingen

In de periode september 2005 tot december 2008 heeft Ixly een onderzoek uitgevoerd onder leerling-verpleegkundigen die de BBL-variant van de verpleegkundigenopleiding volgden. Het doel van het onderzoek was: de voorspellende waarde van een aantal persoonlijke eigenschappen van leerling-verpleegkundigen voor de mate van succes in hun opleiding vaststellen. Er is gekozen om alleen die leerlingen bij het onderzoek te betrekken die de opleiding volgen op basis van een leerwerkovereenkomst. De reden hiervoor is dat de inhoud van deze opleidingen sterker lijkt op de uiteindelijke werkpraktijk dan de inhoud van meer theoretisch ingerichte opleidingen. In praktijksituaties is bovendien – meer dan in een theoretische setting – een breder scala aan persoonlijke eigenschappen vereist om effectief te kunnen functioneren.

De persoonlijkheidstrekken zijn aan het begin van de opleiding gemeten door middel van de WPV. De mate van succes in de opleiding is gemeten door middel van een 360 graden feedbackmonitor. De inhoud van de 360 graden feedbackmonitor is door een ervaren psycholoog opgesteld en is in samenspraak met de deelnemende ziekenhuizen aangepast op de praktijksituatie van de leerling. De leerling heeft de 360 graden vragenlijst zelf ingevuld en daarnaast minimaal twee en maximaal tien personen uitgenodigd die met hem of haar hebben samengewerkt. De personen die de leerlingen beoordeelden, werden onderverdeeld in vijf categorieën: leidinggevenden, werkbegeleiders, praktijkopleiders, gediplomeerd verpleegkundigen en derde of vierdejaars leerling-verpleegkundigen. De leerling werd beoordeeld op veertien competenties, die ieder door middel van vijf gedragsindicatoren werden gemeten. Tijdens het onderzoek bleek dat het uitzetten van de vragenlijst zowel de praktijkopleiders als de leerlingen behoorlijk veel tijd kostte. Om die reden is het niet gelukt om alle deelnemende leerlingen tijdens iedere praktijkleerperiode een 360 graden vragenlijst in te laten vullen. In totaal hebben 80 leerlingen een 360 graden feedback vragenlijst ingevuld, die geschikt was voor de analyse.

Steekproef
Aan het totale onderzoek werkten 204 leerling-verpleegkundigen mee, die de opleiding op MBO- dan wel HBO-niveau volgden (35 mannen en 160 vrouwen, van 9 leerlingen is het geslacht onbekend). Ten tijde van de analyse hadden 80 leerlingen de 360 gradentest ingevuld (12 mannen en 67 vrouwen, van 1 leerling is het geslacht onbekend). De gemiddelde leeftijd van deze steekproef is 24.6 jaar (minimum leeftijd 18 jaar, maximum leeftijd 44 jaar). Van deze leerlingen volgden 58 de opleiding op MBO-niveau en 14 leerlingen op HBO-niveau, van 8 leerlingen is het opleidingsniveau onbekend.

Verwachtingen
Aangezien het onderzoek exploratief van aard is, worden geen vastomlijnde hypotheses gehanteerd. Volgens Bloemers en van der Molen ligt de voorspellende waarde, die bij een instrument gevonden wordt, meestal tussen de .20 en de .50 (Bloemers en van der Molen, 2004). Uit onderzoek van Schmidt en Hunter blijkt dat bij persoonlijkheidsinstrumenten relaties in de orde van .31 gevonden worden (Schmidt en Hunter, 1998). De generieke verwachting is daarom dat een aantal persoonlijkheidstrekken een samenhang van rond de .30 zullen vertonen met vrijwel alle competenties.

Resultaten
De betrouwbaarheid (Cronbach’s alfa) van de schalen van de WPV liggen bij dit onderzoek tussen .79 (Onafhankelijkheid) en .94 (Zorgzaamheid). De betrouwbaarheid van de factoren liggen tussen .91 (Invloed) en .96 (Gedrevenheid).

Als eerste zijn de WPV-factorscores van deze steekproef vergeleken met de WPV-factorscores van de normpopulatie van de WPV N. Met een t-toets is nagegaan of er verschillen tussen de factorscores van beide steekproeven bestaan. Hieruit blijkt dat de factorscores van Invloed en Gedrevenheid van elkaar verschillen. De leerling-verpleegkundigen scoren significant lager op deze factoren dan de normpopulatie (zie Tabel 7.1). We kunnen dus concluderen dat leerling-verpleegkundigen minder ambitieus en gedreven zijn dan de normpopulatie.

Begripsvaliditeit

 

Er is voor gekozen om voor iedere leerling per gedragsindicator van een competentie een gemiddelde beoordeling te berekenen. Bij deze berekening worden alleen de beoordelingen van de respondenten gebruikt. De zelfbeoordeling van de leerling is buiten beschouwing gelaten. De betrouwbaarheid (Cronbach’s alfa) van de competenties ligt tussen .89 (Relationele kwaliteiten) en .95 (Aanpassingsvermogen). De hoogte van deze betrouwbaarheden komt mede tot stand door de gemiddelde beoordelingen die per gedragsindicator berekend zijn.

Over de gemiddelde beoordelingen per gedragsindicator van de competenties werd een principale componentenanalyse (PCA) met Varimaxrotatie uitgevoerd. Uit de resultaten van de PCA bleek dat de eerste factor 65% van de variantie verklaarde. In eerste instantie is daarom een totaalscore berekend, die gebaseerd is op alle competenties. Hiermee zijn de correlaties berekend met de genormeerde schaal- en factorscores van de WPV. Hieruit bleek dat de schalen Zelfonthulling (r = .38, p < .01) en Positivisme (r = .37, p < .01) significant correleren met de totaalscore van de 360 gradentest. Daarnaast liet de factor Sociabiliteit ook een samenhang zien met de 360 gradentest (r = .28, p < .01). Naast deze analyse zijn de correlaties berekend tussen de beoordelingen op de veertien competenties en de genormeerde factorscores van de WPV (zie Tabel 7.2). Er werden zes significante verbanden gevonden. Daarvan hadden er vijf betrekking op schalen van de factor Sociabiliteit van de WPV. De competenties Aanpassingsvermogen, Beïnvloedend vermogen, Emotionele stabiliteit, Gedrevenheid en Relationele kwaliteiten correleerden significant met Sociabiliteit. Kwantiteit van het werk liet een verband zien met de schalen van Stabiliteit.

Begripsvaliditeit

 

Conclusies
Op basis van de resultaten van de analyse kunnen we concluderen dat er sprake is van een samenhang tussen de competenties zoals gemeten met de 360 graden methode en de persoonskenmerken die met de WPV worden gemeten. Deze samenhang is in de orde van grootte die op basis van ander onderzoek verwacht mag worden (zie Schmidt en Hunter, 1998). Dit resultaat draagt bij aan de criteriumvaliditeit van de WPV.

Vijf van de veertien competenties, die noodzakelijk zijn voor de werkzaamheden van een verpleegkundige (te weten: Aanpassingsvermogen, Beïnvloedend vermogen, Emotionele Stabiliteit, Gedrevenheid en Relationele Kwaliteiten) laten een significante correlatie zien met de factor Sociabiliteit. Dit resultaat is aannemelijk, aangezien de factor Sociabiliteit onder andere de schalen Contactbehoefte, Sociaal ontspannen, Hartelijkheid en Zorgzaamheid bevat. Dit zijn allen persoonlijkheidskenmerken die van pas kunnen komen bij het beroep van verpleegkundige. Hieruit kan de conclusie getrokken worden dat wanneer leerling-verpleegkundigen een hogere score dan gemiddeld op de factor Sociabiliteit laten zien, zij naar verwachting hun werk in het ziekenhuis met succes zullen uitvoeren.

Naast de score op Sociabiliteit lijkt ook de score op Stabiliteit belangrijk te zijn bij de selectie van leerling-verpleegkundigen. De competentie Kwantiteit van het werk laat een significante correlatie zien met Stabiliteit. Opmerkelijk is dat de competentie Emotionele stabiliteit niet significant met de factor Stabiliteit correleert. Een verklaring hiervoor kan zijn dat gebrek aan stabiliteit bij leerling-verpleegkundigen vooral waar te nemen is in de kwantiteit van het werk en minder waarneembaar is door de omgeving aan de hand van gedragsindicatoren die Emotionele stabiliteit meten. Daarnaast laten de competenties Beïnvloedend vermogen, Emotionele stabiliteit, Gedrevenheid en Organisatorische kwaliteiten relatief hoge correlaties zien met Stabiliteit.

Suggesties voor vervolgonderzoek
Voor de generaliseerbaarheid van de resultaten is het raadzaam om bij vervolgonderzoek vooraf hypotheses te formuleren, die tijdens de analyse getoetst kunnen worden. De hypotheses kunnen voortkomen uit de resultaten die gevonden zijn tijdens dit onderzoek. De te onderzoeken hypotheses zouden dan zijn:

  • Sociabiliteit is een belangrijke factor voor succesvol functioneren van (leerling-)verpleegkundigen.
  • Stabiliteit is een belangrijke factor voor de kwantiteit van het werk en wordt eerder door de persoon zelf gerapporteerd dan dat deze waarneembaar is voor de omgeving.

7.2. Prestatieonderzoek binnen een competitief arbeidsbemiddelingsbureau

In 2010 is gedurende een half jaar bij een competitief arbeidsbemiddelingsbureau (hierna Bureau X) onderzoek gedaan naar de relatie tussen persoonlijkheid, tevredenheid en arbeidsprestatie.

Methode
Het gehele werknemersbestand van Bureau X (284 medewerkers) is via e-mail uitgenodigd voor het online invullen van de WPV, een medewerkerstevredenheidsvragenlijst en een Carrièrewaardenvragenlijst. Van alle personen zijn prestatiematen beschikbaar, te weten individuele omzetcijfers en beoordelingen van leidinggevenden. Eerst zullen de gemiddelde schaal- en factorscores per functie worden berekend. Vervolgens zal aan de hand van lineaire regressie een aantal hypotheses getoetst worden, om zo de voorspellende waarde van de WPV op drie arbeidscriteria te toetsen.

Steekproef
189 medewerkers hebben het totale onderzoeksproces doorlopen. Hiervan zijn 105 vrouw en 84 man. 78 medewerkers hebben een arbeidscontract voor bepaalde tijd, 106 medewerkers hebben een arbeidscontract voor onbepaalde tijd en van 5 medewerkers is dit niet bekend. Bij bureau X zijn twee algemene functies te onderscheiden: 54 recruiters en 73 accountmanagers; de overige 62 zijn staf of ondersteunend van aard. In Tabel 7.3 wordt de steekproef beschreven.

Begripsvaliditeit

 

Verwachtingen
Vooraf zijn hypotheses opgesteld wat betreft de relaties tussen persoonlijkheid, prestatie en tevredenheid. Hypotheses zijn opgesteld op basis van verwachtingen van HR-adviseurs van Bureau X.

  1. De WPV-schalen Sociaal Ontspannen en Contactbehoefte hebben een positieve relatie met prestatie.
  2. De WPV-schalen Weloverwogen en Regelmaat hebben een negatieve relatie met prestatie.

Resultaten
In Tabel 7.4 worden de gemiddelde factor- en schaalscores weergeven voor de twee functiegroepen binnen de organisatie. Opvallende hoge scores voor beide groepen zijn de schaal Competitie en de factor Invloed. Een opvallende lage score voor beide groepen is de schaal Weloverwogen. Verschillen tussen functies zijn op schaalniveau vooral Onafhankelijkheid, Zelfvertrouwen, Structuur en Originaliteit.

Begripsvaliditeit

 

Lineaire regressie
Op basis van gemiddelde scores op schalen en factoren zoals in Tabel 7.4 is weergegeven is een profiel op te maken van de gemiddelde scores van de personen binnen een functiegroep. Dit zegt echter niets over de voorspelbaarheid van prestatie en tevredenheid op basis van de WPV. Hiervoor wordt lineaire regressie gebruikt.

Op basis van de assumpties die op regressieanalyse van toepassing zijn, zijn er exploratieve analyses op de afhankelijke variabelen (y1) Omzet, (y2) Beoordeling van leidinggevende en Tevredenheid (y3) uitgevoerd. De assumpties van regressieanalyse zijn:

  1. Lineariteit tussen X en Y
  2. Alle paren waarnemingen (X,Y) zijn onafhankelijk van elkaar
  3. De residuen zijn normaal verdeeld
  4. Spreiding van de residuen is gelijk, ongeacht de grootte van X (Homoscedasticiteit)

In onderstaande tabellen geeft B de regressiecoëfficiënt aan, oftewel de mate waarin de schaal bijdraagt aan de afhankelijke variabele.

 

 

 

Conclusies
Uit de resultaten van het onderzoek bij Bureau X blijkt dat een duidelijk profiel is te maken van de twee hoofdfuncties binnen de organisatie (Tabel 7.5). De hoge gemiddelde competitiedrang van werknemers is een opvallend sterke maar verwachte tendens binnen deze organisatie. In dezelfde gedachtegang is de gemiddelde lage score op Weloverwogen een tendens die laat zien dat van medewerkers binnen deze competitieve organisatie snel (moeten) kunnen schakelen en dat deze manier van werken bij het huidige werknemersbestand past.

Wat betreft de voorspellende waarde van de uitkomsten van de WPV op prestatiematen zijn er een aantal schalen naar voren gekomen. Zeer opvallend is dat de score van een recruiter op de schaal Competitie een negatief effect heeft op de beoordeling van de leidinggevende. Uit gesprekken met HR-adviseurs van Bureau X bleek dat alhoewel competitieve houding een pré leek te zijn tijdens selectie, dit tijdens het werken in teamverband niet altijd positief is.

Ook opvallend is het positieve effect van Weloverwogen, terwijl de gemiddelde werknemer bij Bureau X beneden gemiddeld op deze schaal scoort. Een ander belangrijk aspect van functioneren is de tevredenheid van de werknemer zelf. Uit bovenstaande analyse blijkt dat voor beide functies verschillende schalen bijdragen aan de tevredenheid. Voor recruiters is dat met name Vernieuwing, en voor accountmanagers Positivisme.

Het doel van dit onderzoek was om aan de hand van vooropgestelde hypotheses de voorspellende waarde van de WPV te onderzoeken. Er blijkt inderdaad dat verschillende schalen van de WPV voorspellend zijn voor arbeidscriteria. Dit draagt sterk bij aan de predictieve validiteit van de WPV.