De rubric ontleed: waarop lijken supervisoren hun beoordeling van onderzoeksvaardigheden te baseren: Waarop lijken supervisoren hun beoordeling van onderzoeksvaardigheden te baseren.

Context/probleemstelling of aanleiding
In toenemende mate wordt in het (bio)medisch onderwijs gebruik gemaakt van rubrics om studenten feedback te geven op hun onderzoeksvaardigheden. Hierbij wordt doorgaans gescoord op een aantal deelvaardigheden, waarbij gebruik wordt gemaakt van niveaubeschrijvingen. Er is weinig bekend over
hoe de scores op deelvaardigheden aan elkaar zijn gerelateerd en welke deelvaardigheden door supervisoren het zwaarst worden meegewogen in de feedback. Analyse van deze data kan gebruikt worden om de rubric en de onderwijspraktijk te verbeteren. Inzicht hierin kan helpen om meer grip te
krijgen op hoe supervisoren onderzoeksvaardigheden percipiëren.

Beschrijving van de interventie/innovatie
In deze case-study analyseren we kwantitatieve data van de rubric “onderzoeksvaardigheden”, die sinds 2014 wordt gebruikt door supervisoren van de wetenschappelijke stage van de Graduate School of Life Sciences (GSLS) aan de Universiteit Utrecht. Deze rubric is beschrijvend en kwalitatief van aard en geldt niet als scoringsformulier, maar kan door supervisoren (optioneel) worden gebruikt ter onderbouwing van hun eindscore van de onderzoeksvaardigheden. De rubric bestaat uit drie hoofdcategorieën: (1) onderzoek uitvoeren (3 subcategorieën), (2) praktische vaardigheden (4 subcategorieën), en (3) professioneel gedrag (6 subcategorieën). Rubricdata wordt verzameld en
geanalyseerd met beschrijvende statistiek. Middels multiple regressieanalyse wordt nagegaan welke hoofd- en subcategorieen (predictoren) het zwaarste wegen in de eindscore (outcome variable).

Ervaringen/analyse van de implementatie
Een eerste analyse is uitgevoerd op ±120 formulieren. Descriptieve data toont enkele subcategorieën met minimale variantie. Een multiple regressieanalyse op de hoofdcategorieën toont dat scores op de categorieën ‘professioneel gedrag’ en ‘onderzoek uitvoeren’ de grootste voorspellers zijn voor het gegeven eindcijfer. Bij de subcategorieën zijn dit ‘punctualiteit’ en ‘initiatief, onafhankelijkheid, creativiteit en omgang met feedback’, beide onderdeel van de hoofdcategorie professioneel gedrag. Voor de definitieve analyse zullen naar verwachting zo’n 200 formulieren worden verzameld.

Lessons learned (implicaties voor de praktijk)
Op basis van de eerste analyse lijken (sub)scores op ‘Professioneel gedrag’ het meest predictief voor het eindcijfer. Dit kan betekenen dat betreffende supervisoren veel waarde hechten aan professioneel gedrag als onderdeel van wetenschappelijk onderzoek, en wel in die mate dat het sterker voorspellend
is dan bijvoorbeeld scores op deelvaardigheden in het uitvoeren van onderzoek. De vraag is of (onderdelen van) het uitvoeren van onderzoek en de praktische vaardigheden (de twee andere hoofdcategorieën) juist in een rubric over onderzoeksvaardigheden niet meer zouden moeten bijdragen. Anderzijds kan men zich afvragen of dit niet juist een belangrijke component van
onderzoeksvaardigheden blootlegt. Deze studie laat zien hoe rubric data gebruikt kunnen worden om inzicht te krijgen in onderliggende percepties van supervisoren op onderzoeksvaardigheden. De definitieve resultaten worden gepresenteerd op het congres.