Stelt u zich voor dat een schrijnwerkersbedrijf alleen de beste timmerlui zou aanwerven, die in het verleden de mooiste kasten maakten. Vervolgens laat men telkens vier van die timmerlui drie weken lang vechten voor 1 hamer, nadat elkeen uitlegt welke kast men zou maken met die hamer. De anderen blijven werkloos en bereiden het gevecht voor om de volgende hamer. Absurd, maar aan de universiteiten gebeurt het elke dag.
Jan Dumolyn slaakte gisteren in De Standaard een noodkreet over het Vlaamse systeem voor onderzoeksfinanciering. Wie al eens op een universiteit rondloopt, vond het stuk vast zeer herkenbaar: te lage kansen op financiering van goede ideeën, problematische werkdruk en welzijn, en ontmoediging van belangrijk maar risicovol, of interdisciplinair onderzoek. De nagel op de kop. Maar ook de economische effecten mogen niet onderschat worden: een te groot deel van de schaarse middelen dienen enkel en alleen om het rad van deze rat race gaande te houden.
Onderzoek toont immers aan dat professoren die een onderzoeksproject aanvragen daar gemiddeld 116 uur voor nodig hebben, of zo’n 6% van hun jaarlijkse arbeidsuren. Officiële uren dan, want in de praktijk is het vaak avond- of weekendwerk. 116 uur. Per project. Maar hetzelfde onderzoek wijst uit dat onderzoekers typisch zo’n 4 (of meer) voorstellen uitwerken (ik diende gisteren alleen al 4 projecten in als promotor bij het Fonds voor Wetenschappelijk Onderzoek). Dat is logisch omdat slechts 1 op 4 voorstellen gefinancierd wordt. Schattingen wijzen dan ook uit dat ongeveer een vierde van de arbeidstijd van onze professoren gespendeerd wordt aan het schrijven van voorstellen om onderzoeksfondsen te werven. We besteden dus 825 van onze 3300 voltijdse professoren, enkel aan dit systeem. Als we internationale schattingen toepassen op Vlaanderen betekent dit dat onze wetenschappers elk jaar samen 200 jaar schrijftijd besteden, enkel aan de niet succesvolle projecten. Die dan ook nog eens beoordeeld moeten worden. Op basis van Britse cijfers besteden we daar in Vlaanderen dan nog eens 40 arbeidsjaren aan. Elk jaar. Schaarse middelen en tijd worden zo verspild. Als deze competitie slechts voor de helft vervangen zou worden door niet-competitieve financiering, wordt meer dan 10% extra arbeidstijd, en dus veel meer wetenschappelijk(e) onderzoek(ers) verdiend, zonder dat de belastingbetaler een EUR meer hoeft te spenderen.
Maar leidt een competitief systeem dan niet tot een betere selectie van onderzoeksvoorstellen? En dus tot beter onderzoek? Wellicht niet. Dit is niet enkel een Vlaams probleem: internationaal onderzoek toonde al aan dat de selectie van onderzoeksvoorstellen niet evident is. Herbert Marsh analyseerde in American Psychologist een Australische database van meer dan 2000 onderzoeksvoorstellen, uit alle wetenschapsgebieden, die samen 10000 keer beoordeeld werden. Hij berekende voor alle voorstellen een getal dat uitdrukt in hoeverre de beoordelingen overeenkwamen. Dat getal kan variëren van 0 (willekeurig) tot 1 (perfecte consensus). De overeenkomst tussen beoordelingen was .44. En dus veel lager dan de .80 of .90 die je zou hopen of verwachten. Dat komt niet omdat beoordelaars er niks van kennen, maar omdat de kwaliteit meestal heel goed is, waardoor selectie uiteindelijk afhangt van details. Merk overigens op dat over de beoordelingen van onderzoekers, in plaats van projecten, meer overeenstemming was. Wat suggereert dat je beter gewoon vertrouwen schenkt aan gekwalificeerde onderzoekers, als je de kansen van jonge mensen ook bewaakt. Dezelfde, en zelfs slechtere, resultaten werden ook elders vastgesteld (.26 in Oostenrijk voor achtduizend projecten met twintigduizend beoordelingen). Wie vreest dat dit vooral een probleem is van de sociale of humane wetenschappen heeft het verkeerd voor. Die leveren in dit onderzoek meer consistente beoordelingen op dan de exacte wetenschappen.
Onze competitie is dus zeer duur zonder dat het veel oplevert. Het onderzoek zelf is goed, maar de selectie mankt. We moeten dan ook durven kiezen voor een systeem met minder administratie, en meer vertrouwen. Onze wetenschappers presteren internationaal zeer goed. In de Times Higher Education Ranking scoort ons land nog steeds 7e op de gemiddelde universiteitsrankings, ondanks jarenlange bevriezing van budgetten. Alle wetenschappers overleefden de strengste selectieprocedures. Het heeft geen zin een vierde van de onderzoekscapaciteit te spenderen aan een gevecht tussen wie overblijft.
Maar is het verdelen van een deel van het onderzoeksgeld zonder competitie wel mogelijk zonder dat de middelen teveel verdunnen? Absoluut. Krist Vaesen simuleerde in het vakblad Plos One de verdeling van onderzoeksbudgetten voor Nederland, de Verenigde Staten, en het Verenigd Koninkrijk. Hij kwam tot werkbare projecties, waarin alle onderzoekers continu 2 doctorandi kunnen tewerkstellen, met goede werkingsmiddelen, en rekening houdend met de specificiteit van (dure) disciplines. Enkel met het competitieve onderzoeksgeld, zonder dat aan de andere financiering geraakt wordt. Als dat in Nederland kan, dan ook in Vlaanderen. We bevrijden er een kwart van onze professoren mee. Zonder een EUR meer is het de grootste investering in onderzoek sedert lange tijd. Een dergelijk systeem kan gecombineerd worden met een competitief systeem voor excellente onderzoekers, dat dan veel hogere succespercentages kan hanteren.
Er is dus werk aan de winkel. Voor onze rectoren, die verplicht waren deze competitie binnen de universiteiten te organiseren. Maar dus ook voor de Ministers van Wetenschapsbeleid en Onderwijs, die deze competitie eerst tussen de universiteiten installeerden. Het creëert onzekerheid en weegt op het welzijn van onze onderzoekers. En teveel kruimels gaan verloren bij het verdelen van de koek.
Verschenen in De Standaard, 2 februari 2018, PDF
Referenties (tijdelijk te downloaden op https://www.dropbox.com/sh/4qfs647jt4j7qro/AAC27um2bEz2nPRr_N-y0KPDa?dl=0)
- Jayasinghe UW, Marsh HW, Bond N (2003) A multilevel cross-classified modelling approach to peer review of grant proposals: the effects of assessor and researcher attributes on assessor ratings. Journal of the Royal Statistical Society – Series A: Statistics in Society 166: 279–300.
- Jirschitzka, J., Oeberst, A., Goellner, R. (2017). Inter-rater reliability and validity of peer reviews in an interdisciplinary field. Scientometrics, 113(2), 1059-1092.
- Marsh, H.W., Jayasinghe U.W., Bond N.W. (2008). Improving the peer-review process for grant applicationsÐReliability,
Validity, Bias, and Generalizability. American Psychologist, 63(3), 160-168. - Mutz R, Bornmann L, Daniel H-D (2012) Heterogeneity of Inter-Rater Reliabilities of Grant Peer Reviews and Its Determinants: A General Estimating Equations Approach. PLoS ONE 7(10): e48509. doi:10.1371/journal.pone.0048509.
- Vaesen, K., & Katzav, J. (2017). How much would each researcher receive if competitive government research funding were distributed equally among researchers? PLoS One 12(9):e0183967.
- von Hippel T., von Hippel C. (2015) To apply or not to apply: A survey analysis of grant writing costs and benefits. PLoS One 10(3):e0118494.