Akateemisen rekrytoinnin käytännöt ovat muutoksessa. Keväällä 2024 Suomen Akatemia julkisti uuden vastuullista tutkijanarviointia edistävän toimintasuunnitelmansa. Helsingin yliopisto taas ulkoisti tohtorikoulutukseen hakevien pätevyysarvioinnin osin ulkopuolisille arvioitsijoille sekä kaupallisille toimijoille.

Vaikka uudistusten välillä on eroja, molempia on perusteltu prosessien objektiivisuuden parantamisella, mutta ne – näin väitämme – uhkaavat syrjäyttää tiedeyhteisön sisäisiä laadunvalvontamekanismeja. Uudistuksia ohjaava objektiivisuuden käsite on epäselvä, ja se vaikuttaa olevan ristiriidassa sellaisten tieteen sisäisten käytänteiden kanssa, jotka ovat ylläpitäneet objektiivisuutta.

Yleisesti käytettyä englanninkielistä human resources lyhennettä mukaillen kutsumme tätä implisiittistä käsitystä ”HR-objektiivisuudeksi”. Avaamme seuraavassa, miten ja miksi HR-objektiivisuus on uhka tieteen laadulle ja autonomialle.

Suomen Akatemia on ottanut käyttöön uuden vastuullisen arvioinnin ohjeistuksen. Sen taustalla on Akatemian sitoutuminen kansainvälisiin sekä kansallisiin julistuksiin tutkijan ja tutkimuksen arvioinnin kehittämisestä. Uuden ohjeistuksen mukaan tutkijan tieteellisten saavutusten arvioinnissa ei tulisi huomioida esimerkiksi tieteellisten lehtien vaikuttavuuskertoimia, joiden tarkoitus on kuvata eri lehtien tieteellistä korkeatasoisuutta. (Suomen Akatemia 2024.)

Linjaus on järkevä: vaikuttavuuskertoimia ei alun perinkään olla tarkoitettu yksittäisen tutkijan arviointiin. Ohjeistus menee kuitenkin pidemmälle. Sen mukaan arvioinnin tulee perustua julkaisujen tulosten sisältöön ja laatuun, ei niiden lukumäärään tai julkaisupaikkaan.

Ohjeistuksen taustalla olevat periaatteet ovat kannatettavia. Ideaalitapauksessa arvioinnin tulisi perustua suoraan tutkimuksen sisältöön eikä epäsuoriin ja usein vinoutuneisiin laadun indikaattoreihin, kuten viittausmääriin tai siihen, missä se on julkaistu.

Käytännössä linjaus johtaa kuitenkin absurdeihin seurauksiin. Kun valintatyöryhmä esimerkiksi laatii hakijoista lyhytlistausta, se ei todellisuudessa pysty arvioimaan hakijoiden tutkimustuotoksia sisällöllisesti. Tähän on ainakin kaksi syytä.

Ensinnä työryhmällä ei pääsääntöisesti ole kaikkien hakijoiden tasavertaiseen arviointiin tarvittavaa erityisasiantuntemusta. Tiukasti määritellyt jääviyssäännöt usein johtavat käytännössä siihen, etteivät parhaat asiantuntijat pysty osallistumaan työryhmään.

Toiseksi luettavan materiaalin määrä on aivan liian suuri. Akateemisiin hakuihin tulee usein jopa satoja hakemuksia, ja jokainen hakija tyypillisesti toimittaa hakemuksensa liitteenä useita julkaisuja. Jos työryhmän jäsenet itsenäisesti arvioisivat hakijoiden tutkimusansiot, se edellyttäisi heiltä satojen tutkimusartikkelien huolellista lukemista sekä niissä esitettyjen tutkimustulosten tunnistamista ja arviointia. On selvää, että käytettävissä olevan työajan puitteissa tehtävä on mahdoton.

Vastuullisen arvioinnin ohjeistuksessa pidetään huonona indikaattorina statusta, jonka tiedeyhteisö on määrittänyt julkaisupaikalle eli tyypillisesti tieteelliselle lehdelle, mutta miksi näin on? Ainakin niillä aloilla, jotka allekirjoittaneet tuntevat, tällaiset statukset ovat varsin objektiivisia ainakin siinä mielessä, että niistä vallitsee laaja yhteisymmärrys tiedeyhteisöissä. Toisin sanoen tietyllä tutkimuskentällä toimivat tutkijat ovat varsin yksimielisiä siitä, kuinka korkeatasoisia eri julkaisupaikat ovat.

Yleisesti tunnustetut julkaisupaikkojen statushierarkiat ovat itseään toteuttavia ennusteita. Ne ohjaavat tutkijoiden tekemiä taktisia valintoja siitä, mihin lehtiin he lähettävät tuotoksiaan, ja sitä, miten lehtien käyttämät vertaisarvioijat kalibroivat arviointikriteerejään. Tutkijat lähettävät huippulehtiin vain parhaita tuotoksiaan, ja tasokkaimpien lehtien vertaisarvioitsijat pitävät rimaa korkealla. Näin ollen tieteellisen lehden status heijastaa tiedeyhteisön itse suorittamia itsearvioinnin prosesseja.

Akatemian peruste tiedeyhteisön itsearviointia koskevalle skeptisyydelle on ilmeisesti se, että tällaiset statushierarkiat ovat liian epämääräisiä ja läpinäkymättömiä, jotta ne soveltuisivat ihmisiä koskevien päätösten perusteiksi. Lehtien statukset eivät ole virallisia eikä niitä ei ole muodostettu läpinäkyvästi. Sen sijaan ne syntyvät spontaanisti ja niitä ylläpitävät tiedeyhteisön sosiaaliset käytännöt ja verkostot. Ne eivät siis ole HR-objektiivisia.

Tietenkään statushierarkiat eivät ole ongelmattomia indikaattoreita tutkimuksen laadulle. Ne ovat kuitenkin tärkeä osa tieteen sosiaalista järjestelmää. Vaihtoehto tieteellisten lehtien statushierarkialle ei ole tiede ilman epäsuoria laatuindikaattoreita, jossa tutkimuksen laatu on jollain tavoin suoraan tutkijan tavoitettavissa ilman tarkempaa perehtymistä, vaan jokin toinen indikaattori.

Laajennetaan hetkeksi näkökulmaa. Tieteen volyymi on aivan liian suuri siihen, että tutkijat – siis myös arviointitilanteiden ulkopuolella – perehtyisivät kaikkeen relevantilta näyttävään julkaistuun tutkimukseen. Hakusanojen ja hakukoneiden mahdollistamien relevanssi-indikaattorien lisäksi tiedeyhteisö tarvitsee jonkin, vaikkakin epätäydellisen, indikaattorin tutkimuksen merkittävyydestä. Muuten merkittävän tiedon signaali hukkuu auttamatta globaalin julkaisutulvan hälyyn.

Jos esimerkiksi lehtien epävirallista statusta, viittausmääriä tai vaikuttavuuskertoimia ei voida käyttää, vaihtoehtoiset laadun indikaattorit, kuten kirjoittajan oma maine tai hänen kotiyliopistonsa maine, nousevat helposti entistä tärkeämmiksi. Ne taas vahvistavat Matteus-vaikutusta ja vallitsevien sosiaalisten verkostojen merkitystä. Matteus-vaikutuksella tarkoitetaan etujen ja ansioiden kasaantumista niille, joilla niitä on jo ennestään paljon.

Lehtien statushierarkiaan perustuvalla arvioinnilla on tutkijayhteisön sisäistä meritokratiaa edistäviä vaikutuksia. Arvostettuun lehteen päätynyt tutkimus on monilla aloilla käynyt läpi tuplasokkona suoritetun vertaisarvioinnin, jolloin kaikilla tutkijoilla ja yliopistoilla on ainakin periaatteessa mahdollisuus saada äänensä kuuluviin. Näin lehtien väliset tasoerot voivat edistää tutkijoiden tasavertaisuutta: riippumatta tutkijan taustasta, tuplasokkona vertaisarvioitu julkaisu korkeatasoisessa lehdessä tarjoaa hänelle mahdollisuuden saavuttaa näkyvyyttä ja vaikuttavuutta tutkimustuloksilleen ja meritoitua tutkijanurallaan.

Samalla kun vastuullisen arvioinnin ohjeistus korostaa tiedeyhteisön epävirallisten laatuindikaattorien epäluotettavuutta, se myös tekee epärealistisen oletuksen arviointia suorittavien asiantuntijoiden virheettömyydestä. Kuten edellä totesimme, arviointiin käytössä oleva aika on rajallinen, ja kukin arvioija tuo tilanteeseen asiantuntijuutensa lisäksi myös omat henkilökohtaiset vinoumansa. Totta kai arvioitsijoiden asiantuntemusta ja harkintaa tarvitaan tutkimustuotosten arvioinnissa, mutta usein tämä asiantuntijuus on nimenomaan tiedeyhteisön määrittämän statushierarkian kriittistä ja tarkoituksenmukaista soveltamista kyseisessä rekrytointitilanteessa.

Koska uusi vastuullisen arvioinnin ohjeistus on ilmeisen mahdoton käytännössä toteuttaa, sillä tulee olemaan vaikutusta lähinnä rekrytointipäätösten julkilausuttuihin perusteisiin, ei arvioinnissa todellisuudessa käytettyihin perusteisiin. On kuitenkin olemassa vaara, että jotkut ottavat tämän linjauksen tosissaan tai että valintatyöryhmiä hallinnoivat HR-asiantuntijat alkavat toden teolla valvoa sen toteutumista arviointikokouksissa. Tällä voisi olla merkittäviä haittavaikutuksia suomalaiselle tutkimukselle kansainvälisillä tutkimuskentillä.

Suomi ei voi yksipuolisesti siirtyä tiedeyhteisöjen tosiasiallisten arviointikäytäntöjen ulkopuolelle vahingoittamatta suomalaisen tieteen mainetta maailmalla. Jos yliopistolle rekrytoidaan tutkijoita, jotka eivät ole julkaisseet korkeatasoisimmissa tieteellisissä lehdissä, yliopiston sijoitus laskee kansainvälisissä yliopistolistauksissa.

Lisäksi jos ja kun laadun arviointi ei perustu yleisesti tunnustettuihin indikaattoreihin, vaan laadun ”suoraan” arviointiin, määrän priorisointi laadun kustannuksella näyttää tutkijan näkökulmasta turvalliselta strategialta. Yksittäisen huippuartikkelin tuottamisen sijasta kannattaa julkaista useita artikkeleita, periaatteessa millä foorumilla tahansa. Näin on siksi, että yksittäisen tutkijan näkökulmasta on vaikea ennustaa, mitä laadun suora arviointi oikeastaan tarkoittaa. Tämäkin huonontaisi suomalaisen tieteen kansainvälistä mainetta ja pahentaisi yleistä tieteellisen kirjoittamisen ylituotannon ongelmaa entisestään.

Palkallinen tohtoriopiskelijapaikka tarjoaa monin tavoin parhaat edellytykset tohtorintutkinnon suorittamiseen ja siten parhaan väylän tiedeyhteisön täysivaltaiseen jäsenyyteen. Palkkapaikkoihin käytettyjen resurssien tarkoituksenmukainen kohdentuminen on tiedeyhteisön uusiutumiselle ensiarvoisen tärkeää. Siksi tohtoriopiskelijoiden valinta on tiedeyhteisön kannalta tärkeä laadunvalvonnan tilanne.

HR-objektiivisuuden vaikutus myös näkyy siinä, kuinka Helsingin yliopisto uudisti tohtorikoulutettavien valintaa. Valintaprosessiin tehtiin kaksi paljon keskustelua herättänyttä muutosta, joista molempia perusteltiin objektiivisuuden lisäämisellä: Tutkimussuunnitelmien tieteellinen arviointi siirrettiin tohtoriohjelmien ulkopuolisille tieteellisille asiantuntijoille, ja rekrytointiprosessiin lisättiin kaupallinen kognitiivisia kykyjä ja persoonallisuuspiirteitä testaava soveltuvuusarviointi. Kyvykkyysarvioinnin käyttöönottamista on perusteltu sillä, että Helsingin yliopisto on hakemassa Euroopan komission myöntämää HR Excellence in Research -sertifikaattia.

Kaupallinen soveltuvuus- ja persoonallisuustesti on jo kohdannut paljon kritiikkiä, ja sitä on kritisoinut muun muassa yliopiston kansleri. Myös esimerkiksi Helsingin yliopiston Tieteentekijöiden liiton kannanotto osoittaa useita ongelmia tässä ulkoisessa testaamisessa (Tieteentekijät 2024; katso myös Koskinen ja Seppälä 2024). Keskeinen ongelma kaupallisen soveltuvuustestin käytössä on tietenkin, että kaupallisena tuotteena sen validiteetista ei ole minkäänlaista riippumatonta tieteellistä näyttöä. Koska ehdotuksen ongelmia on jo laajasti puitu muualla, emme käsittele niitä tässä tämän enempää.

Erityisesti testin persoonallisuuspiirteitä kartoittava osio yksinkertaisesti ulkoistaa tiedeyhteisön ulkopuoliselle auktoriteetille päätöksen siitä, minkälaiset ihmiset ovat arvokkaita tiedeyhteisön jäseniä. Henkilöstöhallinnon pyrkimys näennäiseen yhdenvertaisuuteen ja HR-objektiivisuuteen syrjäyttää näin tieteen sisäisiä objektiivisuutta tuottavia mekanismeja.

Soveltuvuustestillä ei todennäköisesti ole merkittäviä välittömiä vaikutuksia tohtorikoulupaikkojen jakoon, koska tohtoriohjelmien johtoryhmät voivat huomioida testien tulokset haluamallaan tavalla. Vastuullisesti toimivat johtoryhmät voivat yksinkertaisesti sivuuttaa testien tulokset.

Testi voi kuitenkin tuottaa merkittävää mainehaittaa suomalaiselle tieteelle. Menestyäkseen suomalaisten yliopistojen on yhä enemmän kilpailtava parhaista jatko-opiskelijoista kansainvälisillä markkinoilla, joten tieto ilmeisen epätieteellisen ja pahimmillaan nöyryyttävän soveltuvuustestin käytöstä ei ainakaan paranna suomalaisten yliopistojen houkuttelevuutta.

Toisessa Helsingin yliopiston tohtorikoulutukseen liittyvässä uudistuksessa tutkimussuunnitelmien arviointia ulkoistetaan riippumattomille alan asiantuntijoille. Uudistus vaikuttaa päällisin puolin hyvältä tieteen sisäisen laadunvalvonnan ja objektiivisuuden vahvistamiselta. Myös tätä uudistusta tohtorikoulun johto perustelee objektiivisuuden lisäämisellä, jossa vain tutkimussuunnitelman “erinomaisuudella” on merkitystä valinnalle. Ongelma on kuitenkin juuri tässä.

Tasapuolisuuden ja objektiivisuuden nimissä ulkoiset arvioitsijat eivät nimittäin saa käyttöönsä muuta informaatiota, kuten oppiaineiden ja ohjaajien lausuntoja hakijoista. Oletuksena siis on, että muutaman sivun pituinen kirjoitelma suunnitellusta tutkimuksesta on luotettavampi indikaattori hakijan “erinomaisuudesta” ja potentiaalista tieteelliselle uralle kuin häntä monta vuotta opettaneiden, ohjanneiden ja maisterintutkielman lukeneiden asiantuntijoiden henkilökohtaiset kokonaisarviot.

Tässäkin tapauksessa ainakin vastuulliset johtoryhmät arvioivat ainakin kärkihakemukset myös itse nojaten ulkoisten arvioiden lisäksi tulevien ohjaajien lyhyisiin lausuntoihin. Periaatteellinen ero anglosaksiseen malliin, joka nojaa perusteellisiin suosituksiin ja pitkään kirjoitusnäytteeseen, on kuitenkin merkillepantava.

HR-objektiivisuuden näkökulmasta hakijoiden ohjaajien arviot ja suositukset lienevät ongelmallisia, koska ne saattavat sisältää henkilökohtaisia vinoumia ja näkökohtia, jotka eivät liity varsinaiseen tutkijan työhön. Tämä pitää tietenkin paikkansa, mutta arvioiden mahdolliset ongelmat pitää suhteuttaa niiden informaatioarvoon.

Tutkimussuunnitelma täytyy kaiken lisäksi kirjoittaa yliopiston yhteiselle lomakepohjalle – jälleen kerran yhdenvertaisuuden nimissä. Pohja kuitenkin istuu varsin huonosti humanistis-yhteiskuntatieteellisille aloille. Näillä aloilla epätarkoituksenmukainen formaatti vähentää sitä, kuinka paljon tutkimussuunnitelma ennakoi tulevan väitöskirjatyön laatua.

Tieteenfilosofiassa on nykyisin varsin yleisesti hyväksytty ajatus, jonka mukaan tieteellisen tiedon objektiivisuus ei ole seurausta algoritmin kaltaisen Tieteellisen Menetelmän käytöstä. Sen sijaan tieteellisen tiedon objektiivisuus edellyttää järjestelmällistä kriittisyyttä, jaettuja standardeja ja sosiaalisia käytäntöjä, jotka ylläpitävät tiedon avoimuutta (esimerkiksi Longino 2020). Nämä käytännöt ovat kuitenkin osin epämuodollisia, eikä niitä toisin sanottuna ole täysin institutionalisoitu virallisiksi prosesseiksi, joilla olisi julkilausutut perustuskirjat ja säännöt.

Merkittävä osa tiedeyhteisön toiminnasta nojaa hiljaiseen tietoon, perinteeseen ja jaettuun eetokseen hyvästä akateemisesta kansalaisuudesta. HR-objektiivisuus tunnustaa kuitenkin vain viralliset institutionaaliset rakenteet, ja se pitää hiljaiselle tiedolle nojaavia asiantuntija-arvioita uhkana tasavertaisuudelle. Syrjäyttämällä tieteen sisäisiä laadunvalvontamekanismeja HR-objektiivisuus heikentää akateemista vapautta ja tulee myös syrjäyttämään tieteellisen tiedon objektiivisuutta.

•

Artikkelin pääkuvan lähde: Istockphoto.

•

Lue myös:

Julkaisumetriikkaa tulee käyttää järkevästi – Suomessa tehdään kansallista yhteistyötä vastuullisuuden edistämiseksi

Tekoälymallit ihmisälyn peilinä – Myös ihmiset suoltavat usein sujuvaa paskapuhetta

Yliopistojen hidas kuolema – katsaus yliopistolistausten aiheuttamiin inhimillisiin tragedioihin