Tutkimuksen ja tutkijoiden arviointiin on kohdistunut viime vuosikymmenen aikana muutospaineita. Nykyisiä arviointijärjestelmiä on kritisoitu muun muassa siitä, että ne korostavat liiaksi helposti mitattavia suoritteita, kuten julkaisumääriä tieteellisissä lehdissä, joilla on korkea vaikuttavuuskerroin. Laadullisemmat, vaikeammin mitattavissa olevat ansiot, kuten tutkimuksen tai opetuksen laatuun tai avoimuuteen liittyvät ansiot, jäävät arvioinneissa vähäisemmälle huomiolle.

Keskusteluissa on myös korostettu sitä, että tutkijan roolit ja mahdolliset urapolut tulisi nähdä nykyistä monipuolisemmin suhteessa ympäröivään yhteiskuntaan (muun muassa Alankomaiden tutkimusjärjestelmän Recognition and Rewards -ohjelma). Esimerkiksi monimutkaisten yhteiskunnallisten haasteiden ratkaiseminen edellyttää uudenlaista erilaisten toimijoiden välistä yhteistyötä.

Tutkimuksen arviointia sovelletaan yksittäistä tutkijaa koskevissa rahoitus- ja rekrytointipäätöksissä. Arviointikriteerit luovatkin yksilöille kannustimia käyttäytyä tietyllä tavalla. Koska arviointijärjestelmät ohjaavat yksilöitä tietynlaiseen toimintaan, järjestelmät ovat tärkeitä myös yliopistoille ja muille tiedeorganisaatioille, jotka pyrkivät omiin strategisiin tavoitteisiinsa. Isossa kuvassa arviointijärjestelmät ovat tärkeitä, koska ne vaikuttavat laajemmin tiedontuotantoon.

Tarkastelemme tässä katsauksessa, mitä tutkimuksen arvioinnin uudistamiseen tähtääviä prosesseja on menossa ja mitä ne tarkoittavat suomalaisten yliopistojen näkökulmasta. Esittelemme myös vaikuttavuusportfolio-mallin, joka on kehitetty eurooppalaisessa hankkeessa. Se on yksi esimerkki tavoista, joilla yliopistot voisivat monipuolistaa nykyistä arviointiin liittyvää tiedonkeruutaan ja siten tietopohjaa, jolla keskeiset akateemiset rekrytointipäätökset tehdään.

Tutkijoihin ja tutkimustyöhön kohdistuu nykyään laajasti odotuksia muun muassa erilaisten yhteiskunnallisten haasteiden ratkaisemiseksi. Tutkijoiden halutaan olevan yhä enemmissä määrin yhteiskunnallisessa vuorovaikutuksessa eri toimijaryhmien kanssa.

Tiedepoliittisissa dokumenteissa korostuukin tarve avata tutkimusprosesseja ja tutkimuksen tuloksia paitsi tiedeyhteisön sisällä, myös maailmanlaajuisesti ja suhteessa yhteiskuntaan (esimerkiksi UNESCO 2021). Voidaan väittää, että perinteinen pääasiassa tutkimusjulkaisuihin painottuva arviointijärjestelmä ei vastaa niihin moninaisiin odotuksiin, joita yhteiskunta tutkimukselle ja tutkijoille asettaa.

Tutkimukseen liittyvät tulokset ja aineistot halutaan suomalaisissakin politiikkadokumenteissa saattaa avoimiksi, mikäli niiden salaamiselle ei ole erityisiä perusteita (esimerkiksi Avoimen tieteen koordinaatio 2020). Tutkimuksen avoimuudella pyritään muun muassa siihen, että tieteen laatu ja luotettavuus paranisivat ja että aineistoille sekä tuloksille avautuisi uusia käyttömahdollisuuksia (esimerkiksi Allen ja Mehler 2019; Leonelli ym. 2015). Avoimen tieteen hyödyt nähtiin esimerkiksi koronaviruspandemian aikana, jolloin tarve jakaa tutkimusaineistoja ja -tuloksia reaaliajassa konkretisoitui.

Vaikka muutospaineita on, tutkijoihin ja tutkimukseen kohdistuvat arviointijärjestelmät ovat edelleen yleensä varsin yksiulotteisia. Useiden tutkimusten ja selvitysten mukaan (esimerkiksi Rice ym. 2020; Saenen ym. 2019; Pietilä 2019) tietyt tutkimukseen liittyvät suoritteet, kuten vertaisarvioidut artikkelit ja saatu tutkimusrahoitus, painavat akateemisissa rekrytointi- ja ylentämispäätöksissä.

Tutkimustuotoksista suurin huomio keskittyy perinteisiin julkaisuihin, kun taas muut mahdolliset tutkimustuotosten muodot, kuten kerätyt aineistot tai kehitetyt koodit, eivät tyypillisesti saa vastaavaa painoarvoa. Indikaattoreista etenkin julkaisut korkean vaikuttavuuskertoimen lehdissä ja H-indeksi ovat edelleen laajasti käytössä eurooppalaisissa yliopistoissa, vaikka niihin on kohdistunut paljon kritiikkiä (Saenen ym. 2019, 25). Arvioinneissa vastaavaa painoarvoa eivät saa akateemisen työn muut puolet, kuten uuden tutkijasukupolven kasvattaminen tai tutkimusyhteistyö yliopiston ulkopuolisten toimijoiden kanssa.

Oma lukunsa on avoimen tieteen huomiointi osana akateemisia urajärjestelmiä. Vaikka tieteen avoimuuteen kohdistuu tällä hetkellä vahvoja poliittisia odotuksia, tutkijoita ei yksilötasolla juurikaan palkita avoimen tieteen ansioista, kuten tutkimusaineistojen avaamisesta, tutkimusten ennakkorekisteröinnistä tai julkaisujen saattamisesta avoimeen muotoon (Rice ym. 2020; Saenen ym. 2019).

Useat viime vuosina annetut suositukset, kuten DORA-julistus (San Francisco Declaration on Research Assessment 2013), Leidenin manifesti (2015) ja Hong Kongin tutkimuksen arvioinnin periaatteet (2020), sisältävät toimenpide-ehdotuksia arvioinnin kehittämiseksi.

Konkreettisina toimenpiteinä jotkin eurooppalaiset tutkimusrahoittajat ovat ottaneet käyttöön narratiivisia ansioluettelomalleja, joissa tutkijat voivat tuoda esiin yksilöllisiä vahvuuksiaan ja taitojaan, tutkimus- ja opetustyönsä sisältöä sekä työnsä laajempaa vaikuttavuutta (katso Curry ym. 2020). Narratiivisia arviointikäytäntöjä on kehitetty esimerkiksi Alankomaissa, Belgiassa ja Norjassa. Lisäksi kolmessa Euroopan maassa – Alankomaissa, Suomessa ja Norjassa – on tuotettu kansalliset vastuullisen arvioinnin suositukset (VSNU ym. 2019; Vastuullisen tutkijanarvioinnin työryhmä 2020; Universities Norway 2021).

Kansallisten aloitteiden lisäksi eurooppalainen yhteistyö tiivistyy. Heinäkuussa 2022 joukko keskeisiä eurooppalaisia tiedepolitiikan toimijoita julkaisi sopimuksen tutkimuksen arvioinnin uudistamiseksi (Agreement on reforming… 2022; katso myös Euroopan komissio 2021). Sopimuksen valmistelutyössä on ollut mukana yli 350 organisaatiota, joiden joukossa oli yliopistoja, tutkimusrahoittajia sekä tieteellisiä seuroja yli neljästäkymmenestä maasta. Suunnitteluvaiheen prosessissa on ollut mukana kahdeksan suomalaista yliopistoa sekä keskeisiä tutkimussektorin toimijoita, kuten Suomen Akatemia ja Tieteellisten seurain valtuuskunta.

Myös Euroopan Komission aloite eurooppalaisen tutkijanurakehyksen luomiseksi osana eurooppalaisen tutkimusalueen (ERA) toimia linkittyy keskeisesti tutkijanarvioinnin uudistamiseen.

Työskentelemme kymmenen eurooppalaisen yliopiston muodostaman YUFE-yliopistoverkoston YUFERING-hankkeessa, jolla on Horisontti 2020 -rahoitus. Hankkeessa mietitään keinoja, joilla voitaisiin monipuolistaa tutkijoiden ja tutkimuksen arviointia.

Kehitteillä olevan vaikuttavuusportfolion tavoitteena on tuoda akateemisen työn eri osa-alueet ja tutkijan ansiot monipuolisesti esiin. Sen on tarkoitus huomioida paitsi ansiot tutkimuksessa ja opetuksessa, myös johtamisessa ja tiimityössä (mukaan lukien toiminta akateemisessa yhteisössä, kuten vertaisarviointi- ja toimitustehtävät) sekä yhteiskunnallisessa vuorovaikutuksessa. Tämän lisäksi portfolion tavoitteena on tuoda lisänäkyvyyttä ansioille avoimessa tieteessä. Tällaisina voidaan pitää esimerkiksi tutkimusaineistojen ja julkaisujen avaamista sekä kansalaisten ja sidosryhmien osallistamista tutkimusprosesseihin.

Portfoliomallin taustalla on huomioitu edellä mainittuja suosituksia tutkimuksen arvioinnin kehittämiseksi, raportteja ja esimerkkejä tutkijanarvioinnin monipuolistamiseksi (esimerkiksi Wouters ym. 2019; O’Carroll ym. 2017) sekä kansainvälisiä esimerkkejä narratiivisista ansioluettelomalleista, kuten ACUMEN-portfolio ja brittiläinen Résumé for Researchers. Lisäksi olemme huomioineet YUFE-yliopistoverkostoon kuuluvien yliopistojen nykyisiä arviointikäytäntöjä ja kansallisia suosituksia.

Osana hanketta olemme myös tutkimushaastatteluin selvittäneet, miten tutkijoiden ansioita tällä hetkellä arvioidaan rekrytointilanteissa, mitkä kriteerit painottuvat akateemisella uralla edettäessä ja miten tutkijat haluaisivat muuttaa nykyistä arviointijärjestelmää.

Työn tuloksena olemme kehittäneet pilottiversion vaikuttavuusportfoliosta. Tutkijalähtöistä narratiivia tutkijan tärkeimmistä ansioista ja niiden merkityksestä pyydetään portfoliossa täydentämään määrällisellä ja laadullisella indikaattoritiedolla, jolla tutkija voi osoittaa työnsä vaikuttavuuden, kuten tieteellisen vaikuttavuuden (esimerkiksi tieteelliset palkinnot) tai yhteiskunnallisen vaikuttavuuden (esimerkiksi politiikkadokumenttien viittaukset tutkimukseen).

Käytännössä portfoliomalli korostaa tutkimuksen ja muun akateemisen työn ansioiden sisältöä ja vaikuttavuutta määrän sijaan. Toisaalta malli mahdollistaa työn vaikuttavuuden osoittamisen kullekin tieteenalalle sopivin määrällisin tai laadullisin indikaattorein.

Hankkeessa on tullut ilmi myös olemassa olevan datan vähäisyys ja hajanaisuus esimerkiksi avoimen tieteen joidenkin osa-alueiden osalta. Tämä korostaa tarvetta kehittää infrastruktuureja (vertaa Mustajoki ym. 2021).

Portfoliota on pilotoitu ensimmäiseksi osana Itä-Suomen yliopiston akateemisia rekrytointiprosesseja. Tavoitteena on monipuolistaa akateemisessa rekrytoinnissa käytettävissä olevaa tietopohjaa ja tuoda tutkijoiden moninainen osaaminen näkyviin sekä päätöksentekijöiden arvioitavaksi.

Vaikuttavuusportfolion tai muun dokumentaation lisääminen ei toki yksinään muuta perusteita, joilla akateemiset rekrytointipäätökset toteutetaan. On viime kädessä yliopistojen, yksiköiden ja päättävien tahojen päätettävissä, mitä tuotoksia ja aktiviteetteja ne eniten arvostavat ja mille tekijöille ne antavat painoarvoa.

Suomalaiset yliopistot voivat harjoittaa omanlaistaan henkilöstöpolitiikkaa lainsäädännön rajoissa. Maan pienuus ja tutkijaliikkuvuus huomioiden lienee silti järkevää, että yliopistot tarkastelevat arviointikäytäntöjään yhteistyössä ja seuraavat meneillään olevaa eurooppalaista uudistustyötä. Ei esimerkiksi olisi mielekästä lisätä tutkijoiden työmäärää eriyttämällä dokumentaatiota, jota eri yliopistot edellyttävät tutkijoiden tuottavan osana haettaessa työtä tai tutkimusrahoitusta.

Opetusministeriön rahoitusmalli kannustaa yliopistoja painottamaan yksilötason arvioinnissa perinteisiä tutkimukseen liittyviä indikaattoreita, kuten julkaisumääriä ja saatua tutkimusrahoitusta. Mikäli eurooppalaiseen uudistamistyöhön halutaan sitoutua vakavasti, olisi hyvä pohtia kansallisella tasolla kannustimia yliopistoille arviointijärjestelmien päivittämiseksi.

Suomessa vuonna 2020 julkaistu Tutkijan arvioinnin hyvät käytännöt -suositus edistää eurooppalaisen uudistuksen mukaista vastuullista arviointia. Suositus sisältää hyviä käytänteitä koskien arviointiprosessin rakentamista, tutkimuksen arviointia, tutkijan tehtävien monimuotoisuutta ja tutkijan osallisuutta arviointiin (Vastuullisen tutkijanarvioinnin työryhmä 2020).

Tänä vuonna julkaistu toimintakulttuurin avoimuuden kansallinen linjaus asettaa organisaatioille vastuullisen arvioinnin tavoitteet ja toimenpiteet (Avoimen tieteen koordinaatio 2022a). Sen ohella on julkaistu avoimen toimintakulttuurin palveluiden itsearviointityökalu, joka sisältää vastuullisen arvioinnin tarkistuslistan (Palvelut avoimen FAIR-­toimintakulttuurin edistäjinä ­työryhmä 2022). Organisaatioiden toimia vastuullisen arvioinnin edistämiseksi seurataan kansallisella tasolla osana tänä vuonna alkanutta avoimen tieteen seurantaa (Avoimen tieteen koordinaatio 2022b).

Arviointijärjestelmiä ei ole realistista tai edes eettistä muuttaa kokonaisuudessaan ”yhdessä yössä”. Ensimmäisten kansainvälisten kokemusten perusteella narratiivisuutta painottavien ansioluettelomallien käyttöönotto vaatii laajaa ohjeistusta sekä tutkijoille että arvioitsijoille. Narratiivisuutta painottavat mallit voivat myös suosia äidinkielenään englantia tai Suomen tapauksessa suomea tai ruotsia puhuvia tutkijoita. (Adams ym. 2021.)

Onkin selvää, että arviointijärjestelmien muutokset tulee suunnitella huolella yhteistyössä tiedeyhteisön jäsenten kanssa. Muutoksia ja niiden seurauksia tulee myös tutkia ja arvioida kriittisesti.