Image

Säätiöt ja rahastot ry:n verkkosivujen mukaan sen jäsenet rahoittivat vuonna 2022 295 miljoonalla eurolla tiedettä, 76 miljoonalla eurolla taidetta ja 145 miljoonalla eurolla muuta yhteiskunnan kehittämistä. Vastaavasti Suomen Akatemia rahoitti vuonna 2022 tutkimusta 468 miljoonalla eurolla. Koneen Säätiöstä on tullut yksi keskeisimmistä suomalaisen tutkimuksen rahoittajista, erityisesti yhteiskuntatieteellisen ja humanistisen tutkimuksen aloilla.

Koneen Säätiön yleishaun budjetti hankkeille, jotka pääsääntöisesti aloittavat vuonna 2024, oli noin 44 miljoonaa euroa. Suomen Akatemian Kulttuurin ja yhteiskunnan tutkimuksen (KY) toimikunnan yleishaun budjetti tulee olemaan noin 60 miljoonaan euroa vuonna 2024. Koneen Säätiö ja Akatemian KY-toimikunta ovat siis rahoittajina verrattain samankokoisia.

Molemmat rahoittavat myös pitkälti samoja aloja. Kummallakin on merkittävää tutkimuspoliittista valtaa Suomessa. Kummankin rahoitusmuodot ovat samanlaisia (yksilö- ja projektihakemukset).

Merkittäviä erojakin löytyy.

Suomen Akatemiassa hakemukset ovat syyskuun yleishakujen (nykyään talvihaku) osalta vertaisarvioitu paneeleissa. Yhdessä paneelissa arvioidaan noin 50 hakemusta. Paneeleissa on noin 10–12 asiantuntijaa. Jokaisen hakemuksen arviointiin osallistuu vähintään kolme sille osoitettua panelistia. Yksittäisellä panelistilla on ”virallisella” vastuullaan maksimissaan noin 10 eri hakemuksen arvioiminen.

Hakemuksista kirjoitetut lopulliset arviointilausunnot perustuvat paneelikeskustelussa muodostettuun konsensukseen hakemuksien tutkimuksellisista ansioista. Tutkimuksellisia ansioita arvioidaan metodien ja toteutuksen, tutkimuksen uutuusarvon ja hakijan muiden ansioiden näkökulmasta. Vaikka jokaisen hakemuksen kohdalla arvioinnin vetovastuu on kolmella panelistilla, kaikki panelistit saavat osallistua keskusteluun hakemuksen tutkimuksellisista ansioista.

Suomen Akatemiassa erikseen nimitettävät toimikunnat tekevät rahoitusta koskevat päätökset. Kulttuurin ja yhteiskunnan tutkimuksen toimikunnassa on tällä hetkellä 11 jäsentä kotimaisista tutkimusorganisaatioista. Toimikunnalla on käytössään paljon aineistoa, kuten paneelien lausunnot hakemuksien tutkimuksellisista ansioista, itse hakemukset ja muu relevantti tieto, jonka Akatemian tiedeasiantuntijat ovat saattaneet nostaa esiin kokouksissa. Toisin kuin arvioitsijat paneeleissa, toimikunta saa vedota rahoituspäätöksissä tiedepoliittisiin seikkoihin, kuten yhteiskunnallinen vaikuttavuus, erityisesti kun kahden tai useamman hakemuksen tutkimukselliset ansiot eivät selvästi erottele niitä toisistaan.

Akatemia tarkistaa kaikilta osallistujilta jääviydet. Hakijoille lähetetään kaikissa tapauksissa rahoituspäätöksen perustelut. Ne sisältävät muun muassa paneelin arvioitsijoiden nimet, paneelin lausunnon hakemuksen tutkimuksellisista ansioista, mahdollisen sijoituksen paneelissa per rahoitusmuoto ja hakemuksen yleisarvosanan ja/tai arvosanat eri hakemuksen osa-alueista.

Akatemian arviointi- ja päätöksentekoprosesseissa on varmasti parannettavaa. Ne ovat kuitenkin suhteellisen läpinäkyviä ja perustuvat kansainvälisesti käytettyihin tutkimuksellisiin kriteereihin.

Koneen Säätiön tutkimuksen arviointi- ja päätöksentekoprosessi on säätiöistä läpinäkyvin. Säätiö käyttää yhtä asiantuntijaa arvioidessaan tietyn alan hakemukset. Tutkimusta ja taidetta arvioidaan korkealaatuisuuden, ansiokkuuden ja toteutettavuuden näkökulmasta. Säätiön omiin tutkimuksen ja taiteen painopisteisiin kuuluvat puolestaan moniäänisyys, rohkeus, ympäristöystävällisyys, pitkäjänteisyys ja vapaus.

Säätiö suosii yksittäisiä arvioitsijoita, koska säätiön mukaan näin tulee valituksi ”kiinnostavampia” hankkeita. Säätiö kokee vaarana, että monia arvioitsijoita sisältävä paneeli päätyisi tekemään kompromissivalintoja, jolloin kiinnostavat hankkeet jäisivät vaille rahoitusta.

Arvioitsijoiden jääviys tarkastetaan, ja jääviystapauksissa hakemukset siirretään toiselle arvioitsijalle. Vaikka työ tehdään itsenäisesti, arvioitsijoilla on mahdollisuus keskustella hakemuksista anonyymisti toisten arvioitsijoiden kanssa. Säätiön asiantuntija auttaa arvioitsijoita valitsemaan säätiön kannalta sopivimmat hankkeet. Edellisen perusteella arvioitsija esittää lyhytlistan säätiön hallitukselle rahoituspäätöksiä varten. Kovin tarkkoja kuvauksia siitä, miten ja millä kriteereillä säätiön hallitus tekee rahoituspäätökset en löytänyt.

Prosesseissa on paljon kiitettävää, kuten arvioitsijoiden vuosittainen vaihtuminen. Myös se, että säätiö painottaa arvioitsijoiden valinnassa laaja-alaisuutta on ymmärrettävä.

Koneen Säätiön verkkosivuillaan mainitsemat arviointiperusteet (korkealaatuisuus, toteutettavuus, rohkeus jne.) ovat oikeasuuntaisia, mutta epämääräisiä verrattuna Akatemian vastaaviin. Toisaalta tämä ei ole välttämättä huono asia. Tulkintavara kriteereissä antaa arvioitsijoille mahdollisuuden keskittyä kriteereihin, joiden perusteella alan tutkimusta tulisi arvioida. ”Toteutettavuus” voi olla parempi kuin ”metodit”, erityisesti humanistisen tutkimuksen aloilla, joissa tutkijat käyttävät pääasiassa samankaltaisia metodeja. Pitää kuitenkin lisätä, että säätiö luottaa myös liikaa yksittäisten arvioitsijoiden asiantuntijuuteen.

Säätiö vastaanottaa vuosittain yleishaussa yli 6 000 hakemusta, joita arvioi noin 50 asiantuntijaa. Keskimäärin yksi asiantuntija on siis vastuussa noin 120 hakemuksen arvioinnista. Hakemusten määrät ovat suuria yksittäisille arvioitsijoille. Ne ovat selkeästi suurempia kuin Suomen Akatemiassa. Voidaan myös kysyä, onko arvioitsijoilla tasapuolista asiantuntijuutta hakemusten arviointia ja vertailua varten. Asiaa ei helpota se, että säätiön arvioitsijoilla on käytössä suppea aineisto. Esimerkiksi yksilöhakemusten maksimipituus on neljä sivua.

Hakemusten suuri lukumäärä on yksi syy, miksi hakemusten pitää olla lyhyitä. Arvioinnin näkökulmasta kyseessä voi olla noidankehä. Suuren ja monimuotoisen hakemusjoukon tapauksessa tarvittaisiin luultavasti enemmän, ei vähemmän, informaatiota arviointia varten. Tutkimuksen arvion tueksi on kuitenkin usein lausunnot hakijasta/hakemuksesta. Lausuntojen arviointirelevanssi on keskustelunalaista. Lisäksi lausuntojen saatavuus voi asettaa hakijat eriarvoiseen asemaan heistä itsestään riippumattomista syistä.

Säätiön väite, että monet ”kiinnostavat” hankkeet tulevat rahoitetuksi, kun yksi arvioitsija on vastuussa hakemuksista, on pulmallinen. Kiinnostavuutta ei muualla mainita päätöksenteko- tai arviointikriteerinä. Kiinnostavuus on myös suhteellisen mielivaltainen kriteeri.

Ehkä termillä on kuitenkin tarkoitettu innovatiivisuutta, uutuusarvoa tai säätiön painottamaa rohkeutta. Tästäkin huolimatta on vaikea ymmärtää, miten kompromissien tekeminen liittyy siihen, että kiinnostava tutkimus jäisi rahoittamatta.

Tutkimuksen arvioinnin ei tarvitse – itse asiassa voisi väittää, ettei sen edes pidä – perustua arvioitsijoiden kompromisseihin, jotka vesittävät arviot ja ehdotukset, vaan konsensukseen. Konsensus saavutetaan siten, että osapuolet oikeuttavat asioita. Ei ole harvinaista, että tutkimusta arvioivissa paneeleissa asiantuntijat päivittävät arvioita hakemuksista keskustelun myötä.

Joskus alkuperäiset arviot vesittyvät, mutta se voi olla merkki siitä, että arvio ei ollut oikea. Olisikin tärkeää, että Koneen Säätiön painottama kriteeri hakemusten ”moniäänisyydestä” huomioitaisiin myös tutkimuksen arvioinnissa. Nykyisessä mallissa yksittäinen arvioitsija sanelee, mikä on kiinnostavaa ilman velvoitteita perustella väitteitä tai mahdollisuutta päivittää näkemyksiä muun aineiston valossa.

Se, että Koneen Säätiö ei julkaise arvioitsijoiden nimiä on ymmärrettävää. Anonymiteetin ongelma on, että arvioitsijoiden asiantuntijuutta, kytköksiä tai jääviyttä hakemusten/hakijoiden suhteen on mahdotonta ulkopuolisten arvioida. Arviointi- ja rahoituspäätöksien läpinäkyvyyttä ei paranna se, että säätiö ei perustele rahoituspäätöksiä hakijoille. Se ei valota, minkälaisille asiantuntija-arviolle päätökset perustuvat tai miten säätiöt muut painotukset vaikuttavat rahoituspäätöksiin.

Yllä oleva ei kuvaa vain Koneen Säätiötä, vaan koko yksityisen tutkimusrahoituksen kenttää. Rahoituspäätösten läpinäkyvyyden parantamiseksi on kuitenkin olemassa useita keinoja, jotka voisivat sekä vähentää arvioitsijoiden työtaakkaa että parantaa säätiöiden tekemien rahoituspäätösten luotettavuutta.

Säätiöiden tulisi panostaa parempiin hakuilmoituksiin. Niissä tulisi kertoa selvästi, millä tutkimuksellisilla ja/tai ei-tutkimuksellisilla kriteereillä hakemuksia arvioidaan missäkin vaiheessa.

Säätiöiden tulisi harkita useampien arvioitsijoiden käyttämistä hakemusten arvioinnissa. Alan sopiva arvioitsijoiden/asiantuntijoiden määrä riippuu hakemusten ja alan kuppikuntien lukumäärästä ja siitä, minkälaisia hakemuksia säätiöön saapuu. Useamman arvioitsijan käyttämisen etuna on myös, että arvioitsijat voivat käydä läpi vain asiantuntijuuttaan vastaavat hakemukset. Keskustelun perusteella arvioitsijat voivat esittää lopullisen lyhytlistan rahoituspäätöksiä varten. Jos paneeli pystyy yhdessä tekemään hyviä konsensusarvioita hakemuksista, arvioitsijoita ei tarvitse vaihtaa joka vuosi.

Jos useampi arvioitsija on vastuussa alan hakemusten arvioinnista, voidaan myös luopua anonymiteetistä. Arvioitsijoiden nimiä ei ole pakko julkaista rahoituspäätösten yhteydessä. Esimerkiksi lista arvioitsijoista, joiden ei tarvitse mainita alaa eikä määritellä missä haussa henkilöä on käytetty, voidaan julkaista puolen vuoden tai vuoden kuluttua päätöksistä.

Tällä tavalla anonymiteetti olisi osittaista ja väliaikaista. Se kuitenkin parantaisi arvioinnin ja päätöksenteon avoimuutta, koska hakijat ja tutkijayhteisö voisivat jälkikäteen tarkastaa, millaisia arvioitsijoita on käytetty. Jos kuitenkin anonymiteetistä halutaan pitää kiinni, säätiöiden pitäisi vähintään ottaa käyttöön perustelut rahoituspäätöksistä, jotka ovat hakijoiden saatavilla ja osoittavat, että hakemus on käynyt läpi arvioinnin.

Monet säätiöt eivät kuitenkaan anna palautetta hakemuksista, vedoten saapuvien hakemusten suureen määrään. Päätösten perustelu ei kuitenkaan ole sama asia kuin palauteen antaminen. Suomen Akatemialla ei ole velvollisuutta antaa palautetta hakemuksista (vaikka paneelit sitä loppuarvioissa usein haluavat hakijoille antaa), vaan perustella rahoituspäätökset. Rahoituspäätöksiä voidaan perustella hakijoille erilaisilla kustannustehokkailla tavoilla, joista alla tarjoan muutaman esimerkin.

Tutkimuksellisiin ansioihin perustuvien sijoituksien paljastaminen antaa hakijoille tietoa heidän hakemustensa suhteutumisesta muihin hakemuksiin. Nämä tiedot voivat olla suhteessa joko kaikkiin alan hakemuksiin tai lyhytlistalla oleviin hakemuksiin. Tietoa voidaan antaa myös siitä, perustuiko rahoituspäätös hakemuksen tutkimuksellisiin ansioihin vai sen (epä)sopivuuteen säätiön painopisteiden kanssa.

Yleisarvosanoilla voidaan tehokkaasti viestiä hakijoille, mikä oli asiantuntijan tai -tuntijoiden kokonaisarvio hakemuksen tutkimuksellisista ansioista. Luonnollisesti tämä vaatii, että arvioitsijoilla ja hakijoilla on selvästi määritelty esimerkiksi hakuilmoituksessa, miten eri arvosanat tulkitaan ja mitä kriteereitä tai näiden painotuksia edellisessä on otettu huomioon. Numeerisia arvoja voidaan käyttää hyväksi myös päätöksenteossa, kun vertaillaan, miten eri alat tai arvioitsijat ovat käyttäneet arvosteluasteikkoa. Monella tutkimusta rahoittavalla organisaatiolla on aineistoa siitä, että alojen välillä on eroja, miten kriittisiä ne arvioissa ovat.

Edellä mainitut toimet voidaan yhdistää kaksivaiheiseen päätöksentekomalliin, jossa ei-lyhytlistoille sijoitetut hakemukset päätetään ennakkoon yleisten tutkimuksen arviointiin liittyvien lausekkeiden tai yleisarvosanojen perusteella. Lyhytlistalle sijoittuneille hakijoille voidaan lähettää tarkemmat perustelut päätöksistä.

Hakemusten lukumäärät luultavasti myös vähenisivät, jos hakijat saisivat jonkinlaiset rahoituspäätösten perustelut. Sen sijaan tilanne, jossa hakija ei saa mitään perusteita rahoituspäätöksistä ja tietää arvioitsijoiden vaihtuvan vuosittain, houkuttelee lähettämään hakemuksen uudestaan säätiöön, vaikka hakemus ei olisi ansioiltaan erinomainen.

Erinomaiseksi arvioitujen hakemusten joukosta voidaan vaihtoehtoisesti myös valita satunnaisesti myönteisen rahoituspäätöksen saavat. Rahoitetuksi tulleita hakemuksia ei näin tarvitse perustella suhteessa muihin erinomaiseksi arvioituihin hakemuksiin. Monen tutkijan mielestä menetelmä on reilu. Tietyn laatukynnyksen ylittäneiden hakemusten joukossa on marginaalisia eroja ja/tai ne kaikki ansaitsisivat tulla rahoitetuksi. Menetelmä keventäisi ja nopeuttaisi prosesseja, ja vähentäisi tutkijakunnan rahoituspäätöksiin liittyvää henkistä taakkaa ja päätöksiin kohdistuvaa kritiikkiä. Toisaalta säätiöiden päättävät elimet luultavasti haluavat pitää kiinni oikeudestaan valita hakemusten joukosta ne, jotka parhaiten edustavat säätiöiden painotuksia ja kriteerejä.

Toinen yleisesti käytetty peruste, miksi säätiöt eivät halua antaa hakijoille hakemuksista rahoituspäätösten perusteluja, on vetoaminen asiantuntija-arvioiden subjektiivisuuteen. Kaikki tieteellinen vertaisarviointi on jossain mielessä subjektiivista, mutta se ei estä muita organisaatioita perustelemasta päätöksiä. Argumentti ei myöskään huomioi, että on olemassa subjektiivisuuden asteita, kuten myös keinoja vähentää arvioiden subjektivisuutta ja arviontiin liittyviä vinoumia (vrt. konsensuspäätökset yllä). Ongelmallisinta on kuitenkin se, että väite subjektiivisuudesta on lähes kehäpäätelmä. Arvioiden korkea subjektivisuuden aste seuraa säätiöiden arviointimenetelmästä, jossa yksi asiantuntija on vastuussa arvioinnista.

Yllä olevat ehdotukset eivät kasvata arvioitsijoiden taakkaa, vaan päinvastoin, jos useampi arvioitsija osallistuu prosessiin. Joka tapauksessa hyödyt ylittäisivät haitat. Prosessit eivät olisi vain läpinäkyvämpiä vaan perustuisivat luotettavimmille arvioinneille hakemuksien ansioista. Edellinen auttaisi säätiöitä parempien rahoituspäätöksien tekemisessä eikä varmasti tekisi hallaa julkisuuskuvalle.

Säätiöt väittävät, että hakemukset vertaisarvioidaan tutkimuksellisten ansioiden perusteella ja että rahoituspäätökset perustuvat noihin arvioihin. Hämmentävästi edes rahoituspäätösten kohteet eivät saa todisteita näiden väitteiden tueksi.

En tiedä millä termillä pitäisi kutsua vertaisarviointia vailla sekä vertaisuuden että arvioinnin verifiointia. Hyväksi tutkimuksen (ja taiteen) arvioinnin käytännöksi sitä ei oikein voi kutsua.

•

Lue myös:

Tutkimusrahoituksesta, humanistisesta sivistyksestä ja suomalaisen tieteen tilasta

Tutkimuksen arviointi muutoksessa

Tieteen hyöty

•

Keskustelu-osiossa julkaistaan tieteeseen tai tiedeyhteisöön liittyviä mielipidekirjoituksia, jotka edustavat niiden kirjoittajien omia näkemyksiä. Voit tarjota osioon omia puheenvuorojasi. Lue ensin ohjeet kirjoittajalle.