Julkaisumetriikan suosio on kasvanut nopeasti helppokäyttöisten työkalujen tarjonnan lisääntymisen myötä. Usein julkaisumetriikka nähdään helppona tapana mitata laatua, vaikka todellisuudessa useat indikaattorit eivät suoraan kuvaa laatua ja niiden käyttöön liittyy paljon rajoitteita.

Julkaisumetriikka eli bibliometriikka on ala, joka tarkastelee tutkimusta tieteellisten julkaisujen ja niiden sisältämien tietojen perusteella. Julkaisumetriikan menetelmiä voidaan hyödyntää esimerkiksi tutkijaa tai tutkimusta arvioitaessa. Koska viittaustietokannat ja analyysityökalut ovat kehittyneet ja yleistyneet, julkaisumetriikkaa onkin enenevissä määrin käytetty laadullisten asiantuntija-arvioiden rinnalla.

Siinä missä julkaisumetriikan käyttö on lisääntynyt, joskus sitä on käytetty myös epätarkoituksenmukaisesti. Tämä on viime vuosina johtanut siihen, että on tehty suosituksia, jotka liittyvät vastuulliseen arviointiin ja julkaisumetriikan käyttöön. Tällaisia ovat esimerkiksi tutkimuksen arvioinnin uudistusta ajava sopimus CoARA ja vastuullisen tutkijanarvioinnin kansallinen suositus.

Yhteistä julkaistuille suosituksille on, että ne korostavat määrällisten mittareiden käyttöä vain laadullisen arvioinnin tukena, ei korvaajana. Lisäksi suositukset ohjeistavat, että kun käytetään määrällisiä mittareita, tulee pyrkiä avoimuuteen ja läpinäkyvyyteen niin käytettyjen menetelmien, aineistojen kuin tulosten suhteen. On myös huomioitava eroja tieteenalojen julkaisu- ja viittauskäytännöissä.

Uusien suositusten tavoitteena on varmistaa, että määrällisiä mittareita käytetään oikeudenmukaisesti ja että tutkimuksen laadun arviointi perustuu monipuolisiin kriteereihin. Vastuullisten julkaisumetriikoiden tuottaminen edellyttää, että arvioinnissa keskitytään tutkimuksen sisältöön, ei vain julkaisumäärien mittaamiseen ja käytettyihin julkaisukanaviin (CoARA 2022; Vastuullisen tutkijanarvioinnin työryhmä 2020).

Suomessa kansallinen yhteistyö vastuullisen julkaisumetriikan edistämiseksi on aktiivista. Tästä esimerkkinä toimii Kansallinen julkaisumetriikkaopas (KJMO), jonka tuottamisesta ja päivittämisestä vastaa Finn-ARMAn julkaisumetriikkaverkosto (Finnish Association of Research Managers and Administrators). Opas on tarkoitettu niille, jotka tarvitsevat tietoa julkaisujen analysoimisesta ja siihen käytettävistä välineistä. Vastuullinen julkaisumetriikan tuottaminen ja hyödyntäminen on oppaan läpileikkaava teema.

Kansallisen julkaisumetriikkaoppaan teemojen ympärille on rakennettu webinaarisarja, jossa käsitellään oppaan keskeisimpiä sisältöjä. Ensimmäinen webinaari järjestettiin toukokuussa 2024, ja sen aiheena oli vastuullinen julkaisumetriikka.

Webinaarin yhteydessä järjestettiin myös työpaja, jossa osallistujien oli mahdollista vaihtaa ajatuksia ja jakaa kokemuksiaan vastuullisen julkaisumetriikan käytännön toteutuksista ja ilmenneistä haasteista. Työpajassa pyrittiin yhteisvoimin löytämään ratkaisuja esiin nousseisiin ongelmiin.

Käytännössä julkaisumetriikan yhtenä lähteenä käytetään tieteellisiä julkaisuja ja niiden sisältämää tietoa. Erilaisissa tietokannoissa yksittäisistä julkaisuista on tallennettu huomattavan monipuolisesti tietoa, jota voidaan hyödyntää hyvin erilaisiin tarpeisiin. Julkaisutietoja on myös helposti saatavilla, mikä edesauttaa niiden yleistä käyttöä.

Työpajassa nousi esille, että julkaisumetriikkaa käytetään erityisesti tietojohtamisen tukena, koska metriikka tarjoaa määrällisen lähestymistavan tieteellisen tutkimuksen analysointiin ja arviointiin. Monipuolisten työkalujen avulla voidaan tarkastella muun muassa, mitä omassa organisaatiossa tutkitaan ja mitä uusia avauksia voitaisiin tehdä.

Omaa tutkimustoimintaa voidaan myös verrata muuhun maailmaan esimerkiksi viittausvaikuttavuuden avulla. Julkaisujen saamien viittausten perusteella voidaan siis tarkastella, kuinka paljon julkaisut ovat saaneet viittauksia verrattuna muihin saman alan julkaisuihin. Hyvin tyypillinen käyttötarkoitus julkaisumetriikalle on myös sen hyödyntäminen tutkimusyhteistyössä, kuten mahdollisten uusien yhteistyökumppaneiden etsimisessä.

Vastuullisuuden näkökulmasta erityisen haastavaa on julkaisumetriikan käyttö erilaisissa tutkimustoiminnan arviointitilanteissa. Näin on, koska julkaisudataan ja siitä laskettuihin indikaattoreihin liittyy aina rajoitteita ja niiden käyttö vaatii tulkintaa.

Suomessa erityisesti yliopistoissa hyödynnetään julkaisumetriikkaa laajasti silloin, kun järjestetään säännöllisiä tutkimuksen kokonaisarviointeja. Tuolloin julkaisumetriikkaa käytetään yleensä arvioinnin kohteiden itsearvioinneissa taustamateriaalina mutta myös ulkopuolisten asiantuntijoiden varsinaisessa arviointityössä. Lisäksi joissain organisaatioissa hyödynnetään julkaisumetriikkaa yksittäisen tutkijan rekrytoinnin yhteydessä. Tällaisessa tilanteessa julkaisumetriikkaa käytetään vertaisarvioijien taustamateriaalina.

Työpajassa keskusteltiin myös siitä, ketkä tutkimusorganisaatioissa toteuttavat julkaisumetriikkaa. Tässä yhteydessä on hyvä korostaa, että työpajan osallistujat tulivat Finn-ARMAn julkaisumetriikkaverkostosta, joka kokoaa yhteen pääasiassa tutkimusorganisaatioiden tutkimuksen tuen parissa työskenteleviä. Näin ollen mukana keskusteluissa ei ollut bibliometriikan tutkijoita. Suomalaisissa tutkimusorganisaatioissa julkaisumetriikan toteuttaminen keskittyy pääasiassa kirjastoihin ja joissain organisaatioissa myös johdon tukipalveluihin.

Usein julkaisumetriikka nähdään helppona tapana mitata laatua, vaikka todellisuudessa useat indikaattorit eivät suoraan kuvaa laatua ja niiden käyttöön liittyy paljon rajoitteita. Keskusteluissa yksi useimmin toistuneista haasteista oli se, ettei tilaaja aina täysin ymmärrä, mihin julkaisumetriikkaa voidaan käyttää, mitä rajoitteita siihen liittyy ja mitä eri indikaattorit itse asiassa kuvaavat.

Usein halutaan myös viittauksiin perustuvaa metriikkaa ”liian uusista” julkaisuista, jolloin viittausten kertyminen ei ole ehtinyt vielä kunnolla edes alkaa ja tulokset voivat olla harhaanjohtavia. Haasteeksi on koettu myös määrittää, mikä on minimimäärä julkaisuja analyysin vastuulliseen toteuttamiseen. Pienissä julkaisujoukoissa syntyy helposti vääristymiä, jotka eivät kuvaa tilanteen todellisuutta. Uusia indikaattoreita tulee tarjolle jatkuvasti, ja niiden ymmärtäminen vaatii aina aikaa ja selvitystyötä.

Erityisen ongelmalliseksi on koettu vastuullisen julkaisumetriikan edistäminen, jos organisaation johto ei ole siihen aidosti sitoutunutta. Vaikka erilaisiin suosituksiin ja julistuksiin sitoudutaan herkästi, käytännön toteutus saattaa resurssisyistä jäädä laihaksi.

Työpajassa osallistujat kokivat johdon sitouttamisessa haastavuutta, koska tutkimusorganisaatioissa toimintaa ja päätöksentekoa ohjaavat edelleen pitkälti rahoittajien vaatimukset. Opetus- ja kulttuuriministeriön korkeakoulujen uudistettu rahoitusmalli tuli voimaan vuodesta 2025 alkaen, ja siinä julkaisujen perusteella jaetaan edelleen yliopistoissa 14 prosenttia ja ammattikorkeakouluissa kaksi prosenttia perusrahoituksesta.

Moni työpajan osallistuja koki hankalana myös rekrytointiin liittyvän julkaisumetriikan tuottamisen. Heidän pelkonaan oli, että väärinkäytettynä päätöksiä saatetaan tehdä vain indikaattorien pohjalta, vaikka niiden pitäisi aina toimia muun tiedon tukena. Toinen suurta epävarmuutta herättänyt seikka oli, että metriikan tuottajilla ei aina ole tietoa siitä, mihin analyysejä oikeasti aiotaan käyttää ja miten niitä tulkitaan. Julkaisuanalyyseihin liitetään mukaan analyysimenetelmistä ja rajoitteista kertovia kuvauksia, mutta analyysin laatija ei koskaan voi olla varma, lukeeko tilaaja niitä.

Julkaisuanalyysit pohjautuvat tyypillisesti aineistoihin, jotka löytyvät yleisimmistä englanninkielisistä tietokannoista. Markkinoille on viime aikoina tullut myös vapaasti käytettävissä olevia tietokantoja, mutta niiden sisältöjen laatu vaihtelee kuitenkin vielä suuresti. Tutkimus, jota ei julkaista englanniksi tai joka on julkaistu vain painettuna, jää huomiotta.

Ongelmaksi muodostuu se, että näkymättömiksi jäävät esimerkiksi tutkijat sellaisista maista, joissa ei ole taloudellisia mahdollisuuksia julkaista suurissa ja hintavissa kansainvälisissä julkaisukanavissa. Julkaisumetriikan käyttö on haastavaa myös tutkimusaloilla, joilla julkaiseminen tapahtuu paikallisilla kielillä tai painetuissa julkaisukanavissa. On lisäksi pantava merkille, että nykyisin monissa julkaisukanavissa avataan, millainen rooli tutkijalla on kyseisessä julkaisussa ollut. Indikaattoreissa tätä kuitenkin harvemmin huomioidaan.

Ennen kaikkea haasteet ovat laajemmalla alueella kuin Suomessa, joten asian ratkaiseminen vaatii kansallisen toiminnan lisäksi myös kansainvälisiä ratkaisuja.

Kotimaisissa organisaatioissa on jo tehty toimenpiteitä nykyistä vastuullisemman julkaisumetriikan edistämiseksi. Tehdyt muutokset liittyvät olennaisesti kansallisiin ja kansainvälisiin sitoumuksiin. Yhteisesti sovittuja periaatteita ja sitoumuksia, joihin esimerkiksi korkeakoulut, Suomen Akatemia ja Tieteellisten seurain valtuuskunta ovat jo sitoutuneet, on noudatettava myös käytännössä

Suomen Akatemia on esimerkillisesti uudistanut kriteerejään vastuullisen arvioinnin sitoumusten mukaisesti. Se korostaa tutkimuksen laatua määrällisten suoritteiden sijaan, etenkin tutkijoille suunnatuissa rahoitusmuodoissaan.

Yksi merkittävistä Suomen Akatemian tekemistä uudistuksista on, että lehtiperusteisen metriikan käyttö arvioinnissa on nyt kielletty. Rahoituksen hakija ei saa liittää hakemukseensa metriikkatietoja, kuten lehden vaikuttavuuskerrointa JIF tai JUFO-luokitusta (Suomen Akatemia, Vastuullinen tutkijanarviointi).

Keskeisiä tuoreimpia asiakirjoja, jotka korostavat laadullisen arvioinnin merkitystä ja vastuullisten mittareiden käyttöä, ovat muun muassa CoARAn The Agreement on Reforming Research Assessment ja Barcelona-julistus. Ensimmäinen ajaa tutkimuksen arvioinnin uudistusta, ja jälkimmäinen käytetyn ja tuotetun tutkimustiedon avoimuutta.

Uusiin periaatteisiin sitoutuminen edistää vastuullisen arvioinnin kulttuuria eri organisaatioissa. Tämä luo pohjan muille toimille ja varmistaa, että arviointikäytännöt ovat yhteneväisiä kansainvälisten standardien kanssa. CoARAn sopimus on ensimmäisiä sopimuksia, joka edellyttää sen allekirjoittajilta myös käytännön tason suunnitelmaa sitoumusten toteuttamiseksi organisaatiossa.

Julkaisumetriikka on kehittymässä laajemmaksi tutkimusmetriikan kokonaisuudeksi, jonka sovellukset tulevat heijastumaan korkeakoulujen toimintatapoihin. Tutkimusmetriikan käyttö rekrytoinneissa on herättänyt keskustelua, ja sen käyttöä muutetaan vastuullisemmaksi. On reilua, että tutkimusta arvioidaan monipuolisesti eikä esimerkiksi vanhanaikaisen julkaisukanavan tai raa’an viittausmäärän mukaan. Erityisesti eri tasojen rekrytointiprosesseissa on tärkeää huomioida, miten metriikoita käytetään ja miten ne voivat vaikuttaa päätöksiin.

Yhteistyö henkilöstöhallinnon kanssa on keskeistä, jotta rekrytointikäytännöt saadaan yhdenmukaisiksi organisaation arvojen ja vastuullisten käytäntöjen kanssa. Pitää päättää, ettei tehdä sitoumusten hengen vastaisia analyysejä tai rekrytointeja. Sen sijaan rekrytoinnissa tulisi keskittyä hakijoiden laadulliseen arviointiin eikä pelkästään määrällisiin mittareihin. Tämä edistää reiluutta ja monipuolisuutta rekrytointiprosesseissa.

Johdon aito sitoutuminen tutkimuksen arvioinnin uudistamiseen on ratkaisevan tärkeää, jotta muutokset otettaisiin käyttöön organisaation kaikilla tasoilla. Arvioinnin uudistuksen eteenpäin viemisessä organisaation johdon on oltava tietoinen tutkimuksen arvioinnin uudistuksesta sekä siitä, millaisia hyötyjä sillä on tutkimuksen laadun ja vaikuttavuuden vahvistamisessa.

Johdon on myös tuettava asiantuntijoita muutoksen toteuttamisessa. Tämän vuoksi organisaatioissa voi olla hyödyksi perustaa työryhmiä tai nimetä vastuuhenkilöitä, jotka kehittävät ja valvovat vastuullisten julkaisumetriikoiden käyttöä. Jo vuonna 2020 julkaistussa kansallisessa vastuullisen tutkijanarvioinnin suosituksessa kehotetaan organisaatioita nimeämään vastuutaho, johon ihminen voi ottaa yhteyttä, mikäli julkaisumetriikan käytössä ilmenee väärinkäytöksiä.

Vastuullisen julkaisumetriikan käyttöönotto vaatii allekirjoitettujen sitoumusten lisäksi konkreettisia toimenpiteitä ja selkeitä ohjeistuksia. Julkaisumetriikan asiantuntijat tuntevat organisaatioissa usein parhaiten julkaisumetriikan käyttöön liittyvät rajoitteet, minkä vuoksi heidän kannattaa toimia proaktiivisesti.

Julkaisumetriikan asiantuntija voi aktiivisesti tuoda esiin käytettyyn metriikkaan liittyviä rajoitteita sekä edesauttaa käytettyjen analyysimenetelmien ja tulosten avoimuutta. Hän voi myös puuttua vastuuttomiin julkaisumetriikan käyttötilanteisiin omassa organisaatiossaan ja muistuttaa julkaisumetriikan tilaajia ja käyttäjiä vastuullisesta metriikan käytöstä.

Viestiminen vastuullisesta julkaisumetriikasta sekä opastuksen ja neuvonnan tarjoaminen ovat keinoja, joilla lisätään tietoisuutta vastuullisen arvioinnin uudistuksesta omassa organisaatiossa. On tärkeää, että analyysien tilaajille annetaan selkeät ohjeet vastuullisten käytäntöjen noudattamisesta ja että tarvittaessa heitä muistutetaan vastuullisuuden merkityksestä. Käytännön toimenpiteet, kuten ohjeistukset ja koulutukset, varmistavat, että kaikki osapuolet ymmärtävät vastuullisen metriikan käytön periaatteet ja noudattavat niitä.

Kaiken kaikkiaan monipuolinen metriikkaosaaminen hyödyttää organisaatiota, koska tällöin erilaisten mittareiden ja arviointimenetelmien tuntemus on käytettävissä koko laajuudessaan.

Suomessa julkaisumetriikan asiantuntijat tekevät aktiivisesti yhteistyötä. Finn-ARMAn julkaisumetriikkaverkosto järjestää säännöllisiä tapaamisia ja käy vapaamuotoista ajatustenvaihtoa sähköpostilistallaan.

Kansallisen yhteistyön merkittävä hedelmä on kansallisena yhteistyönä ylläpidettävä Kansallinen julkaisumetriikkaopas (KJMO), joka julkaistiin kesäkuussa 2022. Kansallisen yhteistyön tuloksena on myös syntynyt suositus julkaisumetriikan vastuullisesta käytöstä, joka sisältyy kansalliseen vastuullisen tutkijanarvioinnin suositukseen.

Toinen kansallisesti merkittävä edistysaskel tulee olemaan kansallinen arviointimatriisi (Finnish Career Assessment Matrix, FIN-CAM). Sitä kehittää tällä hetkellä työryhmä, jonka on nimittänyt vastuullisen tutkijanarvioinnin ohjausryhmä. Matriisin tavoitteena on tuoda näkyväksi akateemisen toiminnan eri osa-alueita ja mahdollistaa tutkijan meriittien kattava tarkastelu erilaisissa arviointitilanteissa. Lisäksi tavoitteena on lisätä tutkijanarvioinnin avoimuutta tuomalla arvioinnin päämäärät, kriteerit ja käytetyt aineistot avoimesti kaikkien osapuolten tietoon.

Tulevaisuuden tekniset ratkaisut ja automatisointi voivat tarjota ratkaisuja julkaisumetriikan käyttöön ja tehdä siitä entistä vastuullisempaa. Esimerkiksi ORCID-profiilin hyödyntäminen mahdollistaa tietojen automaattisen keräämisen rajapintojen avulla. Tämä tekee tietojen analysoinnista tehokasta ja vähentää manuaalisen työn määrää sekä virheiden riskiä.

•

Lisätietoa Finn-ARMAn julkaisumetriikkaverkostosta löytyy sen omilta verkkosivuilta.

•

Artikkelin pääkuvan lähde: iStockphoto.

•

Lue myös:

Kansainvälisinkin tiede vaikuttaa paikallisesti ja monikielisesti

Onko tieteessä aikaa ja tilaa oivaltamiselle?

Yliopistojen hidas kuolema – katsaus yliopistolistausten aiheuttamiin inhimillisiin tragedioihin