Miten mitata julkisten hankintojen vaikuttavuutta?

Ajattele jotain edellisen vuoden aikana toteuttamaasi julkista hankintaa. Osaatko sanoa, miten paljon kilpailutuksella saatiin aikaan säästöjä? Paraniko laatu vai otettiinko sen osalta ehkä takapakkia entiseen verrattuna?

Lisää seuraavaksi vaikeuskerrointa ajattelemalla viiden edellisen vuoden aikana toteuttamiasi hankintoja kokonaisuutena. Minkälaisia innovaatioita näissä ehkä syntyi, kasvoiko organisaatiosi osaaminen ja miten paljon vastuullisuuteen liittyvät tekijät korostuivat (vai korostuivatko lainkaan) verrattuna aiempiin vuosiin?

Eivät ihan helppoja kysymyksiä vastattaviksi näin äkkiseltään! Vaikuttavuuden ja kilpailutusten kautta aikaansaatavan lisäarvon mittaaminen onkin tunnetusti vaikeaa.

Hanselin kilpailutusyksikössä päätimme muutama vuosi sitten kuitenkin tarttua haasteeseen. Halusimme kehittää mallin, jonka avulla kertoa faktapohjaista tietoa kilpailutusten kautta aikaansaaduista hyödyistä – ja vielä niin, että yritysten ylin johtokin ymmärtäisi mallin logiikan. Syntyi vaikuttavuuden arviointimalli, jota tätä kirjoittaessani on hyödynnetty jo 186:ssä asiakkaalle toteuttamassamme kilpailutuksessa. Tulokset ovat niin yksittäisten kilpailutusten kuin aineiston laajemmankin tarkastelun näkökulmasta mielenkiintoisia.

Tahtotila selkeiksi tavoitteiksi

Palataan kuitenkin ensin vielä itse malliin. Kilpailutuksesta riippumatta vaikuttavuutta arvioidaan samojen viiden tekijän kautta. Näitä ovat:

1) kustannussäästöt

2) innovaatiot

3) osaamisen kasvattaminen

4) tuotteen tai palvelun laatu sekä

5) vastuullisuus.

Vaikuttavuutta arvioidaan kahteen otteeseen: hankkeen käynnistyessä sekä sen jälkeen, kun kilpailutuksen lopputulos ja voittaja ovat selvillä.

Uuden kilpailutusprojektin käynnistyessä hankinnalle asetetaan sanalliset ja numeeriset tavoitteet mainittujen viiden tekijän näkökulmasta (asteikko 0, 1 tai 2). Tavoitteiden asetanta toteutetaan yhdessä asiakkaamme kanssa osana kilpailutuksen valmistelua. Samalla projektiryhmälle itselleen kirkastuvat kyseiselle hankkeelle asetettavat keskeiset ja vähemmän keskeiset tavoitteet. 

Samalla projektiryhmälle itselleen kirkastuvat kyseiselle hankkeelle asetettavat keskeiset ja vähemmän keskeiset tavoitteet.

Sanalliset tavoitteet kuvastavat hankintayksikön tahtotilaa sekä ambitiotasoa. Arvioinnin hetkellä punnitaan esimerkiksi se, miten konkreettisesti vastuullisuudelle asetetut – monesti melko kunnianhimoiset tavoitteet – yksittäisissä kilpailutuksissa lopulta konkretisoituvat.

Numeerista tavoitteista 0 kuvaa matalinta tavoitetasoa: kilpailutus toteutetaan kuten ennenkin, tai vaikuttavuuden kasvua ei kyseisen tekijän osalta tavoitella aktiivisesti. Useimmissa kilpailutuksia ei esimerkiksi synnytetä varsinaisesti uusia innovaatioita. Tämä ei tee kilpailutuksesta missään määrin huonoa, mutta antaa vaikuttavuudelle innovaatioiden osalta arvosanan 0.

Numeerinen arvo 1 kuvaa pieniä parannuksia. Sisällytämme esimerkiksi tarjouspyynnön valintakriteereihin tai sopimusehtoihin kohtia, jotka selkeästi lisäävät hankinnan vastuullisuutta nykytilanteeseen verrattuna. Nostamme rimaa, mutta emme tässä kisassa tavoittele ennätyskorkeuksia.

Numeerinen arvo 2 kuvaa puolestaan merkittäviä, gasellimaisia parannuksia. Tällainen voisi olla kustannussäästöjen näkökulmasta vaikkapa tavoite aikaansaada kilpailutuksella 30 prosentin säästöt nykytilanteeseen verrattuna. Haastavaa toki näillä inflaatiotasoilla, mutta tavoitetaso, johon esimerkiksi onnistuneen digitalisaatiohankkeen myötä voidaan päästä ja parhaimmillaan on päästykin.

Korkeat pisteet ovat merkki vaikuttavuudesta

Vaikuttavuuteen liittyviä tekijöitä on siis viisi ja kustakin arviosta on mahdollista saada kaksi pistettä. Yksittäisen kilpailutuksen vaikuttavuus näin mitattuna voi täten olla maksimissaan kymmenen. Kaikki selvää tähän saakka? Kouluarvosana 10 ei vielä itsessään tee kilpailutuksesta hyvää (tai pieni numeerinen arvo huonoa), mutta viestii siitä, että vaikuttavuuden näkökulmasta kyseisessä kilpailutuksessa on varmasti ollut jotakin hyvin poikkeuksellista. Yksi tällainen, vaikuttavuudesta täydet kymmenen pistettä saanut kilpailutus meiltäkin muuten tietokannastamme jo löytyy.

Hankkeen päätyttyä sanallinen ja numeerinen arviointi suoritetaan uudestaan. Saavutimmeko kilpailutukselle asetetut tavoitteet vai olivatko esimerkiksi hinnat arvioimaamme selvästi kalliimmat? Onnistuimmeko laadun parantamisessa, innovoinnissa, osaamisen kasvattamisessa tai vastuullisuuden lisäämisessä ehkä jopa yli alkuperäisten tavoitteidemme. Näinkin on lukuisissa kilpailutuksissa käynyt.

Vaikuttavuusmallimme teoriaosuus, kaikessa yksinkertaisuudessaan, oli kutakuinkin tässä. Kerron tulevissa blogiteksteissä lisää yksittäisissä kilpailutuksissa saaduista mittaustuloksista sekä siitä, mitä vaikuttavuuden kasvusta julkisissa hankinnoissa voidaan tässä vaiheessa, tällä aineistolla ja tällä mittaustavalla noin laajemminkin sanoa.