Hyviöstä kasvamassa työkalu hankkeiden vaikuttavuuden arviointiin

Kaakkois-Suomen ammattikorkeakoulussa käynnistyi muutama vuosi sitten tutkimus-, kehittämis- ja innovaatiotoiminnan (TKI) vaikuttavuusmallin kehittämistyö. Vaikuttavuusmalli on yksi työkalu vaikuttavuuskulttuurin rakentamisessa, ja se vaatii tuekseen konkreettisia työkaluja.

Vaikuttavuutta ja vaikuttavuusarvioinnin työkaluja on pohdittu viime aikoina paljon hanketyössä. Esimerkiksi Digiportaat 2.0 -hankkeessa tehdään nyt kokeiluja siitä, miten Xamkissa aiemmin kehitetty Hyviö-työkalu soveltuu hanketoiminnan tueksi erityisesti vaikuttavuuden arviointiin ja parantamiseen.

Hyviö kehitettiin Xamkissa alun perin hyvinvointi- ja terveyspalveluiden vaikutusten mittaamisen työkaluksi. Nyt sitä päätettiin käyttää pk-yrityksille suunnatun hankkeen kaikkiin kyselyihin lukuun ottamatta koulutus- ja sparrauspalautteita.

Hyviöstä hyötyjä vastaajalle ja hankehenkilöstölle

Vastaajan kannalta Hyviön käyttö lisää kyselyihin vastaamisen mielekkyyttä. Kun kyselyjä toistetaan hankkeen aikana, vastaaja voi seurata vastaustensa, esimerkiksi osaamisensa kehittymistä.

Myös hankehenkilöstön kannalta Hyviö tuo hyötyjä. Työtä saadaan osin automatisoitua, koska kyselyjä voidaan lähettää vastaajille etukäteen määritellyn aikataulutuksen mukaan vaikkapa tietyin määräajoin.

Lisäksi kertynyttä tietoa voidaan analysoida ja käyttää hyväksi reaaliaikaisesti. Toimintaa voidaan muuttaa kesken hankkeen, jos siihen havaitaan olevan tarvetta.

Monipuolinen kuva syntyy monen kyselyn kautta

Digiportaat 2.0 -hankkeessa kohennetaan pk-yritysten digitaitoja yritysten kasvun pohjaksi. Käytännön työ aloitetaan mukaan tulevan yrityksen digiosaamiskartoituksella. Tässä yhteydessä osallistujat kutsutaan rekisteröitymään Hyviön asiakkaiksi ja tekemään henkilökohtainen digiosaamisen itsearviointi.

Digiosaamiskartoituksen pohjalta yritys saa itselleen yritysneuvojan kanssa laaditun yrityskohtaisen kehittämissuunnitelman. Kartoitus tuottaa samalla hankehenkilöstölle tietoa yrityksen koulutustarpeista, ja sen avulla yritykselle voidaan suunnitella sen toiminnan kehittämiseen parhaiten soveltuvat koulutukset.

Itsearviointikysely toistetaan useamman kerran, jolloin vastaaja voi seurata oman digiosaamisensa kehittymistä. Hankehenkilöstö saa puolestaan tietoa osallistujien digiosaamisen kehittymisestä eli hankkeen toiminnan tuloksista ja vaikutuksista.

Hyviöön on Digiportaat 2.0 -hankkeen aikana kehitetty myös verkkokauppa-analyysi Verkkokauppa kasvuun Suomen huippujen johdolla -koulutuksen osallistujille.  Analyysin avulla verkkokauppias voi arvioida verkkokauppansa tehokkuutta ja sen kehitystä.

Hankearvioinnin tarpeita ajatellen Hyviöön laadittiin kysely projekti- ja ohjausryhmille. Kysely toistetaan muutaman kerran, jolloin vastaaja pystyy seuraamaan mielipiteidensä kehittymistä hankkeen aikana ja vaikuttamaan sen etenemiseen.

Myös pk-yritysten henkilöstölle tehtävät väli- ja loppuarviointikyselyt on päätetty tehdä Hyviön avulla. Väliarviointikyselyllä kartoitetaan toimenpiteiden toimivuutta sekä sitä, missä määrin uusia opittuja asioita on saatu yrityksissä otettua käyttöön jo saman tien – sekä onko käyttöönoton tiellä esteitä, joita voitaisiin hankkeen toimenpiteillä poistaa.

Varsinainen vaikuttavuuskysely, loppuarviointikysely, on vasta kehitteillä, ja se on tarkoitus tehdä yritysten edustajille hieman ennen hankkeen päättymistä. Kysely on mahdollista toistaa hankkeen päättymisen jälkeen, jolloin pitkän aikavälin vaikutuksia eli vaikuttavuutta saataisiin paremmin näkyviin.

Loppuarviointikyselyyn on tulossa Digiportaat 2.0 -hankkeen tavoitteiden toteutumista suoraan arvioivien kysymysten lisäksi relevantteja yleisempiä yritysten liiketoimintaa kuvaavia mittareita. Nämä mittarit liittyvät läheisesti Xamkin vaikuttavuustavoitteisiin ja YK:n kestävän kehityksen tavoitteisiin.

Kaikki arviointityön haasteet eivät Hyviöllä poistu

Vaikka Hyviön käyttö helpottaa rutiineja ja kokoaa kaiken tiedon yhteen paikkaan, se ei poista arviointityön yleisiä haasteita. Jokainen hanke on erilainen: tavoitteet, kohderyhmät ja toimenpiteet ovat erilaisia. Vaikuttavuuskysely onkin aina räätälöitävä jokaiselle hankkeelle erikseen, vaikka käytetyt vaikuttavuusmittarit voivat olla eri hankkeissa osin samoja.

Hyviöön voidaan koota hankkeissa käytettyjä vaikuttavuusmittareita, joista hankehenkilöstö voi valita omaan hankkeeseen parhaiten soveltuvia mittareita. Lisäksi voidaan luoda hankekohtaisia mittareita.

Kyselyssä voi olla myös osio, jossa korostuvat hankkeelle relevantit Xamkin sekä muut yleisemmät vaikuttavuustavoitteet ja niitä kuvaavat mittarit. Kun mittarit vakiintuvat, hanketoiminnasta on mahdollista Hyviön avulla koota pitkäkestoista vaikuttavuustietoa.

Vaikuttavuuden arvioinnin rutiinit kehittyvät, kun vaikuttavuuskulttuuri vakiintuu, kehittämistyön tavoitteet opitaan muotoilemaan yleisempien vaikuttavuustavoitteiden mukaisiksi ja kun kertyy esimerkkejä vaikuttavuuskyselyissä parhaiten toimivista mittareista.