Erityiskertomus

nro25 2019

Budjettitukitietojen laatu: puutteita joissakin indikaattoreissa ja vaihtelevansuuruisten erien maksuja koskevissa tarkastuksissa

Kertomuksen kuvaus: Budjettituki on EU:n tuen muoto, jossa siirretään rahaa kumppanimaan valtionkassaan edellyttäen, että kyseinen maa noudattaa sovittuja maksuedellytyksiä. Budjettitukimaksut suoritetaan joko kiinteämääräisinä tai vaihtelevansuuruisina erinä. Vaihtelevansuuruisista eristä maksetut määrät riippuvat siitä, mitä tuloksia kumppanimaat ovat saavuttaneet. Tuloksia mitataan ennalta määritellyillä tuloksellisuusindikaattoreilla. Euroopan tilintarkastustuomioistuin tutki, maksoiko komissio vaihtelevansuuruiset budjettitukierät relevanttien ja luotettavien tuloksellisuustietojen perusteella. Tilintarkastustuomioistuin toteaa, että kolmasosassa tarkastetuista tuloksellisuusindikaattoreista oli rakenteellisia puutteita, jotka mahdollistivat erilaiset tulkinnat tavoitteiden saavuttamisesta. Lisäksi komission arvio vaihtelevansuuruisia eriä koskevien indikaattorien täyttymisestä ei ollut aina luotettava. Tilintarkastustuomioistuin esittää joukon suosituksia, joiden tarkoituksena on parantaa indikaattoreiden muotoilua, lisätä tuotosindikaattoreiden käyttöä ja parantaa sellaisten tuloksellisuustietojen tarkistamista, joiden perusteella vaihtelevansuuruiset erät maksetaan.
Euroopan unionin toiminnasta tehdyn sopimuksen 287 artiklan 4 kohdan toisen alakohdan nojalla annettu Euroopan tilintarkastustuomioistuimen erityiskertomus.

Tämä julkaisu on saatavilla 23 kielellä ja seuraavissa formaateissa:

PDF

Sisällys
Tiivistelmä
Johdanto
Tarkastuksen laajuus ja tarkastustapa
Huomautukset
Johtopäätökset ja suositukset
Liitteet
Komission vastaukset
Tarkastustiimi
Loppuviitteet
Tarkastuksen eteneminen
Yhteystiedot

Tiivistelmä

Budjettituki on EU:n tuen muoto, jossa siirretään rahaa kumppanimaan valtionkassaan edellyttäen, että kyseinen maa noudattaa sovittuja maksuedellytyksiä. EU:n budjettitukimaksut ovat vuosittain keskimäärin 1,69 miljardia euroa, minkä ansiosta se on suurin budjettituen antaja. Budjettitukimaksut suoritetaan joko kiinteämääräisinä tai vaihtelevansuuruisina erinä. Noin 44 prosenttia EU:n budjettitukimaksuista liittyy vaihtelevansuuruisiin eriin. Eräissä EU:n naapuruusmaissa osuus on jopa 90 prosenttia. Vaihtelevansuuruisista eristä maksetut määrät riippuvat siitä, mitä tuloksia kumppanimaat ovat saavuttaneet. Tuloksia mitataan ennalta määritellyillä tuloksellisuusindikaattoreilla.

Euroopan tilintarkastustuomioistuin tutki, maksoiko komissio vaihtelevansuuruiset budjettitukierät relevanttien ja luotettavien tuloksellisuustietojen perusteella. Tilintarkastustuomioistuin katsoo, että tuloksellisuusindikaattorien muotoilu heikensi niiden relevanssia kolmanneksessa tarkastetuista tuloksellisuusindikaattoreista, eikä niillä voida mitata tuloksia objektiivisesti, mikä horjuttaa niiden relevanssia. Lisäksi komission arviot vaihtelevansuuruisia eriä koskevien indikaattorien täyttymisestä eivät aina olleet luotettavia, minkä vuoksi joitakin maksuja ei perusteltu riittävästi.

III

Vaikka vaihtelevansuuruisten erien tuloksellisuusindikaattorit vastasivat hyvin kumppanimaiden alakohtaisia kehittämisstrategioita, suurimmassa osassa indikaattoreista keskityttiin lyhyen aikavälin toimiin eikä pitkän aikavälin tuloksiin, kuten kestävän kehityksen tavoitteiden saavuttamiseen. Lisäksi yli kolmannes indikaattoreista oli määritelty löyhästi, niiden lähtötasot olivat virheellisiä tai niissä ei ollut lainkaan lähtötasoja. Siksi tavoitteiden saavuttamisesta voi olla eri tulkintoja, mikä vaikeuttaa maksupyyntöjen analysointia ja vähentää sen objektiivisuutta.

Suurin osa tarkastetuista vaihtelevansuuruisista eristä kannusti kumppanimaita suunnitellusti uudistusohjelmien edistämiseen, koska asetetut tavoitteet olivat riittävän kunnianhimoiset. Tilintarkastustuomioistuimen havaitsemat muutamat poikkeukset koskivat indikaattoreita, joiden tavoitteet olivat helposti saavutettavissa tai joiden tavoitteet saavutettiin muiden avunantajien tai EU:n palkkaamien ulkopuolisten asiantuntijoiden työn avulla. Otokseen sisältyi 24 sopimusta, joista kuuden vaihtelevansuuruiset erät sisälsivät liian monta indikaattoria. Tämä hankaloitti entisestään maksamismenettelyä.

Vaihtelevansuuruisia eriä koskevat maksupyynnöt sisältävät analyysin sovittujen ehtojen ja tuloksellisuusindikaattorien täyttymisestä. Nämä pyynnöt ovat kumppanimaiden laatimia, joten niiden perustana olevien tuloksellisuustietojen luotettavuus riippuu kyseisten maiden valmiuksista tuottaa tietoja. Tilintarkastustuomioistuin totesi, että komissio teki selkeät johtopäätökset vaihtelevansuuruisia eriä koskevien indikaattorien laskemiseen tarvittavien tuloksellisuustietojen luotettavuudesta vain viidessä sopimuksessa otokseen valituista 24 sopimuksesta. EU:n edustustot toteuttivat maksupyyntöjä analysoidessaan erilaisia tarkastusmenettelyjä näiden tietojen luotettavuuden varmistamiseksi. Osa näistä menettelyistä ei varmista, että vaihtelevansuuruisten erien maksusuoritukset perustuvat luotettaviin tietoihin. Maksut eivät siten ole täysin perusteltuja.

Tilintarkastustuomioistuin suoritti uudelleen indikaattorien saavuttamista koskevat komission arviot ja laski uudelleen vaihtelevansuuruisiin eriin liittyvät maksut, joiden kokonaismäärä oli 234 miljoonaa euroa. Tilintarkastustuomioistuin löysi tässä yhteydessä poikkeamia, jotka koskivat 16,7:ää miljoonaa euroa. Tästä summasta 13,3:a miljoonaa euroa ei ollut perusteltu riittävästi, tai maksut eivät olleet sopimusehtojen mukaisia. Kaikkiaan 3,4 miljoonaa euroa maksettiin, vaikka edistystä ei tosiasiassa tapahtunut. Lisäksi Moldovalle maksettiin 26,3 miljoonaa euroa kolmessa vaihtelevansuuruisessa erässä ilman että maksujen perustana olevia syitä olisi dokumentoitu riittävästi.

VII

Tilintarkastustuomioistuin esittää komissiolle kuusi suositusta, joiden tarkoituksena on

lisätä tulosindikaattorien käyttöä vaihtelevansuuruisissa erissä
parantaa tuloksellisuusindikaattorien laatimista
turvata vaihtelevansuuruisten erien kannustava vaikutus
yksinkertaistaa vaihtelevansuuruisten erien maksamismenettelyä
parantaa arvioita, jotka koskevat maiden valmiuksia toimittaa vaihtelevansuuruisissa erissä käytetyt tuloksellisuustiedot
parantaa vaihtelevansuuruisten erien maksamiseen käytettyjen tuloksellisuustietojen tarkastusta.

Johdanto

Budjettituen käsite

Budjettituki on EU:n tuen muoto, jossa siirretään rahaa kumppanimaan valtionkassaan edellyttäen, että kyseinen maa noudattaa sovittuja maksuedellytyksiä. Näin saatu rahoitus siirtyy kumppanimaan talousarvioon, ja kumppanimaa voi käyttää sen parhaaksi katsomallaan tavalla. Komission mukaan budjettituki on yksi keino toimittaa vaikuttavaa tukea ja saada aikaan kestäviä tuloksia, joilla tuetaan EU:n kumppanien uudistuksia ja kestävän kehityksen tavoitteita.

Rahoitusvarojen siirron lisäksi budjettitukeen sisältyvät: i) kumppanimaan kanssa käytävä vuoropuhelu uudistuksista tai kehitysyhteistyön tuloksista, joita voidaan edistää budjettituella, ii) saavutetun edistyksen arviointi ja iii) tuki valmiuksien kehittämiseen. Budjettituki tarkoittaa painopisteen siirtämistä perinteisestä toimintakeskeisestä avusta (esim. hankkeet) tulosperusteiseen apuun.

EU on maailman suurin budjettituen antaja (kun otetaan huomioon sekä EU:n talousarviosta että Euroopan kehitysrahastoista annettu tuki). EU sitoi vuosina 2014–2017 noin 11 prosenttia (ks. liite I) kahdenvälisen kehitysavun määrärahoistaan budjettitukeen, mikä tarkoittaa keskimäärin noin 2,13 miljardia euroa vuodessa. Vuonna 2017 EU myönsi budjettitukea 90 maalle ja alueelle, jotka saivat tukea yhteensä 1,8 miljardia euroa. Sidottujen varojen kokonaismäärä kaikissa voimassa olevissa budjettitukisopimuksissa on 12,7 miljardia euroa. Kaaviossa 1 esitetään näiden lukujen jakautuminen alueittain sekä EU:n yleisen talousarvion että Euroopan kehitysrahastojen osalta.

Kaavio 1

Vuoden 2017 lopussa voimassa olleet budjettitukisitoumukset ja -maksut alueittain

(miljoonaa euroa)

Lähde: Euroopan tilintarkastustuomioistuin budjettituen kehityssuuntauksia ja tuloksia koskevan Euroopan komission julkaisun (Budget Support Trends & Results 2018) perusteella.

EU:n budjettituessa edellytetään, että vastaanottajamaa on ottanut käyttöön ja panee tehokkaasti täytäntöön tarkoituksenmukaisen ja uskottavan politiikan. Varainhoitoasetuksen¹ mukaan maa voi olla oikeutettu budjettitukeen, jos

kumppanimaan julkisen talouden hoito on riittävän avointa, luotettavaa ja tehokasta
kumppanimaa on ottanut käyttöön riittävän uskottavan ja tarkoituksenmukaisen alakohtaisen tai kansallisen politiikan
kumppanimaa on ottanut käyttöön vakauteen tähtäävän makrotalouspolitiikan
kumppanimaa on asettanut talousarviosta oikea-aikaisesti saataville riittävän määrän kattavaa ja luotettavaa tietoa.

Euroopan komissio käyttää kolmentyyppisiä budjettitukisopimuksia:

Kestävän kehityksen tavoitteita koskevilla sopimuksilla (SDGC) tuetaan kansallisia toimintapolitiikkoja ja strategioita kestävän kehityksen tavoitteiden saavuttamisessa.
Alakohtaisilla tulosperusteisilla uudistamissopimuksilla (SRPC) tuetaan määrättyjä alakohtaisia uudistuksia.
Valtiorakenteiden ja selviytymiskyvyn kehittämistä koskevia sopimuksia (SRBC) tehdään epävakaassa tilanteessa olevien maiden kanssa, jotta voidaan varmistaa tärkeät valtiotoiminnot tai tukea demokraattiseen hallintoon siirtymistä.

Valtaosa Euroopan komission budjettitukiohjelmista perustuu alakohtaisiin tulosperusteisiin uudistamissopimuksiin (74 prosenttia kaikista voimassa olleista budjettitukisitoumuksista vuonna 2017). Neljä alaa, joita alakohtaisilla tulosperusteisilla uudistamissopimuksilla rahoitetaan eniten, ovat koulutus, maatalous ja maaseudun kehittäminen, terveys ja energia.

Vaihtelevansuuruisten erien käyttö kannustimena tulosten saavuttamiseksi

Ennen kunkin erän maksamista komissio analysoi, täyttyvätkö budjettitukisopimukseen liittyvät yleiset ehdot. Nämä ehdot liittyvät useimmiten budjettituen saamista koskeviin kelpoisuusehtoihin (ks. kohta 04). Budjettitukimaksut suoritetaan joko kiinteämääräisinä tai vaihtelevansuuruisina erinä. Kiinteämääräiset erät joko maksetaan kokonaan (jos kaikki ehdot täyttyvät) tai niitä ei makseta lainkaan (jos yksi tai useampi ehdoista ei täyty). Vaihtelevansuuruisilla erillä luodaan kumppanimaille kannustimia parantaa politiikan toteuttamista. Erät maksetaan määriteltyjen tuloksellisuusindikaattoreiden ja tavoitteiden osalta saavutetun tuloksellisuuden perusteella, jos kaikki yleiset ehdot täyttyvät. Erät voidaan maksaa joko kokonaan tai osittain. Vaihtelevansuuruisten erien yhteydessä käytetyt tuloksellisuusindikaattorit voidaan valita kumppanimaan käytössä jo olevista seurantajärjestelmistä tai kumppanimaan ja muiden avunantajien kanssa sovitun yhteisen tuloksellisuuden arviointikehyksen avulla.

Julkisten politiikkojen arvioinnissa voidaan käyttää erityyppisiä tuloksellisuusindikaattoreita (ks. laatikko 1). Komissio suosittelee yleensä tulosindikaattorien käyttöä, mutta myös muuntyyppiset indikaattorit voivat olla tarkoituksenmukaisia kumppanimaan tai alan erityistilanteen mukaan.

Laatikko 1

Tuloksellisuusindikaattorien tyypit ja esimerkkejä niistä

	Määritelmä*	Havainnollistavat esimerkit tarkastettujen sopimusten indikaattoreista**
Panokset	Ohjelman toteuttamista varten käyttöön asetetut taloudelliset, henkilöstö- ja aineelliset resurssit	Määrärahojen kohdentaminen naisille suunnattuihin hankkeisiin
Prosessi	Toteutetut poliittiset ja sääntelytoimet	Elintarvikkeiden rajavalvontaa koskevien, EU:n vaatimuksia vastaavien säädösten hyväksyminen
Tuotokset	Käytettyjen resurssien ja toteutettujen toimien välittömät ja konkreettiset seuraukset	Julkisten rakennusten kunnostaminen Uudet paikallistason kaupalliset mekanismit Opettajille tarkoitetun hallintotietojärjestelmän suunnittelu
Tulokset	Edunsaajien tasolla saavutetut tulokset	Korkealaatuisen koulutuksen antaminen syyrialaisille oppilaille vastaanottavissa yhteisöissä ja leireillä Sellaisten yhteisöjen osuuden kasvu, joissa on säännöllistä henkilöliikennettä Sairausvakuutus vähävaraisille
Vaikutus	Tulosten seuraukset laajempaan tavoitteeseen kohdistuneen vaikutuksen osalta	Lapsikuolleisuuden väheneminen Kokapensaan viljelyalan väheneminen Menojen parempi seuranta ja raportointi

Lähde: * Euroopan komissio, Budget Support Guidelines, 2017; ** Euroopan tilintarkastustuomioistuin.

Jokaiseen tuloksellisuusindikaattoriin liittyy taloudellinen arvo. Komissio laskee vaihtelevansuuruisessa erässä maksettavat määrät esimerkiksi siten, että se laskee yhteen jokaiseen maan täyttämään tuloksellisuusindikaattoriin liittyvän summan. Mitä useamman indikaattorin kumppanimaa täyttää, sitä suurempi osuus vaihtelevansuuruisesta erästä siis maksetaan.

Vuonna 2017 kaikkiaan 44 prosenttia komission budjettitukisopimuksia koskevista maksuista liittyi vaihtelevansuuruisiin eriin². Eräissä EU:n naapuruusmaissa osuus on jopa 90 prosenttia. Kaaviossa 2 on maakohtainen erittely alakohtaisissa tulosperusteisissa uudistamissopimuksissa vuonna 2017 maksetuista vaihtelevansuuruisista eristä.

Kaavio 2

Alakohtaiset tulosperusteiset uudistamissopimukset, vaihtelevansuuruisten erien maksut vuonna 2017

Lähde: Euroopan tilintarkastustuomioistuin komission tietojen perusteella.

Vaihtelevansuuruisten erien maksaminen

Vaihtelevansuuruisen erän maksamismenettely alkaa, kun kumppanimaa esittää maksupyynnön. Pyyntö sisältää analyysin siitä, missä määrin asiaan liittyvät tuloksellisuusindikaattorit on täytetty. EU:n edustustot analysoivat pyynnöt ja laativat arviointimuistion. Komissio päättää tämän muistion perusteella ja budjettituen ohjauskomitean antaman hyväksynnän jälkeen, kuinka paljon vaihtelevansuuruisesta erästä maksetaan (ks. kaavio 3).

Maksupyynnön yhteydessä toimitettu kumppanimaan tuloksia koskeva arviointi perustuu sen omista seuranta- ja arviointijärjestelmistä peräisin oleviin tietoihin. Siksi nämä järjestelmät ovat ensisijainen tietolähde vaihtelevansuuruisten erien maksamisessa.

Kaavio 3

Maksamismenettely

Lähde: Euroopan tilintarkastustuomioistuin Euroopan komission budjettituen suuntaviivojen (Budget Support Guidelines) perusteella.

Tarkastuksen laajuus ja tarkastustapa

Vuonna 2017 hyväksytyssä kehityspolitiikkaa koskevassa eurooppalaisessa konsensuksessa vahvistetaan, että budjettituki edistää keskeisellä tavalla kestävän kehityksen tavoitteiden täytäntöönpanoa kumppanimaissa. Vaihtelevansuuruisilla erillä on tärkeä merkitys budjettitukimaksuissa. Lisäksi kyseisten maksujen perustana olevat tuloksellisuustiedot ovat peräisin vastaanottajamaista. Jos tiedot ovat virheellisiä tai epäluotettavia, budjettitukimaksuilla ei palkita todellisista tuloksista suunnitellusti. Tämä heikentäisi vakavasti budjettituen varsinaista tarkoitusta. Tämän tarkastuksen tavoitteena oli siksi arvioida vaihtelevansuuruisissa erissä käytettyjen tuloksellisuusindikaattoreiden määrää ja laatua (erityisesti merkityksellisyyttä ja luotettavuutta) sekä sitä, miten komissio analysoi maksupyynnöt.

Tarkastuksessa käsiteltiin seuraavaa pääkysymystä: ”Maksoiko komissio vaihtelevansuuruiset budjettitukierät relevanttien ja luotettavien tuloksellisuustietojen perusteella?”. Kysymykseen haettiin vastausta seuraavien osakysymysten avulla:

Sisälsivätkö budjettitukisopimukset indikaattoreita, joiden avulla relevantteja tuloksia voidaan seurata tuetuilla aloilla vaikuttavalla tavalla?
Tarkastiko komissio vaikuttavalla tavalla vaihtelevansuuruisista eristä tehtyihin maksupyyntöihin sisältyvien tuloksellisuustietojen luotettavuuden?

Tarkastus kattoi otoksen, johon sisältyi 24 alakohtaista tulosperusteista uudistamissopimusta (ks. liite II), jotka oli tehty niiden kahdeksan kumppanimaan kanssa, joiden vaihtelevansuuruisten erien maksut olivat suurimmat vuonna 2017³. Näille maille maksettiin 43,29 prosenttia kaikista vaihtelevansuuruisten erien maksuista kyseisenä vuonna. Otokseen valittujen sopimusten tarkastetuissa vaihtelevansuuruisissa erissä oli yhteensä 248 tuloksellisuusindikaattoria. Liitteessä III esitetään vuonna 2017 suoritetut maksut ja tarkastetut alat.

Tilintarkastustuomioistuin tutki otokseen valittujen sopimusten osalta, miten komissio arvioi maiden järjestelmien valmiuksia tuottaa luotettavia tuloksellisuustietoja. Lisäksi tilintarkastustuomioistuin tarkasti budjettituen sopimusehtojen muotoilun ja erityisesti vaihtelevansuuruisissa erissä käytettyjen tuloksellisuusindikaattorien laadun. Lopuksi tilintarkastustuomioistuin tutki, miten komissio tarkasti vaihtelevansuuruisia eriä koskevien maksupyyntöjen sisältämät tiedot. Tilintarkastustuomioistuin tutki näitä tarkastuksia toteuttamalla asiakirjatarkastuksen komission laatimista maksutiedostoista sekä arvioimalla uudelleen tavoitteiden saavuttamisen ja vaihtelevansuuruisia eriä koskevien maksujen laskemisen. Tämän jälkeen tilintarkastustuomioistuin vertasi johtopäätöksiään komission johtopäätöksiin.

Tarkastuskäynnit tehtiin seuraaviin kolmeen maahan: Jordania, Georgia ja Bolivia. Helmi- ja maaliskuussa 2019 tehtyjen tarkastuskäyntien aikana haastateltiin komission henkilöstöä, kansallisten viranomaisten edustajia ja muita avunantajia sekä sidosryhmiä. Muiden otokseen valittujen maiden kohdalla toteutettujen menettelyjen lisäksi tilintarkastustuomioistuin suoritti näissä kolmessa maassa uudelleen komission tekemät tarkastukset, jotka koskivat vaihtelevansuuruisten erien maksupyyntöjä ja niihin liittyviä maksuja, ja vertasi tuloksia komission analyysin tuloksiin. Lisäksi tilintarkastustuomioistuin arvioi tietojen luotettavuutta tarkastamalla kumppanimaiden ilmoittamat tiedot ristiin muiden tarkastusevidenssin lähteiden (ulkopuolisten asiantuntijoiden ja muiden avunantajien toimittamat tiedot) kanssa.

Huomautukset

Vaihtelevansuuruisia eriä koskevien indikaattorien muotoilu heikentää niiden relevanssia

Tilintarkastustuomioistuin tutki seuraavia kysymyksiä: i) Ovatko tuloksellisuusindikaattorit relevantteja budjettitukisopimusten tavoitteiden saavuttamisen kannalta ja vastaavatko ne maan toimintapolitiikkoja? ii) Tarjoavatko ne vankan perustan tarkoituksenmukaisten tulosten seurantaa varten?

Indikaattorit ovat maakohtaisten toimialastrategioiden mukaisia, mutta indikaattoreissa keskitytään pääasiassa lyhyen aikavälin toimiin, ei pitkän aikavälin tuloksiin

Komission mukaan budjettituki on tulosperusteinen avun toimittamistapa. Siinä missä hankepohjaista apua maksetaan tukikelpoisiin menoihin, vaihtelevansuuruiset budjettitukierät maksetaan, kun kumppanimaat täyttävät yleiset ehdot ja saavuttavat aiemmin sovitut tulokset, joita mitataan valituilla tuloksellisuusindikaattoreilla. Näin ollen vaihtelevansuuruisten erien relevanssiin vaikuttaa se, mitataanko tuloksellisuusindikaattoreilla tarkoituksenmukaisia tuloksia.

Kuten laatikosta 1 kävi ilmi, indikaattoreita on viidentyyppisiä. Panos-, prosessi- ja tuotosindikaattorit ovat relevanteimpia julkisten meno-ohjelmien päivittäisessä hallinnoinnissa. Tulos- ja vaikutusindikaattoreilla mitataan pidemmän aikavälin vaikutuksia, kuten uudistusten ja ohjelmien etenemistä asetettujen tavoitteiden, kuten kestävän kehityksen tavoitteiden, saavuttamisessa. Kaaviossa 4 on esimerkki erityyppisistä indikaattoreista, joita käytettiin eräässä Boliviassa toteutetussa budjettitukiohjelmassa.

Kaavio 4

Tulosketju ja erityyppiset tuloksellisuusindikaattorit

Lähde: OECD:n kehitysapukomitean tulosketju, jota käytetään EU:n ulkoisessa toiminnassa.

Budjettitukiohjeissa sallitaan kaikkien edellä mainittujen indikaattorityyppien käyttö. Komission mukaan olisi kuitenkin käytettävä ensisijaisesti tulosindikaattoreita, koska ne edistävät evidenssiin pohjautuvaa päätöksentekoa, suojaavat kumppanimaiden poliittisia mahdollisuuksia valita omat politiikkansa ja strategiansa niiden saavuttamiseksi sekä lisäävät korkealaatuisten tilastotietojen kysyntää. Mitä enemmän luotetaan kumppanimaan kykyyn tuottaa luotettavaa tietoa, sitä enemmän painoarvoa tulisi asettaa tulosindikaattoreille. Tilintarkastustuomioistuin pitää myös vaikutusindikaattoreita hyödyllisinä tulosten mittaamisessa, varsinkin kestävän kehityksen tavoitteiden saavuttamisessa.

Tilintarkastustuomioistuin analysoi tarkastetuissa sopimuksissa yhteensä 248 indikaattoria ja havaitsi, että indikaattorit ovat kumppanimaiden toimialastrategioiden mukaisia. Vaihtelevansuuruisten erien maksut perustuvat kuitenkin pääasiassa panos-, prosessi- ja tuotosindikaattoreihin. Niiden osuus kaikista indikaattoreista on yhteensä 87 prosenttia. Tulosta ja vaikutusta mitattiin vain 33 indikaattorissa (13 prosenttia) – ks. kaavio 5.

Kaavio 5

Tarkastettujen ohjelmien vaihtelevansuuruisissa erissä käytetyn indikaattorin tyyppi

Lähde: Euroopan tilintarkastustuomioistuin.

Tilintarkastustuomioistuin totesi, että tulos- ja vaikutusindikaattoreita käytettiin eniten alemman tulotason ja alemman keskitulotason maissa. Sitä vastoin ylemmän keskitulotason maissa, kuten Jordaniassa ja Georgiassa, käytettiin vain neljää tulosindikaattoria eikä yhtään vaikutusindikaattoria, vaikka niillä oli paremmat valmiudet tuottaa tuloksellisuustietoja. Tämä osoittaa, että indikaattorien valinta ei välttämättä liity vain maiden kehitysasteeseen.

Tarkastetuissa vaihtelevansuuruisissa erissä käytetyt panosindikaattorit liittyivät pääasiassa tavaroiden hankintaan (18 tapausta) ja määrärahojen lisäyksiin (9 tapausta). Määrärahojen lisäykset tai laitteistohankinnat voivat saada aikaan muutoksia tietyllä aihealalla, mutta ne eivät tarkoita automaattisesti, että saavutetaan tarkoituksenmukaista edistystä.

Prosessi-indikaattoreista voi olla hyötyä erityisesti silloin, kun politiikan tavoitteena on muuttaa sääntelykehystä. Ohjeiden mukaan niissä ei kuitenkaan pitäisi keskittyä ainoastaan prosesseihin, vaan niiden olisi mitattava myös laadullisia näkökohtia, kuten sitä, mitä perustettavan tahon odotetaan käsittelevän⁴. Tämä ei kuitenkaan aina toteutunut. Laatikossa 2 on joitakin esimerkkejä indikaattoreista, joissa ei määritellä lainkaan toimitettavien tietojen sisältöä tai rakennetta koskevia vähimmäislaatuvaatimuksia. Siksi on vaikea varmistaa, että vaihtelevansuuruisilla erillä palkitaan laadukkaista prosesseista.

Laatikko 2

Esimerkkejä prosessi-indikaattoreista, jotka eivät sisällä laadullisia vaatimuksia

Sopimus 15 on tehty Moldovan viisumivapautta koskevasta toimintasuunnitelmasta. Yksi sopimuksen indikaattoreista liittyy ilmoitettujen rikkomusten pakollista rekisteröintiä varten hyväksyttyyn sääntelykehykseen. Indikaattorissa ei kuitenkaan viitata lainkaan tämän kehyksen laatuun tai sisältöön.

Sopimus 4 on Jordanian kanssa tehty energia-alan sopimus. Yhdessä sen indikaattoreista tavoitteena on, että otetaan käyttöön energiasta ja mineraalivaroista vastaavan ministeriön johtama sidosryhmien välinen toimintapoliittinen vuoropuhelurakenne ja että se kokoontuu säännöllisesti. Tavoitteessa ei kuitenkaan täsmennetä, miten usein kokouksia tulisi järjestää.

Kolmannes indikaattoreista ei mahdollista tulosten objektiivista mittaamista

Julkisen politiikan täytäntöönpanossa saavutetun edistymisen mittaamiseen käytettyjen indikaattorien on oltava täsmällisiä, niillä on oltava määrälliset ja mitattavissa olevat tavoitteet ja soveltuvissa tapauksissa luotettava lähtötaso. Saavutettua edistystä ei ole muutoin mahdollista mitata objektiivisesti. Indikaattoreista, lähtötasoista ja tavoitteista on sovittava, kun budjettitukisopimukset laaditaan. Ne on myös määriteltävä rahoitussopimuksessa. Vaikka ohjeissa todetaan, että indikaattorien muuttamista olisi vältettävä, tavoitteita voi olla tarpeen muuttaa sopimuksen täytäntöönpanon aikana, jotta voidaan vastata uusiin olosuhteisiin tai korjata lähtötasojen määritelmässä tai indikaattorien laskennassa olevia virheitä.

Tilintarkastustuomioistuimen analyysista käy ilmi, että 72 indikaattoria (eli 29 prosenttia otoksesta) ei ollut riittävän täsmällisiä. Epätäsmälliset indikaattorit aiheuttavat ongelmia erityisesti maksupyyntöjen analysoinnissa: riskinä on, että tavoitteiden saavuttamisesta annetaan ristiriitaisia arvioita. Tämä voi puolestaan johtaa siihen, että maksettavaa vaihtelevansuuruista erää laskettaessa päädytään useisiin eri tuloksiin.

Indikaattoreista 29 prosenttia oli muotoiltu löyhästi, eivätkä ne sisältäneet määrällisiä tavoitteita. Niissä käytettiin esimerkiksi ilmaisuja ”parannetaan”, ”kiinnitetään enemmän huomiota” ja ”toimitetaan evidenssiä”. Tilintarkastustuomioistuin totesi, että täsmällisiä indikaattoreita oli eniten maatalousalan sopimuksissa (86,5 prosenttia). Sitä vastoin julkisen varainhoidon alalla vain 60 prosenttia indikaattoreista oli täsmällisiä. Laatikossa 3 on esimerkkejä epätäsmällisistä indikaattoreista ja niiden vaikutuksista maksettavien vaihtelevansuuruisten erien laskemiseen.

Laatikko 3

Esimerkkejä epätäsmällisistä indikaattoreista ja tavoitteista

Sopimuksella 1 tuetaan Jordanian koulutusuudistuksen toista vaihetta. Sopimuksen indikaattorissa 5 tavoitteena oli saada aikaan kuusi uutta koulua, joilla on riittävät resurssit/oppimisympäristöt ja riittävät henkilöresurssit ja jotka ovat toimintavalmiita. Rahoitussopimuksessa ei yksilöity riittävän tarkasti, mitä tarkoitetaan ”riittävällä” ja miten riittävyys olisi arvioitava määrällisesti maksun laskentaa varten. Sopimusteksti oli siis tulkinnanvarainen. Siksi ulkopuolisen asiantuntijan, joka analysoi tavoitteen saavuttamista komissiolle, oli kehitettävä kriteereiden arviointiin omat arviointiperusteensa. Tämä tarkoittaa, että näitä perusteita ei ollut vahvistettu etukäteen rahoitussopimuksessa, eikä niistä siten ollut sovittu kumppanimaan kanssa.
Georgian kanssa tehdyn, julkisen talouden uudistuksen tukemista koskevan sopimuksen (sopimus 8) indikaattorissa 2.1 todetaan, että valtiovarainministeriö järjestää sarjan julkisia keskusteluja finanssipolitiikan ohjausjärjestelmästä. Indikaattorissa ei täsmennetä kokousten määrää ja luonnetta.

Tilintarkastustuomioistuin havaitsi myös hyviä esimerkkejä, joissa komissio oli toteuttanut toimia edistymisen mittaamiseksi indikaattoreissa, joiden analysointi ei ollut helppoa. Laatikossa 4 kuvatussa tapauksessa komissio näytti tietä koko avunantajayhteisölle koulutuksen alalla.

Laatikko 4

Koulutuksen laadun mittaaminen – hyvä esimerkki

Jordanian opetusministeriölle myönnettiin budjettitukea Syyrian pakolaiskriisin käsittelyä varten. Sopimuksessa komissio käytti indikaattoria, jonka aiheena oli Jordanian vaatimuksiin verrattavissa olevan laadukkaan koulutuksen antaminen syyrialaisille oppilaille vastaanottavien yhteisöjen ja leirien yksi- ja kaksivuoroisissa kouluissa.

Tällä tulosindikaattorilla mitattiin syyrialaisille oppilaille annetun koulutuksen laatua. Indikaattorin arvo saatiin toteuttamalla kysely otokseen valituissa kouluissa. Koulutuksen laatua mitattiin kussakin koulussa arvioimalla kymmentä eri tekijää (joita olivat muun muassa oppituntien seuraaminen, vanhempien ja oppilaiden osallistuminen sekä poikien, tyttöjen, pakolaisten ja jordanialaisten yhtäläinen edustus) nelitasoisella asteikolla. Saatujen tulosten (suorituksen laatua koskevat tulokset) perusteella kouluille annettiin luokitus, jonka vaihteluväli on A+ (hyvä) – C (parannettavaa).

Tämä oli ensimmäinen indikaattori, jolla mitattiin koulutuksen laatua Jordaniassa. Sittemmin tätä indikaattoria ovat käyttäneet myös muut avunantajat, ja se on sisällytetty Jordanian yhteiseen tuloskehykseen.

Tilintarkastustuomioistuin havaitsi kuitenkin puutteita indikaattorien täyttymisen tarkistamisessa (ks. laatikko 10).

Kaikkiaan 41 prosenttia edistystä kuvaavista indikaattoreista ei sisältänyt lähtötasoa tai lähtötaso oli virheellinen

Täsmällisesti ja yksiselitteisesti määritellyt indikaattorit eivät ole tulosten tehokkaan mittaamisen ainoa ennakkoedellytys. Edistystä voidaan mitata vain, jos asetettuja tavoitteita voidaan verrata tilanteeseen ennen toimien toteuttamista. Tätä tilannetta kutsutaan lähtötasoksi. Tilintarkastustuomioistuin analysoi 85 indikaattoria, joissa lähtötasot olivat välttämättömiä (eli joissa arvioitiin edistystä⁵). Näistä 35 indikaattorissa oli seuraaviin seikkoihin liittyviä ongelmia: i) välttämättömien lähtöarvojen puute (15), ja ii) virheelliset tai vanhentuneet lähtötasot (20).

Kaikkiaan 15 indikaattoria ei sisältänyt määriteltyjä lähtötasoja. Nämä indikaattorit jakautuivat neljään sopimukseen (sopimukset 6, 7, 8 ja 17) otokseen valituista 24 budjettitukisopimuksesta. Suurin syy lähtötasojen puuttumiseen oli, että kumppanimaat eivät olleet seuranneet tilannetta ennen budjettitukisopimuksen alkua. Tilintarkastustuomioistuin havaitsi kuitenkin esimerkkejä, joissa komissio oli vastaavassa tilanteessa pyytänyt kumppanimaata laskemaan lähtötason budjettitukisopimuksen ensimmäisen vaihtelevansuuruisen erän yhteydessä. Toisissa tapauksissa komissio oli tehnyt tarvittavan työn (esim. kyselyt) puuttuvien lähtötasojen laskemiseksi. Tilintarkastustuomioistuin pitää näitä hyvinä käytäntöinä. Laatikossa 5 annetaan esimerkki työstä, jota komission on tehtävä, jotta asianomaisessa indikaattorissa saavutettua edistystä voidaan arvioida tarkasti myöhemmissä erissä.

Laatikko 5

Lähtötasojen määrittäminen

Ruandan energia-alan suorituskyvyn lisäämistä koskevaan alakohtaiseen uudistamissopimukseen (sopimus 19) sisältyvä indikaattori 3 on esimerkki hyvästä käytännöstä, jossa lähtötasot määritetään korvaamalla puuttuvat tiedot muilla tietolähteillä. Tätä indikaattoria mitataan koko sopimuksen keston ajan vuotuisella kyselyllä. Kysely ei kuitenkaan ollut saatavilla rahoitussopimuksen laatimisen aikana, joten lähtöarvo puuttui. Jotta lähtöarvo voitiin määrittää, EU:n edustusto toteutti kattavan analyysin ja teki ristiintarkastuksia, joissa käytettiin vaihtoehtoisia tietolähteitä, kuten vuoden 2009 biomassaenergiastrategiaa, Global Alliance for Cooking Stove ‑liittouman arviointia vuodelta 2012 sekä polttopuun kysyntää ja tarjontaa käsittelevää raporttia ”Wood fuel Integrated Supply/Demand Overview Mapping”. Tämän perusteella EU:n edustusto pystyi määrittämään asiaankuuluvan lähtötason.

Lisäksi 20 indikaattorissa lähtötaso oli virheellinen tai vanhentunut. Näistä tapauksista 11:ssä lähtötason virheettömän laskennan kannalta olennaiset uudet tiedot tulivat saataville sen jälkeen, kun budjettitukisopimus oli allekirjoitettu. Vaikka asiaan liittyvää rahoitussopimusta on mahdollista muuttaa siten, että se vastaa oikeaa lähtötasoa, komissio ei ollut muuttanut sopimusta näissä tapauksissa. Virheellisten tai vanhentuneiden lähtötasojen käytön vuoksi indikaattorien tavoitteet saattoivat myös olla pienempiä kuin todelliset lähtötasot. Laatikossa 6 esitetään tästä joitakin esimerkkejä.

Laatikko 6

Esimerkkejä indikaattoreista, joissa ei ollut lähtötasoa tai joissa lähtötaso oli virheellinen

Lähtötasot puuttuivat

Sopimus 7 käsittelee työllisyyttä ja ammatillista koulutusta Georgiassa. Sopimus sisälsi viisi edistystä mittaavaa indikaattoria, joista yhdellekään ei määritelty lähtötasoja, kun rahoitussopimus allekirjoitettiin vuonna 2014. Siksi vaadittua lisäystä koskeva lähtötaso oli nolla, mikä tarkoittaa, että mitä tahansa raportoitua edistystä voitaisiin pitää riittävänä tavoitteen saavuttamiseksi. Sopimus sisälsi esimerkiksi tavoitteita, jotka koskivat perus- tai jatkokoulutusta saavien opettajien suhteellisen määrän lisäämistä. Saatavilla ei kuitenkaan ollut tietoa siitä, kuinka moni opettaja sai jo tällaista koulutusta. Lisäksi perus- ja jatkokoulutuksen käsitteet laadittiin vasta vuonna 2016, joten lähtötilannetta oli mahdotonta selvittää tavoitteiden asettamishetkellä. Koska lähtötasot eivät olleet saatavilla, komissio otti indikaattorien arvojen sijaan huomioon koulutusalan laajemman kehityksen.

Lähtötasoja ei eritelty

Joissakin tapauksissa lähtötaso annettiin, mutta sitä ei eritelty niin tarkkaan, että olisi ollut mahdollista mitata edistystä. Bolivian kanssa tehdyn sopimuksen (sopimus 9) indikaattorissa 1 asetetussa tavoitteessa edellytettiin, että tietyt elimet kouluttavat tietyn määrän henkilöstöä vuonna 2016. Lähtötaso sisälsi tietoa vuonna 2013 tarjottujen koulutuskurssien määrästä. Tiedoista ei kuitenkaan käynyt ilmi yksittäisten elinten kouluttaman henkilöstön määrä, joten niitä ei eritelty riittävästi. Tilintarkastustuomioistuimelle toimitetusta lisädokumentaatiosta kävi ilmi, että tarkastellusta koulutuskeskuksesta riippuen vuonna 2013 koulutetun henkilöstön määrä oli jo suurempi kuin kahdessa vuodelle 2016 asetetussa tavoitteessa (toisessa 2 prosenttia ja toisessa 42 prosenttia suurempi). Tässä tapauksessa asetetut tavoitteet jäivät vaatimattomiksi, koska lähtötasoa ei ollut eritelty asianmukaisesti.

Lähtötasot olivat virheellisiä

Pakistania koskevassa koulutusalan tukiohjelmassa (sopimus 24) indikaattorin 5 lähtötaso liittyi sellaisten oppilaiden määrään, jotka hyödynsivät olemassa ollutta apurahajärjestelmää. Tavoitteeksi asetettiin kuitenkin sellaisten tukeen oikeutettujen tyttöjen prosenttiosuus, jotka saivat stipendit oikea-aikaisesti. Lähtötaso ei näin ollen liittynyt asetettuun tavoitteeseen suoraan.

Indikaattoreilla on yleensä suunniteltu kannustava vaikutus, mutta niitä on liian paljon

Budjettituen ensisijainen tavoite on tarjota kumppanimaille kannustimia sovittujen uudistusten toteuttamiseen. Siksi vaihtelevansuuruisissa erissä käytettyjen indikaattorien olisi edellytettävä, että vastaanottajamaa toteuttaa tarkoituksenmukaisia toimia. Indikaattoriin liittyvissä tavoitteissa olisi myös löydettävä sopiva tasapaino kunnianhimoisten ja helposti saavutettavien tavoitteiden välillä⁶.

Tilintarkastustuomioistuin totesi, että suurin osa tarkastetuista vaihtelevansuuruisista eristä kannusti kumppanimaita panemaan täytäntöön tietyt kehitystä koskevien strategioidensa osa-alueet. Otokseen valituista indikaattoreista yhdessätoista asetetut tavoitteet olivat kuitenkin hyvin helppoja saavuttaa. Luku sisältää neljä indikaattoria, joiden tavoitteet asetettiin hyvin matalalle virheellisten lähtötasojen käytön vuoksi (ks. kohdat 31 ja 32). Laatikossa 7 on joitakin esimerkkejä indikaattoreista, joiden kannustava vaikutus oli vähäinen. Lisäksi 12 muussa indikaattorissa, jotka liittyivät kolmeen sopimukseen (sopimus 16 Moldovassa, sopimus 10 Boliviassa ja sopimus 23 Pakistanissa), kumppanimaat saavuttivat tavoitteet suurimmaksi osaksi EU:n tai muiden avunantajien maksamaan tekniseen apuun perustuvan tuen avulla. Tilintarkastustuomioistuin katsoo, että tällaisiin indikaattoreihin sitoutuminen on vähäistä ja kannustava vaikutus heikko, koska ne eivät edellytä kumppanimaiden merkittävää osallistumista.

Laatikko 7

Esimerkkejä indikaattoreista, joiden tavoitteet oli helppo saavuttaa

Bolivian kanssa tehdyssä sopimuksessa 9 osalle vaihtelevansuuruisesta erästä asetettiin ehdoksi, että laittoman huumausainekaupan torjuntaa koskevan strategian täytäntöönpanosta vastaava elin järjestää kaksi yleiskokousta vuonna 2015. Strategian seurantaa koskevat säännölliset yleiskokoukset kuuluvat elimen tavanomaiseen toimintaan, eikä kokousten pitoon tarvitse kannustaa vaihtelevansuuruista erää koskevalla indikaattorilla.

Samassa sopimuksessa indikaattorin 4 tavoitteena on laatia raportti, joka osoittaa, että kumppanimaa noudattaa EU:n budjettituen ehtoja. Tällainen raportti on kuitenkin osa tavanomaista budjettituen maksamismenettelyä, eikä sitä siksi olisi pitänyt käsitellä vaihtelevansuuruisen erän indikaattorina.

Ohjeiden mukaan vaihtelevansuuruisessa erässä tulisi yleensä olla 3–10 indikaattoria. Liian suuri indikaattorien määrä heikentää kannustavaa vaikutusta ja vaikeuttaa seurantaa. Tarkastetuissa sopimuksissa indikaattoreita oli 4–34 kappaletta erää kohti⁷. Indikaattorit jaettiin edelleen alaindikaattoreiksi, joissa oli monesti useita tavoitteita. Esimerkiksi sopimus 15, jolla tuetaan Moldovan viisumivapautta koskevan toimintasuunnitelman täytäntöönpanoa, sisälsi 95 itsenäistä tavoitetta. Näin suuri indikaattori- ja tavoitemäärä ei edistä keskittymistä budjettitukisopimusten tärkeimpiin poliittisiin tavoitteisiin. Vaikka sisäisissä komission asiakirjoissa myönnettiin indikaattorien suureen määrään liittyvät ongelmat, se ei vaikuttanut sopimusten laatimiseen (ks. laatikko 8).

Laatikko 8

Indikaattorien suuri määrä

Sopimuksella 17 tuetaan maatalouden ja maaseudun kehittämistä Moldovassa. Sopimuksen valmisteluasiakirjoissa todetaan, että Moldovassa on tärkeää laatia muutamia ja keskitettyjä ehtoja, koska monimutkaisten ehtojen suuri määrä voi osaltaan johtaa alakohtaisen budjettituen epäonnistumiseen. Tätä näkökohtaa ei otettu huomioon suunnitteluvaiheessa, vaan vuoden 2017 vaihtelevansuuruisen erän maksua koskevaan sopimukseen sisältyi 28 yhdistettyä maksuun liittyvää ehtoa/perustetta/toimea. Nämä jaettiin edelleen 39:ksi alemman tason ehdoksi.

Indikaattorien täyttymistä koskevien komission tarkastusten laatu vaihtelee, minkä vuoksi kaikkia maksuja ei perusteltu riittävästi

Vastaanottajamaiden toimittamat maksupyynnöt sisältävät analyysin edistymisestä niille myönnetyistä budjettitukisopimuksista tuetuilla aloilla sekä tietoa sovittujen ehtojen ja tuloksellisuusindikaattorien täyttymisestä. Asiakirjat sisältävät yleensä raportin edistymisestä tietyllä alalla (toimiala), erilliset raportit kunkin ehdon täyttymisestä sekä kutakin indikaattoria koskevat tiedostot, jotka sisältävät evidenssiä (esim. tilastokeskuksen kirjeitä, kyselyjä koskevia raportteja). Kaaviossa 3 kuvaillaan budjettituen maksamismenettelyä.

Kumppanimaiden pyynnöt perustuvat niiden omista seuranta- ja arviointijärjestelmistä peräisin oleviin tietoihin. Siksi nämä järjestelmät ovat ensisijainen tietolähde maksupäätösten tekemisessä. Mailla on kuitenkin erilaiset valmiudet ja järjestelmät tietojen keräämistä, tallennusta, analysointia ja käyttöä varten. Siksi komission on ennen budjettitukioperaatioiden aloittamista arvioitava käytössä olevat järjestelmät, jotta voidaan laatia tuloksellisuusindikaattorit tulevien vaihtelevansuuruisten erien maksamista varten. EU:n edustustojen on erityisesti selvitettävä, heikentävätkö tilastojärjestelmien puutteet, tietojen saatavuus ja politiikka-analyysi merkittävästi maiden esittämien maksupyyntöjen pätevyyttä.

Tilintarkastustuomioistuin tutki tarkastettujen sopimusten osalta, oliko komissio arvioinut tuloksellisuustietojen luotettavuuden perusteellisesti valitessaan tuloksellisuusindikaattorit vaihtelevansuuruisiin eriin. Lisäksi tilintarkastustuomioistuin tutki, oliko komissio arvioinut vaihtelevansuuruisten erien maksupyynnöt perusteellisesti ja laskenut maksettavan määrän oikein.

Komissio ei tehnyt johtopäätöksiä maiden valmiuksista tuottaa indikaattoreihin tarvittavia tietoja

EU:n edustustoja pyydetään toimittamaan yhteenveto kumppanimaan seuranta- ja arviointijärjestelmistä (yleisesti koko maasta ja erikseen tietystä alasta alakohtaista tulosperusteista uudistamissopimusta varten). Lisäksi edustustoja pyydettään arvioimaan, onko maan julkinen politiikka EU:n tavoitteiden mukaista ja pidetäänkö institutionaalisia valmiuksia riittävinä politiikan täytäntöönpanoa varten. Lisäksi ohjeissa edellytetään, että tietojen luotettavuus ja saatavuus analysoidaan ja että tilastojärjestelmien heikkoudet arvioidaan ennen budjettitukisopimusten laatimista.

Tilintarkastustuomioistuin analysoi komission tekemät arviot Eurostatin laatimien kriteerien perusteella. Eurostat on kehittänyt Snapshot-työkalun, jonka tarkoituksena on auttaa EU:n edustustoja arvioimaan kehitysmaiden kansallisten tilastojärjestelmien heikkouksia ja vahvuuksia. Tilintarkastustuomioistuin totesi, että budjettitukea koskevat komission ohjeet kattavat tämän työkalun keskeiset vaatimukset. Snapshot on kuitenkin kattavampi, ja se tarjoaa yksityiskohtaista tietoa siitä, miten voidaan mitata tiettyjä aloja⁸, joilla on merkitystä tilastojärjestelmien arvioinnissa. Edustustojen henkilöstö ei yleisesti ottaen tunne tätä työkalua.

Tilintarkastustuomioistuimen arvio komission toteuttamasta seuranta- ja arviointijärjestelmien arvioinnista osoitti, että käytännössä komissio yleensä kuvailee ja arvioi ohjeissa mainittuja näkökohtia, mutta ne ovat hajallaan useissa eri asiakirjoissa. Tietyt alakohtaiset heikkoudet mainitaan useimmissa sopimuksissa (18 sopimuksessa kaikkiaan 24 sopimuksesta). Komissio teki kuitenkin nimenomaisia johtopäätöksiä vaihtelevansuuruisia eriä koskevien indikaattorien laskemiseen tarvittavien tuloksellisuustietojen luotettavuudesta vain viidessä Jordaniaa koskevassa sopimuksessa⁹. Tietojen luotettavuutta koskevien johtopäätösten tekeminen on tärkeää indikaattorien valinnan, seurannan ja maksujen analysoinnin kannalta.

Komissio tarkasti maksupyyntöjen perustana olevien tietojen luotettavuuden muttei aina perusteellisesti

EU:n edustustojen on analysoitava kumppanimaiden esittämät maksupyynnöt (myös asiaan liittyvien tuloksellisuusindikaattorien arvot), ennen kuin ne maksavat vaihtelevansuuruisen erän. Tilintarkastustuomioistuin havaitsi erilaisia tarkastusmenettelyjä, joista kaikkien avulla ei saatu maksusuoritusten perustaksi tarvittavaa varmuutta.

Komissio sovelsi yleisesti ottaen kolmea erityyppistä tarkastusmenettelyä: i) asiakirjatarkastus ja indikaattoriarvojen aritmeettinen uudelleenlaskenta käyttämällä kumppanimaiden toimittamia tietoja, ii) edellä mainittu menetelmä, jota täydennettiin paikan päälle tehdyillä käynneillä toimitettujen tietojen luotettavuuden tarkistamiseksi, ja iii) tuloksellisuusindikaattorien laskennan tai kumppanimaan toimittamien tietojen tarkistamisen ulkoistaminen ulkopuolisille asiantuntijoille.

EU:n edustustojen virkamiehet tekivät tarkastuskäyntejä paikan päälle täydentääkseen analyysia ja tarkistaakseen joitakin toimitettuja tietoja 14 sopimuksessa kaikkiaan 24 tarkastetusta sopimuksesta (ks. laatikko 9). Lisäksi 16 sopimuksessa palkattiin ulkopuolisia asiantuntijoita – toisinaan edustuston omien tarkastuskäyntien ohella – arvioimaan, täyttyivätkö vaihtelevansuuruisten erien ehdot. Naapuruusmaissa asiantuntijoihin turvauduttiin järjestelmällisesti, kun taas muissa tarkastetuissa maissa edustustot käyttivät asiantuntijoita vain viidessä sopimuksessa kolmestatoista.

Budjettitukiohjeissa suositellaan, että asiantuntijoita pyydetään avustamaan tarkastustoiminnassa, jos toimitettujen tietojen laadusta on vakavia epäilyksiä. Jos kumppanimaiden valmiuksista tuottaa tällaista tietoa ei ole kuitenkaan tehty selkeitä johtopäätöksiä (ks. kohdat 39–41), on vaikea päätellä, tarvitaanko tällaista asiantuntija-apua todella. Tarkastetuissa sopimuksissa asiantuntijoiden tarkastuskäyntien keskimääräiset kustannukset olivat noin 110 000 euroa.

Laatikko 9

Maksupyyntöjä koskevat komission tarkastukset

EU:n edustusto arvioi Ruandan maatalousalan suorituskyvyn lisäämistä koskevaan alakohtaiseen uudistamissopimukseen (sopimus 18) liittyvää maksupyyntöä analysoimalla kattavasti Ruandan valtion toimittamat tiedot. Tätä analyysia täydennettiin tarkastuskäynneillä ja kansallisille viranomaisille esitetyillä selvennyspyynnöillä. Indikaattorissa 5a ensimmäisen vuoden tavoitteena oli, että 80 000 hehtaaria maata käytetään peltometsäviljelyyn tietyillä alueilla. Edustusto teki tarkastuskäynnin, jossa kävi ilmi, että toimitetut tiedot olivat virheellisiä, koska toiminta alueella ei liittynyt vain peltometsäviljelyyn. Tämän vuoksi komissio pidätti tähän indikaattoriin liittyvän maksun kyseisessä erässä.

Tilintarkastustuomioistuin totesi, että kuudessa sopimuksessa¹⁰ otokseen valituista 24 sopimuksesta komissio ei kohdistanut lisätarkastuksia vaihtelevansuuruisten erien maksamisen perustana käytettyihin tietoihin. Tämä johtui pääasiassa siitä, että EU:n edustustot luottivat täysin kumppanimaiden toimittamien tuloksellisuustietojen paikkansapitävyyteen tai ulkopuolisten asiantuntijoiden komission puolesta tekemiin tarkastuksiin eivätkä kohdistaneet tietoihin mitään lisätarkastuksia. Näissä tapauksissa komission on vaikeampaa havaita maksupyyntöjen sisältämät epäluotettavat tuloksellisuustiedot, mikä lisää riskiä, että vaihtelevansuuruisia eriä saatetaan maksaa aiheettomasti. Laatikossa 10 annetaan esimerkki ulkopuolisen tarkastuksen puutteista, joita komissio ei havainnut.

Laatikko 10

Esimerkkejä ulkopuolisen asiantuntijan työssä havaituista puutteista

Sopimuksella 2 tuetaan Jordanian opetusministeriötä Syyrian pakolaiskriisin käsittelyssä. Komissio palkkasi tätä sopimusta varten asiantuntijan arvioimaan tietoja, jotka opetusministeriö oli antanut joistakin vaihtelevansuuruisten erien indikaattoreista. Asiantuntija validoi ministeriön ilmoittamat tiedot tekemällä tarkastuskäynnin 30 kouluun, jotka oli poimittu otokseen. Komissio maksoi vaihtelevansuuruisen erän kyseisen asiantuntijalausunnon perusteella.

Tilintarkastustuomioistuin tarkasti asiantuntijan työn ja teki tarkastuskäynnin joihinkin otokseen valituista kouluista. Se havaitsi seuraavat ongelmat:

Kouluotosta ei ollut poimittu satunnaisesti, vaan se perustui Unescolle työskentelevän ulkoisen konsulttitiimin suosituksiin, jotka opetusministeriö hyväksyi. Riskinä oli, että otos oli puolueellinen.
Vaikka asiantuntija teki käynnin otokseen kuuluneisiin 30 kouluun, vain 17 koulun tietoja vertailtiin. Tämä johtui siitä, ettei ministeriöllä ollut muita kouluja koskevia tietoja. Siksi ulkopuolisen asiantuntijan tekemät johtopäätökset ministeriön IT-järjestelmän luotettavuudesta perustuivat riittämättömään evidenssiin.
Kouluissa työskentelevää henkilöstöä koskevissa tarkastuskäynneissä käsiteltiin vain opettajia, vaikka indikaattorin 1 tavoitteessa tarkoitettiin myös muuta henkilöstöä. Näin ollen tästä indikaattorista tehdyt johtopäätökset olivat puutteellisia.
Asiantuntija päätteli, että kenttätiedot vahvistivat ministeriön tiedot. Indikaattorien 1 (henkilöstön määrä) ja 2 (oppilaiden määrä) osalta tähän johtopäätökseen päädyttiin vertaamalla otoksen kokonaistuloksia. Koulukohtaisissa yksittäisissä tuloksissa on kuitenkin merkittäviä eroja (positiivisia ja negatiivisia), jotka eivät käy ilmi, kun tulokset lasketaan yhteen.

Joissakin vaihtelevansuuruisissa erissä kumppanimaiden toimittamat tuloksellisuustiedot eivät riittäneet suoritettujen maksujen perustaksi

Tarkastettujen vaihtelevansuuruisten erien maksujen arvo oli yhteensä 234 miljoonaa euroa. Tilintarkastustuomioistuin arvioi vaihtelevansuuruisia eriä koskevien indikaattorien täyttymistä tukevaa evidenssiä ja totesi sen perusteella, että viidessä maassa kahdeksasta tulokset poikkesivat komission hyväksymistä tuloksista. Näiden poikkeamien arvo oli 13,3 miljoonaa euroa. Yhden maan (Pakistan) kohdalla poikkeama vaihtelevansuuruisten erien maksuista oli 19 prosenttia. Lisäksi tilintarkastustuomioistuin totesi, että komissio maksoi kahdelle maalle 3,4 miljoonaa euroa sellaisten indikaattorien perusteella, joihin liittyvät lähtötasot oli määritetty virheellisesti. Vaikka komissiolla oli sopimukseen perustuva velvoite maksaa, koska tavoitearvo oli saavutettu, indikaattorin mittaamalla alalla ei tosiasiassa saavutettu edistystä. Taulukossa 1 esitetään yhteenveto näistä summista kunkin tarkastetun maan osalta.

Taulukko 1 – Poikkeamat komission arvioista

Maa	Tarkastettu vaihtelevansuuruinen erä (euroa)	Erot tilintarkastustuomioistuimen arvioon verrattuna (euroa)	Sopimuksen ja indikaattorin numero	Syy poikkeamiin (indikaattoreittain)	Ilman todellista edistystä maksetut määrät (euroa)
Bolivia	32 800 000	0			0
Etiopia	29 520 000	0			2 000 000 (sopimus 14: indik. 7)
Georgia	19 400 000	1 000 000	Sopimus 6: indik. 1.2 ja 1.7	1.2: Saavutettiin 2 kk määräajan jälkeen 1.7: Tavoitetta ei saavutettu	0
Jordania	45 750 000	6 000 000	Sopimus 1: indik. 5	Saavutettiin 2 vuotta määräajan jälkeen	0
Moldova	26 345 111	1 000 000	Sopimus 16: indik. 2.1 ja 2.2	2.1: Saavutettiin 1 kk määräajan jälkeen 2.2: Saavutettiin 3 kk määräajan jälkeen	0
Pakistan	25 665 625	4 968 750	Sopimus 23: indik. 5, 6 ja 8 Sopimus 24: indik. 4, 6.2 ja 6.3	5, 6 ja 8 Tavoitetta ei saavutettu 4 ja 6.3 Virheellinen evidenssi 6.2: Tavoitetta ei saavutettu	0
Ruanda	27 667 500	332 500	Sopimus 20: indik. 2	Saavutettiin vuosi määräajan jälkeen	1 437 500 (sopimus 19: indik. 5, sopimus 20: indik.4)
Vietnam	27 000 000	0			0
YHTEENSÄ	234 148 236	13 301 250			3 437 500

Lähde: Euroopan tilintarkastustuomioistuin.

Tilintarkastustuomioistuimen havaitsemat ongelmat liittyivät pääasiassa seuraaviin asioihin: i) tavoitteet saavutettiin viipeellä asetettujen määräaikojen jälkeen, ii) tulosten mittaaminen perustui virheellisesti määritettyihin lähtöarvoihin, iii) indikaattorien täyttymisen perustana käytettiin virheellistä tai riittämätöntä evidenssiä, ja iv) tavoitteita ei saavutettu lainkaan. Kaaviossa 6 esitetään komission arvioista havaittujen poikkeamien tyypit ja prosenttiosuus.

Kaavio 6

Poikkeamatyypit

Lähde: Euroopan tilintarkastustuomioistuin.

Laatikossa 11 käsitellään yhtä tapauksista, joissa tilintarkastustuomioistuin katsoi, että kumppanimaiden toimittama evidenssi oli virheellistä.

Laatikko 11

Evidenssi perustui virheellisesti painottuneeseen otokseen

Sopimus 24 koskee koulutusta Pakistanissa. Sopimukseen sisältyvän indikaattorin 6.3 tavoitteena oli, että kouluseteleitä saavien oppilaiden läsnäoloaste olisi vähintään 80 prosenttia. Kumppanimaan toimittamasta evidenssistä kävi ilmi, että läsnäoloaste oli korkeampi kuin tavoitearvo (87 prosenttia). Komissio katsoi näin ollen, että tämä tavoite oli saavutettu. Toimitetun evidenssin piti teknisen avun noudattamista koskevan raportin mukaan kattaa kaikki oppilaat koko vuoden aikana. Tilintarkastustuomioistuimen analyysi kuitenkin osoitti, että kansalliset viranomaiset olivat ottaneet huomioon vain neljänneksen kouluseteleitä saaneista oppilaista ja laskeneet kaikkien läsnäoloasteen tämän otoksen perusteella. Lisäksi tämä otos poimittiin lukuvuoden alussa, jolloin läsnäolo on suurinta. Tilintarkastustuomioistuin katsoi siksi, että tietojen tueksi esitetty evidenssi ei ollut luotettavaa ja otos oli virheellisesti painottunut.

Edellä käsitellyssä tapauksessa komissio katsoi, että tavoitteet oli saavutettu, ja suoritti maksun kokonaisuudessaan.

Tilintarkastustuomioistuin löysi neljästä sopimuksesta yhteensä viisi indikaattoria¹¹, joiden tavoitteet oli saavutettu rahoitussopimuksessa asetetun määräajan jälkeen. Lisäksi tilintarkastustuomioistuin katsoi viiden muun indikaattorin¹² osalta, että kumppanimaat eivät saavuttaneet tavoitteita, vaikka komission mukaan tavoitteet olivat täyttyneet. Laatikossa 12 on esimerkkejä molemmista tapauksista.

Laatikko 12

Tavoitteet saavutettiin asetettujen määräaikojen jälkeen tai vain osittain tai ne jäivät kokonaan saavuttamatta

Jordanian kanssa tehtyyn koulutusalan sopimukseen (sopimus 1) sisältyvän indikaattorin 5 tavoite saavutettiin määräajan jälkeen. Kyseisen indikaattorin tavoitteena oli, että vuoteen 2015 mennessä rakennetaan kuusi uutta koulua. Koulut saatiin valmiiksi vasta vuonna 2017, ja vaihtelevansuuruinen erä maksettiin joulukuussa 2017. Merkittävä viivästyminen johtui siitä, että hankintamenettelyt olivat aikaavieviä, mikä seurauksena kansalliset viranomaiset panivat rakennustyöt täytäntöön myöhässä.

Komissio otti nämä viivästykset huomioon jatkamalla sopimuksen täytäntöönpanoaikaa joulukuuhun 2017. Se ei kuitenkaan muuttanut koulujen rakentamiselle asetettua määräaikaa (vuosi 2015).

Koulutusta Pakistanissa koskevaan sopimukseen (sopimus 23) sisältyvän indikaattorin 6 tavoite kattoi kaksi toimea: englannin kielen opetussuunnitelman laatimisen ja tiettyjen luokkien oppikirjojen hyväksynnän. Tilintarkastustuomioistuin totesi, että vain puolet oppikirjoista oli hyväksytty maksupyyntöä esitettäessä. Siksi tilintarkastustuomioistuin katsoo, ettei tavoitteen toista osaa olisi pitänyt katsoa saavutetuksi.

Georgian kanssa tehtyyn maatalousalan sopimukseen (sopimus 6) sisältyvän indikaattorin 1.7 tavoitteena oli bio- ja luomutuotannon sertifiointijärjestelmiä koskevan kansallisen ohjelman hyväksyminen. Georgia katsoi, että tämä indikaattori täyttyi, koska se oli hyväksynyt teeviljelmien kunnostamista koskevan kansallisen ohjelman. Kyseisen ohjelman tavoitteeksi on kuitenkin ilmoitettu teeviljelmien tehokkaan käytön tukeminen Georgiassa, teen (ml. biologisesti tuotetun teen) tuotannon lisääminen sekä omavaraisuuden ja vientipotentiaalin lisääminen. Tavoite ei siten sisältänyt varsinaisesti bio- ja luomutuotannon sertifiointijärjestelmiä. Tilintarkastustuomioistuin katsoo, ettei tämä tavoite täyttynyt, koska ohjelmaa ei kohdennettu nimenomaisesti biotuotteiden sertifiointiin. Myös ulkopuolinen tarkastaja oli tätä mieltä.

Kaikissa edellä mainituissa tapauksissa komissio suoritti maksut kokonaisuudessaan.

Tilintarkastustuomioistuin havaitsi kolme tapausta, joissa komissio oli suorittanut maksut rahoitussopimusten määräysten mukaisesti, koska kumppanimaat olivat saavuttaneet sovitut tavoitteet. Virheellisesti määritetyn lähtötason tai virheellisesti asetettujen tavoitearvojen käytön vuoksi kohdealoilla ei kuitenkaan saavutettu todellista edistystä. Laatikossa 13 käsitellään tarkemmin joitakin näistä tapauksista.

Laatikko 13

Tavoitteet asetettiin käyttämällä virheellisiä lähtötasoja – todellista edistystä ei saavutettu

Etiopian kanssa tehtyyn liikennealan sopimukseen (sopimus 14) sisältyvä indikaattori 7 liittyy ylikuormaa kuljettavien rekkojen prosenttiosuuteen. Tavoitteeksi asetettiin, että tämä prosenttiosuus laskee 9 prosenttiin lähtöarvosta, joka oli 11 prosenttia. Tarkastelujakson lopussa saavutettu tulos oli 6 prosenttia, mikä tarkoittaa, että tavoite saavutettiin. Siihen liittyvä summa maksettiin rahoitussopimuksen määräysten mukaisesti. Kumppanimaalta maksupyynnössä saatujen tietojen perusteella todellinen lähtöarvo oli kuitenkin 6 prosenttia. Näin ollen ylikuormaa kuljettavien rekkojen määrä ei tosiasiassa vähentynyt.

Ruandan kanssa tehtyyn energia-alan sopimukseen (sopimus 19) sisältyvä indikaattori 5 on toinen esimerkki siitä, että maksu suoritettiin virheellisen lähtötason vuoksi, vaikka todellista edistystä ei ollut riittävästi. Indikaattorilla mitataan uusiutuvista lähteistä tuotetun sähkön osuutta energialähteiden yhdistelmässä. Sopimuksessa käytetty lähtöarvo oli 292 gigawattituntia, joka tuotettiin vuonna 2015. Lähtötasona käytetyn vuoden todellinen arvo oli väärä. Kansallisten viranomaisten ilmoittamien tietojen perusteella todellisen arvon olisi pitänyt olla 368 gigawattituntia. Tarkastettua vaihtelevansuuruista erää varten asetettu tavoite oli lisätä uusiutuvista energialähteistä tuotettua määrää 14,5 gigawattituntia lähtötasoon verrattuna. Tarkastusajanjaksona tässä indikaattorissa saavutettu tulos oli 361,5 gigawattituntia, minkä vuoksi indikaattoriin liittyvä summa maksettiin, vaikka uusiutuvista lähteistä tuotetun sähkön osuus oli vähentynyt.

Taulukossa 1 määrällisesti esitettyjen poikkeamien lisäksi tilintarkastustuomioistuin ei kyennyt vahvistamaan kahden vaihtelevansuuruisen erän maksujen virheettömyyttä, koska viidestä indikaattorista¹³ ilmoitettujen arvojen tueksi ei esitetty riittävää evidenssiä (ks. esimerkit laatikossa 14). Kyseisten indikaattorien yhteydessä maksettiin 3,77 miljoonaa euroa.

Laatikko 14

Riittävä evidenssi puuttui

Sopimuksella 5 tuetaan julkista varainhoitoa Jordaniassa. Sopimukseen sisältyvä indikaattori 1.2 liittyi eri kansallisten ministeriöiden ja virastojen sisäisen valvonnan yksiköiden henkilöstön koulutuksessa oleviin puutteisiin. Tavoitteena oli kouluttaa sisäisen valvonnan yksiköiden henkilöstöä, joka ei ollut osallistunut koulutukseen edellisen vuoden aikana (numeerista tavoitetta ei ollut). Komission palkkaama ulkopuolinen asiantuntija totesi, että yli 85 prosenttia kaikkien sisäisen valvonnan yksiköiden henkilöstöstä osallistui tarjotulle täydennyskoulutuskurssille. Näin ollen hän totesi, että indikaattori saavutettiin. Asiantuntijalausunnossa ei ilmoitettu, miten 85 prosenttia oli laskettu, joten tilintarkastustuomioistuin ei voinut suorittaa laskentaa uudelleen tai vahvistaa, että koulutus kattoi kaikki puutteet. Saatavilla ei ollut minkäänlaista tietoa siitä, mitä tähän 85 prosenttiin sisällytettiin.

Pakistanin kanssa tehtyyn yhteisöjen kehittämisen ohjelmaa koskevaan sopimukseen (sopimus 22) sisältyvällä indikaattorilla 3 mitattiin yhteisölähtöisiin paikallisiin kehittämishankkeisiin osoitettujen määrärahojen osuutta hallintopiirien kehittämisstrategioiden kustannusarvioista. Ilmoitettuja hallintopiirin kustannusarvioita ei kuitenkaan voitu jäljittää liiteasiakirjoina toimitettuihin hallintopiirien kehittämisstrategioihin. Vastaavasti komission tätä indikaattoria arvioimaan palkkaaman asiantuntijan lausunnossa ei esitetä hallintopiirin kustannusarvioiden ja hallintopiirien kehittämisstrategioiden täsmäytystä. Siksi tilintarkastustuomioistuin ei kyennyt vahvistamaan ilmoitettua tulosta.

Moldovalle suoritettuja maksuja ei dokumentoitu riittävästi

Suoranaisesti tuloksellisuusindikaattoreiden tarkastukseen liittymättömänä seikkana tilintarkastustuomioistuin havaitsi, että komissio oli maksanut Moldovalle ilman riittäviä perusteluja kolme vaihtelevansuuruista erää, joiden kokonaismäärä oli 26,3 miljoonaa euroa, ilman että maksujen perustana olevia syitä olisi dokumentoitu riittävästi (ks. laatikko 15).

Laatikko 15

Moldovalle suoritettujen maksujen dokumentointi

Budjettituen rahoitussopimuksissa annetaan komissiolle oikeus keskeyttää rahoitussopimus, jos kumppanimaa rikkoo velvoitetta, joka liittyy ihmisoikeuksien kunnioittamiseen tai demokratian periaatteiden ja oikeusvaltioperiaatteiden noudattamiseen, sekä vakavissa korruptiotapauksissa (unionin yleiseen talousarvioon sovellettavan varainhoitoasetuksen 236 artiklan 4 kohta, heinäkuu 2018).

Moldovan demokratian tilaa koskevien huolenaiheiden vuoksi komissio päätti heinä- ja lokakuussa 2017 lykätä useiden vaihtelevansuuruisten erien maksamista. Komissio totesi, että maksuajankohtaa selvennettäessä otetaan huomioon tehokkaiden demokratian mekanismien, oikeusvaltioperiaatteen ja ihmisoikeuksien noudattaminen Moldovassa. Tärkein syy tähän päätökseen oli uuden vaalilain lähestyvä käyttöönotto Moldovassa. Uusi vaalilaki ei ollut yhdenmukainen suositusten kanssa, joita Eurooppa-neuvoston neuvoa-antavana elimenä perustuslakiasioissa toimiva Venetsian komissio oli antanut.

Maksu kuitenkin hyväksyttiin 11. joulukuuta 2017. Maksusuorituksen hyväksynnän tukena ei kuitenkaan ollut arviota, joka olisi osoittanut Moldovan demokraattisten mekanismien ja ihmisoikeustilanteen parantuneen, vaikka niihin liittyvät ongelmat olivat tärkein syy siihen, että maksu alun perin pidätettiin.

Johtopäätökset ja suositukset

Tilintarkastustuomioistuin totesi, että vaihtelevansuuruisten erien tuloksellisuusindikaattorit vastasivat hyvin kumppanimaiden alakohtaisia kehittämisstrategioita. Suurimmassa osassa indikaattoreista keskityttiin kuitenkin lyhyen aikavälin toimiin eikä pitkän aikavälin tuloksiin, kuten kestävän kehityksen tavoitteiden saavuttamiseen. Tilintarkastustuomioistuin tarkasti 248 indikaattoria, joista vain 13 prosenttia mittasi tuetuilla aloilla saavutettuja tuloksia tai vaikutuksia (ks. kohdat 22–25). Käyttämällä tulosindikaattoreita komissio voisi mitata paremmin pitkän aikavälin tuloksia tuetuilla aloilla – myös kestävän kehityksen tavoitteiden saavuttamisen osalta.

Suositus 1 – Lisätään tulosindikaattorien käyttöä vaihtelevansuuruisissa erissä

Komission olisi lisättävä sellaisten vaihtelevansuuruisten erien osuutta, jotka maksetaan tulosindikaattorien saavuttamisen perusteella.