Uppgiftskvalitet vid budgetstöd: brister i några indikatorer och i kontrollen inför utbetalning av rörliga delbetalningar

Sammanfattning

Budgetstöd är en form av EU-bistånd som innebär att pengar förs över till ett partnerlands statskassa, förutsatt att landet respekterar de utbetalningsvillkor som man har kommit överens om. EU betalar årligen ut i genomsnitt 1,69 miljarder euro och är den största givaren av budgetstöd. Budgetstöd betalas ut i form av antingen fasta eller rörliga delbetalningar. Omkring 44 % av EU:s utbetalningar av budgetstöd sker i form av rörliga delbetalningar. Denna andel uppgår till så mycket som 90 % i vissa av EU:s grannländer. Beloppen som betalas ut som rörliga delutbetalningar beror på partnerländernas prestationer, vilka mäts med fördefinierade prestationsindikatorer.

Vi granskade om kommissionen använde relevanta och tillförlitliga prestationsuppgifter för utbetalningar av budgetstöd i rörliga delbetalningar. Vi konstaterar att en tredjedel av de prestationsindikatorer som vi granskade var utformade på ett sätt som gör dem mindre relevanta, och att de inte gör det möjligt att mäta prestationer på ett objektivt sätt – vilket undergräver deras relevans. Vidare var kommissionens bedömning av om indikatorerna för rörliga delbetalningar hade uppfyllts inte alltid tillförlitliga, och detta ledde till att vissa utbetalningar inte var tillräckligt styrkta.

Prestationsindikatorerna för rörliga delbetalningar var anpassade till partnerländernas strategier för sektorutveckling, men merparten av dem var inriktade på kortsiktiga åtgärder snarare än långsiktigare resultat, bland annat framstegen över tid mot målen för hållbar utveckling. Vidare hade över en tredjedel av indikatorerna inte definierats på ett tydligt sätt eller hade felaktiga utgångsvärden eller inga utgångsvärden alls. Detta möjliggjorde olika tolkningar av huruvida mål hade uppnåtts, vilket ledde till att analysen av utbetalningsansökningar blev mer komplex och mindre objektiv.

De flesta av de rörliga delbetalningar som vi granskade förde med sig avsedd effekt, det vill säga gav partnerländerna incitament att göra framsteg med sina reformagendor med hjälp av tillräckligt ambitiösa mål. De få undantag vi fann rörde indikatorer med mål som var enkla att nå eller som hade nåtts via det arbete som utfördes av andra givare eller externa experter som betalades av EU. Antalet indikatorer som användes inom varje rörlig delbetalning var för stort när det gäller sex av de 24 kontrakten, vilket ytterligare komplicerade utbetalningsprocessen.

Ansökningarna om utbetalning av rörliga delbetalningar innehåller en analys av om överenskomna villkor och prestationsindikatorer har uppfyllts. De utarbetas av partnerländerna, vilket innebär att de underliggande prestationsuppgifternas tillförlitlighet beror på ländernas kapacitet att ta fram dem. Vi konstaterade att kommissionen endast för fem av de 24 utvalda kontrakten drog tydliga slutsatser om huruvida de prestationsuppgifter som behövdes för att beräkna indikatorerna för rörliga delbetalningar var tillförlitliga. När EU:s delegationer analyserade utbetalningsansökningar genomförde de en rad olika förfaranden för att kontrollera uppgifternas tillförlitlighet. Några av förfarandena säkerställer inte att utbetalningarna av rörliga delbetalningar bygger på tillförlitliga uppgifter, och delbetalningarna är således inte fullständigt styrkta.

Vi gjorde om kommissionens bedömningar av om indikatorerna hade uppfyllts och räknade om utbetalningar av rörliga delbetalningar på totalt 234 miljoner euro, och konstaterade att det fanns avvikelser på 16,7 miljoner euro. Av detta belopp var 13,3 miljoner euro inte tillräckligt styrkta eller inte i linje med kontraktsbestämmelser. Ett belopp på 3,4 miljoner euro betalades ut utan att det hade skett några faktiska framsteg. Dessutom betalades 26,3 miljoner euro ut till Moldavien genom tre rörliga delbetalningar utan att skälen till utbetalningarna hade dokumenterats tillräckligt.

Vi lämnar sex rekommendationer till kommissionen i syfte att

• öka användningen av utfallsindikatorer vid rörliga delbetalningar,
• förbättra utformningen av prestationsindikatorer,
• garantera de rörliga delbetalningarnas stimulanseffekt,
• förenkla utbetalningsprocessen för rörliga delbetalningar,
• förbättra bedömningarna av ländernas kapacitet att tillhandahålla de prestationsuppgifter som används vid rörliga delbetalningar,
• förbättra kontrollen av de prestationsuppgifter som används för utbetalning av rörliga delbetalningar.

Inledning

Begreppet budgetstöd

Budgetstöd är en form av EU-bistånd som innebär att pengar förs över till ett partnerlands statskassa, förutsatt att landet respekterar de utbetalningsvillkor som man har kommit överens om. Den mottagna finansieringen går in i partnerlandets budget och kan användas på det sätt som partnerlandet finner lämpligt. Kommissionen beskriver budgetstöd som ett sätt att ge ändamålsenligt bistånd och uppnå hållbara resultat till stöd för EU:s partnerländers reforminsatser och målen för hållbar utveckling.

Utöver överföringen av finansiella resurser inbegriper budgetstöd i) en dialog med partnerlandet om reformer och utvecklingsresultat som budgetstöd kan bidra till, ii) en bedömning av de framsteg som uppnåtts och iii) stöd till kapacitetsuppbyggnad. Budgetstöd innebär att fokus som traditionellt ligger på verksamheter (t.ex. projekt) förflyttas mot resultatorienterat bistånd.

EU (genom både EU:s budget och Europeiska utvecklingsfonden) är världens största givare av budgetstöd. Under perioden 2014–2017 gjorde EU åtaganden för budgetstöd på omkring 11 % (se bilaga I) av sin budget för bilateralt utvecklingsbistånd: ett årligt genomsnitt på omkring 2,13 miljarder euro. År 2017 gav EU budgetstöd till 90 länder och territorier som mottog totalt 1,8 miljarder euro. För alla pågående budgetstödkontrakt har det gjorts åtaganden på 12,7 miljarder euro. I figur 1 visas en uppdelning av beloppen per region för både EU:s allmänna budget och Europeiska utvecklingsfonden.

(i miljoner euro)

Källa: Revisionsrätten, på grundval av Europeiska kommissionens Budget Support – Trends & Results 2018 (budgetstöd – tendenser och resultat 2018).

EU:s budgetstöd kräver att mottagarlandet har infört och på ett ändamålsenligt sätt genomför relevanta och trovärdiga strategier. Enligt budgetförordningen kan ett land anses berättigat till budgetstöd när följande uppfylls¹:

• Partnerlandets förvaltning av de offentliga finanserna är tillräckligt öppen, tillförlitlig och ändamålsenlig.
• Partnerlandet har infört tillräckligt trovärdiga och relevanta åtgärder på sektornivå eller nationell nivå.
• Partnerlandet har infört stabilitetsinriktade makroekonomiska åtgärder.
• Partnerlandet har infört tillräcklig och snabb tillgång till uttömmande och korrekt budgetinformation.

Europeiska kommissionen använder följande tre typer av budgetstödkontrakt:

1. Kontrakt om målen för hållbar utveckling, som stöder nationella åtgärder och strategier för att göra framsteg mot att nå målen för hållbar utveckling.
2. Prestationsavtal om sektorreformer, som stöder specifika sektorreformer.
3. Kontrakt om statsbyggande och resiliensuppbyggnad, som erbjuds länder i sårbara situationer i syfte att säkerställa viktiga statliga funktioner eller stödja processer mot demokratiskt styre.

Merparten av Europeiska kommissionens program för budgetstöd bygger på prestationsavtal om sektorreformer (74 % av alla pågående budgetstödsåtaganden 2017). När det gäller finansiering är utbildning, jordbruk, landsbygdsutveckling, hälso- och sjukvård och energi de fyra största sektorerna som får stöd genom prestationsavtal om sektorreformer.

Rörliga delbetalningar som ett incitament för att uppnå resultat

Före varje utbetalning analyserar kommissionen om de allmänna villkoren i budgetstödkontraktet har uppfyllts. Villkoren är i de allra flesta fall kopplade till kriterierna för berättigande till budgetstöd (se punkt 04). Budgetstöd betalas ut i form av antingen fasta eller rörliga delbetalningar. Fasta delbetalningar betalas antingen ut i sin helhet (när alla villkor är uppfyllda) eller inte alls (om ett eller flera villkor inte har uppfyllts). Rörliga delbetalningar används för att skapa incitament för att partnerländerna ska förbättra genomförandet av politiken. De betalas ut på grundval av de prestationer som har uppnåtts i förhållande till specificerade prestationsindikatorer och mål om samtliga allmänna villkor är uppfyllda. De kan betalas ut i sin helhet eller delvis. De prestationsindikatorer som används för rörliga delbetalningar kan väljas ut bland de övervakningssystem som redan används av partnerlandet eller genom en gemensam ram för prestationsutvärdering som man enats om med partnerlandet och andra givare.

Olika typer av prestationsindikatorer kan användas för offentlig politik (se ruta 1). Generellt sett rekommenderar kommissionen att utfallsindikatorer ska användas, men andra typer av indikatorer kan också vara lämpliga beroende på den särskilda kontexten i partnerlandet eller sektorn.

Varje prestationsindikator har ett tillhörande ekonomiskt värde. Ett sätt som kommissionen beräknar de utbetalade beloppen i den rörliga delbetalningen på är att den slår ihop det belopp som hör samman med var och en av de prestationsindikatorer som landet har uppfyllt. Det innebär att ju fler indikatorer ett partnerland uppfyller, desto större andel av den rörliga delbetalningen betalas ut.

År 2017 var 44 % av kommissionens utbetalningar av budgetstöd kopplade till rörliga delbetalningar². Denna andel uppgår till så mycket som 90 % i vissa av EU:s grannländer. I figur 2 visas en uppdelning per land av de rörliga delbetalningar som betalades ut för prestationsavtal om sektorreformer 2017.

Källa: Revisionsrätten, på grundval av uppgifter från Europeiska kommissionen.

Utbetalning av rörliga delbetalningar

Förfarandet för utbetalning av en rörlig delbetalning inleds när partnerlandet lämnar in en utbetalningsansökan. Ansökan innehåller en analys av i vilken utsträckning de tillhörande prestationsindikatorindikatorerna har uppfyllts. EU:s delegationer analyserar ansökningarna och utarbetar en utvärdering. På grundval av utvärderingen, och efter godkännande av styrkommittén för budgetstöd, beslutar kommissionen hur stor del av den rörliga delbetalningen som ska betalas ut (se figur 3).

Partnerlandets prestationsanalys som åtföljer ansökan om utbetalning bygger på uppgifter från de egna övervaknings- och utvärderingssystemen. Dessa system är således den främsta informationskällan vid utbetalningar av rörliga delbetalningar.

Källa: Revisionsrätten, på grundval av kommissionens riktlinjer för budgetstöd.

Revisionens inriktning och omfattning samt revisionsmetod

I EU:s samförstånd om utveckling, som antogs 2017, erkänns den centrala roll som budgetstöd har i fråga om att främja partnerländers insatser för att nå målen för hållbar utveckling. Med tanke på de rörliga delbetalningarnas betydelse vid utbetalning av budgetstöd, och det faktum att de prestationsuppgifter som utbetalningarna bygger på kommer från mottagarländerna, kan felaktiga eller otillförlitliga uppgifter innebära att budgetstöd betalas ut utan att de avsedda faktiska resultaten har uppnåtts. Detta skulle kraftigt försvaga själva syftet med budgetstöd. Fokus i denna revision låg därför på att granska kvantitet och kvalitet (dvs. relevans och tillförlitlighet) när det gäller de prestationsindikatorer som används vid rörliga delbetalningar och kommissionens analys av betalningsansökningar.

Vår övergripande revisionsfråga var följande: ”Använde kommissionen relevanta och tillförlitliga prestationsuppgifter för att betala ut budgetstöd i rörliga delbetalningar?” För att få svar på frågan delade vi upp den i följande sex delfrågor:

1. Innehöll budgetstödkontrakten indikatorer som gör det möjligt att ändamålsenligt övervaka relevanta resultat inom de sektorer som får stöd?
2. Kontrollerade kommissionen på ett ändamålsenligt sätt tillförlitligheten hos prestationsuppgifterna i ansökningar om utbetalning av rörliga delbetalningar?

Revisionen omfattade ett urval med 24 prestationsavtal om sektorreformer (se bilaga II) för de åtta partnerländer som hade fått de största utbetalningarna av rörliga delbetalningar 2017³. Dessa länder mottog 43,29 % av de totala utbetalningarna av rörliga delbetalningar det året. De rörliga delbetalningar som granskades för de utvalda kontrakten omfattade sammanlagt 248 prestationsindikatorer. I bilaga III finns närmare information om de utbetalningar som gjordes 2017 och de sektorer som har granskats.

När det gäller de utvalda kontrakten granskade vi kommissionens bedömning av kapaciteten hos ländernas system i fråga om att tillhandahålla tillförlitliga prestationsuppgifter. Vi kontrollerade även hur bestämmelserna i budgetstödkontrakten var utformade, i synnerhet kvaliteten på de prestationsindikatorer som användes för de rörliga delbetalningarna. Slutligen granskade vi kommissionens kontroller av uppgifterna i ansökningar om utbetalning av rörliga delbetalningar. När vi granskade kontrollerna gjorde vi en dokumentgranskning av de betalningsakter som tagits fram av kommissionen och en ny bedömning av om målen hade uppnåtts och av beräkningen av utbetalningarna av rörliga delbetalningar. Därefter jämförde vi våra och kommissionens slutsatser.

Revisionen inbegrep besök i följande tre länder: Jordanien, Georgien och Bolivia. Under besöken, som genomfördes i februari och mars 2019, intervjuade vi personal vid kommissionen, företrädare för nationella myndigheter och andra givare/berörda parter. Utöver de förfaranden som genomfördes för de resterande utvalda länderna gjorde vi om kommissionens kontroller av ansökningarna om utbetalning av rörliga delbetalningar och tillhörande betalningar i de här tre länderna, och jämförde våra resultat med resultaten i kommissionens analys. Dessutom dubbelkontrollerade vi de prestationsuppgifter som lämnats av partnerländerna mot andra beviskällor från externa experter och andra givare för att bedöma tillförlitligheten.

Iakttagelser

Indikatorerna för de rörliga delbetalningarna var utformade på ett sätt som minskade deras relevans

Vi undersökte om i) prestationsindikatorerna är relevanta för uppnåendet av målen i budgetstödkontrakten och överensstämmer med landets politik och ii) om de utgör en god grund för att övervaka meningsfulla prestationer.

Indikatorerna är förenliga med ländernas sektorstrategier, men fokus ligger främst på kortsiktiga åtgärder och inte långsiktigare resultat

Kommissionen betraktar budgetstöd som ett resultatbaserat sätt att ge bistånd. Projektbaserat bistånd betalas ut för stödberättigande kostnader, men budgetstöd i rörliga delbetalningar betalas ut när partnerländer uppfyller de allmänna villkoren och uppnår resultat som man tidigare kommit överens om, vilket mäts med hjälp av utvalda prestationsindikatorer. De rörliga delbetalningarnas relevans beror därför på om prestationsindikatorerna mäter meningsfulla resultat.

Såsom visas i ruta 1 finns det fem typer av indikatorer. Inputindikatorer, processindikatorer och outputindikatorer är mest relevanta för den dagliga förvaltningen av offentliga utgiftsprogram. Utfalls- och effektindikatorer mäter långsiktigare effekter, exempelvis framsteg med reformer och program i förhållande till fastställda mål, bland annat målen för hållbar utveckling. I figur 4 finns ett exempel på olika typer av indikatorer som används för ett av budgetstödprogrammen i Bolivia.

Källa: OECD:s biståndskommittés resultatkedja, som används i samband med EU:s yttre åtgärder.

Riktlinjerna för budgetstöd tillåter användning av alla ovannämnda indikatortyper. Enligt kommissionen bör dock företräde ges åt utfallsindikatorer, eftersom de uppmuntrar till evidensbaserat politiskt beslutsfattande, skyddar partnerländernas politiska utrymme att välja sina egna åtgärder och strategier för att uppfylla dem och stimulerar efterfrågan på statistisk information av hög kvalitet. Ju större förtroendet är för partnerregeringens förmåga att ta fram tillförlitliga uppgifter, desto större vikt bör läggas vid utfallsindikatorer. Vi anser även att effektindikatorer är användbara för att mäta resultat, i synnerhet när det gäller målen för hållbar utveckling.

Vår analys av 248 indikatorer i de granskade avtalen visar att de är anpassade till partnerländernas sektorstrategier. Utbetalningar av rörliga delbetalningar grundas dock främst på input-, process- och outputindikatorer, som tillsammans står för 87 % av det totala antalet indikatorer. Enbart 33 indikatorer (13 %) mätte utfall och effekt – se figur 5.

Källa: Revisionsrätten.

Vi konstaterade att de flesta utfalls- och effektindikatorerna användes i länder med låginkomstekonomier och låg-medelinkomstekonomier. I hög-medelinkomstländer, som Jordanien och Georgien, som hade bättre kapacitet att ta fram prestationsuppgifter, användes endast fyra utfallsindikatorer och inga effektindikatorer. Det visar att indikatorvalet inte nödvändigtvis är kopplat till ländernas utvecklingsstatus.

De inputindikatorer som användes för de granskade rörliga delbetalningarna rörde främst upphandling av varor (18 fall) och ökade budgetanslag (nio fall). Budgetökningar och upphandling av utrustning kan ha potential att leda till förändringar inom ett särskilt område av intresse, men de innebär inte automatiskt att meningsfulla framsteg kommer att göras.

Processindikatorer kan vara till nytta, i synnerhet när politiken syftar till att få till stånd förändringar i den rättsliga ramen. Såsom anges i riktlinjerna bör de dock inte enbart vara inriktade på processer utan även mäta kvalitativa aspekter, exempelvis vad en enhet som ska inrättas förväntas omfatta och så vidare⁴. Så var dock inte alltid fallet. I ruta 2 ges några exempel på indikatorer som inte preciserar några lägsta kvalitetskrav när det gäller innehåll i den information som ska lämnas eller hur informationen ska struktureras. Det gör det svårt att säkerställa att rörliga delbetalningar gynnar processer av god kvalitet.

En tredjedel av indikatorerna gör det inte möjligt att objektivt mäta resultat

De indikatorer som används för att mäta framsteg med genomförandet av offentlig politik måste vara specifika, ha kvantifierade och mätbara mål och, i tillämpliga fall, tillförlitliga utgångsvärden. I annat fall är det omöjligt att objektivt mäta de framsteg som uppnås. Indikatorer, utgångsvärden och mål måste överenskommas när budgetstödkontrakt utformas och specificeras i finansieringsöverenskommelsen. Trots att det i riktlinjerna anges att man bör undvika att göra ändringar i indikatorerna kan det vara nödvändigt att ändra mål under genomförandet av kontraktet för att återspegla nya förhållanden eller för att rätta till felaktigheter i definitionen av utgångsvärden eller beräkningen av indikatorer.

Vår analys visar att 72 indikatorer (dvs. 29 % av vårt urval) inte var tillräckligt specifika. Icke-specifika indikatorer är särskilt problematiska under processen då utbetalningsansökningar analyseras – det finns en risk för motstridiga bedömningar av om målen har uppnåtts. Detta kan i sin tur leda till mycket varierande resultat när beloppet för den rörliga delbetalningen som ska betalas ut beräknas.

29 % av indikatorerna var vagt utformade och saknade kvantifierade mål. Ord som ”förbättra”, ”öka fokus” och ”lämna bevis” användes. Vi konstaterade att kontrakt inom jordbrukssektorn innehöll det största antalet specifika indikatorer (86,5 %), medan enbart 60 % av indikatorerna inom förvaltning av de offentliga finanserna var specifika. I ruta 3 ges exempel på icke-specifika indikatorer och vilken inverkan de har på beräkningen av utbetalningar av rörliga delbetalningar.

Vi fann även goda exempel på att kommissionen hade ansträngt sig för att mäta framsteg när indikatorerna var svåra att analysera. I det fall som illustreras i ruta 4 hade kommissionen visat vägen för hela givarsamfundet på utbildningsområdet.

Felaktiga eller inga utgångsvärden för 41 % av framstegsindikatorerna

Indikatorer som är definierade på ett precist och entydigt sätt är inte den enda förutsättningen för att resultat ska mätas på ett ändamålsenligt sätt. Framsteg kan enbart mätas om de mål som fastställs kan jämföras med situationen före insatsen: med andra ord med utgångsvärden. Bland de 85 analyserade indikatorerna som krävde utgångsvärden (dvs. de indikatorer som analyserade framsteg⁵) fann vi problem inom 35 av dem med anknytning till i) brist på nödvändiga utgångsvärden (15) och ii) felaktiga eller inaktuella utgångsvärden (20).

Det fanns 15 indikatorer som saknade utgångsvärden. De var utspridda bland fyra (kontrakten 6, 7, 8 och 17) av de 24 utvalda budgetstödkontrakten. Den främsta anledningen till att det saknades utgångsvärden var att partnerländerna inte hade övervakat situationen innan budgetstödkontraktet inleddes. Vi fann dock exempel på att kommissionen, i en liknande situation, hade använt den första rörliga delbetalningen i budgetstödkontraktet för att be partnerlandet att beräkna utgångsvärdet. I andra fall hade kommissionen genomfört det arbete som krävdes (t.ex. undersökningar) för att beräkna de saknade utgångsvärdena. Vi anser att detta är god praxis. Exempel på det nödvändiga arbete som utförts av kommissionen för att korrekt bedöma gjorda framsteg när det gäller den relevanta indikatorn för efterföljande delbetalningar beskrivs i ruta 5.

Därutöver innehöll 20 indikatorer felaktiga eller inaktuella utgångsvärden. I elva av dessa fall blev nya uppgifter som var relevanta för att korrekt beräkna utgångsvärdet tillgängliga efter det att budgetstödkontraktet hade undertecknats. Trots att det är möjligt att ändra tillhörande finansieringsöverenskommelse för att den ska återspegla korrekt utgångsvärde hade kommissionen inte gjort det i dessa fall. Användningen av felaktiga eller inaktuella utgångsvärden ledde även till att indikatorer hade mål som var lägre än de faktiska utgångsvärdena. I ruta 6 finns några exempel.

Indikatorer ger generellt sett avsedd stimulanseffekt, men de är för många

Ett av de främsta målen med budgetstöd är att ge partnerländer incitament att gå vidare med överenskomna reformer. Därför bör de indikatorer som används för rörliga delbetalningar innebära att mottagarlandet måste göra meningsfulla insatser. Tillhörande mål bör även skapa rätt balans mellan ambitionsnivå och hur enkla de är att uppnå⁶.

Vi konstaterade att de flesta rörliga delbetalningar som vi granskade gav partnerländer incitament att genomföra vissa aspekter av sina utvecklingsstrategier. De mål som användes för elva av de utvalda indikatorerna var dock mycket enkla att nå. I antalet ingår fyra indikatorer vilkas mål var mycket lågt satta på grund av att felaktiga utgångsvärden hade använts (se punkterna 31–32). Några exempel på indikatorer med begränsad stimulanseffekt ges i ruta 7. När det gäller tolv ytterligare indikatorer som berör tre kontrakt – i Moldavien (kontrakt 16), Bolivia (kontrakt 10) och Pakistan (kontrakt 23) – uppnåddes målen oftast med stöd av tekniskt bistånd som betalades av EU eller andra givare. Enligt vår mening leder sådana indikatorer till begränsat egenansvar och en svag stimulanseffekt eftersom de inte kräver något större engagemang från partnerländernas sida.

I riktlinjerna rekommenderas att antalet indikatorer för rörliga delbetalningar generellt sett bör uppgå till mellan tre och tio stycken. Alltför många indikatorer försvagar stimulanseffekten och försvårar övervakning. De granskade kontrakten hade mellan fyra och 34 indikatorer per delbetalning⁷. Indikatorerna var uppdelade i delindikatorer, som ofta hade flera mål. Kontraktet för att stödja genomförandet av handlingsplanen för viseringsliberalisering i Moldavien (kontrakt 15) innehöll till exempel 95 fristående mål. Ett så stort antal indikatorer och mål främjar inte fokus på de främsta politiska målen i budgetstödkontrakten. Trots att problem kopplade till det stora antalet indikatorer erkändes i interna kommissionsdokument påverkade detta inte kontraktens utformning (se ruta 8).

Kvaliteten på kommissionens kontroll av om indikatorer hade uppfyllts varierade, vilket ledde till att vissa utbetalningar inte var tillräckligt styrkta

De utbetalningsansökningar som lämnas in av mottagarländerna innehåller en analys av framsteg inom de sektorer som får stöd genom budgetstödkontrakten samt information om huruvida överenskomna villkor och prestationsindikatorer har uppfyllts. Handlingarna inbegriper vanligtvis en rapport om framsteg inom ett visst område (sektor), separata rapporter om huruvida vart och ett av villkoren har uppfyllts samt informationsblad om varje indikator, med styrkande handlingar (t.ex. skrivelser från en statistikbyrå, rapporter om undersökningar etc.). Se figur 3 där förfarandet för att betala ut budgetstöd beskrivs.

Partnerländernas ansökningar bygger på uppgifter från deras egna övervaknings- och utvärderingssystem. Dessa system är således en av de främsta informationskällorna för utbetalningsbeslut. Länderna har dock varierande kapacitet och olika system för att samla in, lagra, analysera och använda uppgifter. Innan kommissionen inleder budgetstödsinsatser måste den följaktligen bedöma de befintliga systemen för att ta fram prestationsindikatorer för de kommande utbetalningarna av rörliga delbetalningar. EU:s delegationer måste i synnerhet bedöma om brister när det gäller statistiksystem, uppgifters tillgänglighet och politisk analys på ett betydande sätt undergräver giltigheten hos ländernas utbetalningsansökningar.

För de granskade kontrakten undersökte vi om kommissionen hade gjort en grundlig bedömning av prestationsuppgifternas tillförlitlighet när den valde ut prestationsindikatorer för de rörliga delbetalningarna. Vi undersökte även om kommissionen på ett grundligt sätt hade granskat ansökningar om utbetalning av rörliga delbetalningar och korrekt beräknat det belopp som skulle betalas ut.

Kommissionen fastställde inte ländernas kapacitet att ta fram de uppgifter som krävdes för indikatorerna

EU:s delegationer ombeds tillhandahålla en översikt över partnerlandets övervaknings- och utvärderingssystem (för landet generellt sett och för den särskilda sektor som omfattas av prestationsavtal om sektorreformer), bedöma om landets offentliga politik överensstämmer med EU-målen och om den institutionella kapaciteten anses tillräcklig för att genomföra politiken. Enligt riktlinjerna måste vidare uppgifternas tillförlitlighet och tillgänglighet analyseras och bristerna i statistiksystemen bedömas innan budgetstödkontrakt upprättas.

Vi analyserade kommissionens bedömningar med hjälp av kriterier som fastställts av Eurostat. Eurostat har tagit fram ett verktyg som kallas Snapshot för att hjälpa EU:s delegationer att bedöma styrkor och svagheter i de nationella statistiksystemen i utvecklingsländer. Vi konstaterade att de centrala kraven för verktyget behandlas i kommissionens riktlinjer för budgetstöd. Snapshot är dock mer omfattande och innehåller detaljerade förklaringar av hur specifika områden ska mätas⁸, vilket är relevant för bedömningen av statistiksystem. Personalen vid delegationerna känner i allmänhet inte till detta verktyg.

Vår granskning av kommissionens bedömning av övervaknings- och utvärderingssystem visade att kommissionen i praktiken generellt sett beskriver och bedömer de faktorer som nämns i riktlinjerna, men att faktorerna är utspridda i flera dokument. Trots att vissa sektorspecifika brister nämndes i de allra flesta kontrakten (18 av 24 kontrakt) drog kommissionen enbart i de fem kontrakten i Jordanien uttryckligen slutsatser om tillförlitligheten hos de prestationsuppgifter som behövdes för att beräkna indikatorerna för rörliga delbetalningar⁹. Det är viktigt att dra slutsatser om uppgifters tillförlitlighet för att välja ut indikatorer och övervaka och analysera utbetalningar.

Kommissionen kontrollerade tillförlitligheten hos de uppgifter som låg till grund för utbetalningsansökningarna, men inte alltid på ett grundligt sätt

EU:s delegationer måste analysera partnerländernas utbetalningsansökningar (inbegripet värdet på tillhörande prestationsindikatorer) innan den rörliga delbetalningen betalas ut. Vi fann en rad olika kontrollförfaranden, varav vissa inte gav nödvändig säkerhet för att styrka de efterföljande betalningarna.

I allmänhet tillämpade kommissionen följande tre olika typer av kontrollförfaranden: i) skrivbordsgranskningar och aritmetiska omräkningar av indikatorvärden med hjälp av uppgifterna från partnerländer, ii) samma metod kompletterad med besök på plats för att kontrollera tillförlitligheten hos de lämnade uppgifterna och iii) utläggning till externa experter av beräkningen av prestationsindikatorer eller kontrollen av uppgifter från partnerlandet.

Tjänstemän vid EU:s delegationer genomförde besök på plats för att komplettera analysen och kontrollera vissa uppgifter som lämnats för 14 av de 24 granskade kontrakten (se ruta 9) och anlitade, ibland utöver de egna besöken på plats, externa experter för att analysera om villkoren för de rörliga delbetalningarna i 16 av kontrakten hade uppfyllts. I grannländerna var användes experter systematiskt, men i övriga länder som omfattades av revisionen använde delegationerna enbart experter för fem av 13 kontrakt.

I riktlinjerna för budgetstöd rekommenderas att experter anlitas för att bistå under kontroller när det finns allvarliga tvivel om kvaliteten på de uppgifter som lämnats. När det inte finns några tydliga slutsatser om partnerländernas kapacitet att ta fram sådana uppgifter (se punkterna 39–41) är det dock svårt att bedöma om sådan experthjälp verkligen behövs. För de kontrakt som granskades var den genomsnittliga kostnaden för experters kontrolluppdrag omkring 110 000 euro.

För sex¹⁰ av de 24 utvalda kontrakten konstaterade vi att kommissionen inte gjorde ytterligare, ändamålsenliga kontroller av de uppgifter som låg till grund för utbetalningarna av rörliga delbetalningar. Det berodde främst på att EU:s delegationer helt och hållet antingen litade på att partnerländernas prestationsuppgifter var korrekta, eller på det kontrollarbete som genomfördes av externa experter på uppdrag av kommissionen, och inte gjorde några ytterligare kontroller av de lämnade uppgifterna. I dessa fall är det svårare för kommissionen att identifiera otillförlitliga prestationsuppgifter i utbetalningsansökningarna, vilket ökar risken för att utbetalningar av rörliga delbetalningar inte är styrkta. I ruta 10 ges ett exempel på brister i en extern granskning som inte upptäcktes av kommissionen.

För några rörliga delbetalningar styrkte inte de prestationsuppgifter som lämnades av partnerländerna de gjorda utbetalningarna

Vi granskade sammanlagt 234 miljoner euro i utbetalningar av rörliga delbetalningar och vår bedömning, för fem av åtta länder, av bevisen för att indikatorerna hade uppfyllts utmynnar i andra resultat än dem som godtogs av kommissionen när det gäller 13,3 miljoner euro. För ett land (Pakistan) motsvarade skillnaden 19 % av de utbetalda rörliga delbetalningarna. Vidare konstaterade vi även att kommissionen betalade ut 3,4 miljoner euro till två länder på grundval av indikatorer som var kopplade till felaktiga utgångsvärden. Även om det fanns en kontraktsenlig skyldighet att betala, eftersom målvärdet hade uppnåtts, hade inga faktiska framsteg skett på det område som mättes med indikatorn. I tabell 1 sammanfattas dessa belopp för varje besökt land.

Tabell 1 – Avvikelser från kommissionens bedömningar

Källa: Revisionsrätten.

De främsta problemen vi konstaterade var kopplade till i) mål som uppnåddes med förseningar efter de fastställda tidsfristerna, ii) mätning av resultat på grundval av felaktiga utgångsvärden, iii) felaktiga eller otillräckliga bevis som styrkte att indikatorerna hade uppfyllts och iv) mål som inte nåddes alls. I figur 6 visas de olika typer av avvikelser som hittades i kommissionens bedömningar och hur betydande de är.

Källa: Revisionsrätten.

Ett av de fall där vi bedömde att partnerlandet hade lämnat felaktiga bevis beskrivs i ruta 11.

I fyra kontrakt fann vi fem fall där indikatorernas¹¹ mål hade uppnåtts efter den tidsfrist som fastställts i finansieringsöverenskommelsen. Vidare, när det gäller ytterligare fem indikatorer¹², anser vi att partnerländerna inte uppfyllde målen. Kommissionen ansåg dock att de hade uppfyllts. I ruta 12 ges exempel från de båda fallen.

Vi fann tre fall där kommissionen hade gjort utbetalningar i enlighet med bestämmelserna i finansieringsöverenskommelserna, eftersom partnerländerna hade nått de mål man enats om. Faktum var dock att oriktiga utgångsvärden eller målvärden användes och att det inte hade skett några faktiska framsteg i de berörda sektorerna. I  ruta 13 finns närmare uppgifter om vissa av fallen:

Utöver de avvikelser som kvantifierats i tabell 1 kunde vi inte bekräfta om två utbetalningar av rörliga delbetalningar var korrekta på grund av att det saknades tillräckliga bevis till stöd för de värden som rapporterades för fem indikatorer¹³ (se exempel i ruta 14). Dessa indikatorer motsvarar ett utbetalat belopp på 3,77 miljoner euro.

Otillräckligt dokumenterade utbetalningar till Moldavien

Även om det inte är direkt kopplat till kontrollen av resultatindikatorer konstaterade vi att kommissionen hade betalat ut tre rörliga delbetalningar till Moldavien, totalt 26,3 miljoner euro, utan att ha dokumenterat skälen till utbetalningarna tillräckligt (se ruta 15).

Slutsatser och rekommendationer

Vi granskade om kommissionen använde relevanta och tillförlitliga prestationsuppgifter för utbetalningar av budgetstöd i rörliga delbetalningar. Vi konstaterar att en tredjedel av de prestationsindikatorer som vi granskade var utformade på ett sätt som gör dem mindre relevanta, och att de inte gör det möjligt att mäta prestationer på ett objektivt sätt – vilket undergräver deras relevans. Vidare var kommissionens bedömningar av om indikatorerna för rörliga delbetalningar hade uppfyllts inte alltid tillförlitliga, vilket ledde till att vissa utbetalningar inte var tillräckligt styrkta.

Vi konstaterade att prestationsindikatorerna för de rörliga delbetalningarna var väl anpassade till partnerländernas strategier för sektorutveckling. Merparten av dem var dock inriktade på kortsiktiga åtgärder snarare än långsiktigare resultat, exempelvis framsteg mot målen för hållbar utveckling. Endast 13 % av de 248 indikatorer som vi granskade mätte utfall eller effekter inom de sektorer som fick stöd (se punkterna 22–25). Användningen av utfallsindikatorer skulle göra det möjligt för kommissionen att bättre mäta långsiktiga resultat inom de sektorer som får stöd, inbegripet framsteg mot att nå målen för hållbar utveckling.

Kommissionen bör utöka andelen rörliga delbetalningar som betalas ut om utfallsindikatorer uppfylls.

Tidsram: slutet av 2021

Över en tredjedel av indikatorerna hade inte definierats på ett tydligt sätt eller hade felaktiga utgångsvärden eller inga utgångsvärden alls. Detta möjliggjorde olika tolkningar av om mål hade uppnåtts, vilket ledde till att analysen av utbetalningsansökningar blev mer komplex och mindre objektiv (se punkterna 26–32).

Kommissionen bör stärka arrangemangen för kvalitetskontroll i syfte att säkerställa att prestationsindikatorerna för rörliga delbetalningar mäter de resultat som uppnås av partnerländer på ett objektivt sätt. Särskild uppmärksamhet bör ägnas åt användningen av

1. prestationsindikatorer som är specifika och inte kan tolkas på olika sätt,
2. utgångsvärden och mål.

Tidsram: slutet av 2021

Ett viktigt mål med budgetstöd i rörliga delbetalningar är att skapa incitament för partnerländerna att göra framsteg med sina reformagendor. De flesta rörliga delbetalningar som granskades innehöll indikatorer med mål som hade en god balans mellan hur ambitiösa och uppnåbara de var, och vi anser att de hade avsedd stimulanseffekt. De få undantag som vi fann rörde indikatorer med mål som var enkla att nå, ofta på grund av att felaktiga utgångsvärden användes, eller som uppnåddes via arbete som utfördes av andra givare eller externa experter som betalades av EU (se punkterna 33–34).

Kommissionen bör

1. uppdatera information om utgångsvärdet innan kontrakt undertecknas eller om så krävs korrigera utgångsvärden medan kontraktet genomförs genom att ändra budgetstödkontraktet,
2. undvika situationer där partnerlandet enbart uppnår mål tack vare EU-finansierat tekniskt bistånd.

Tidsram: slutet av 2021

Antalet indikatorer som används inom varje rörlig delbetalning var ofta för stort och översteg det antal som rekommenderades i kommissionens riktlinjer. Detta komplicerade utbetalningsprocessen ytterligare (se punkt 35).

Kommissionen bör avstå från att använda delindikatorer i syfte att begränsa det faktiska antalet indikatorer till den högsta gräns som anges i riktlinjerna.

Tidsram: slutet av 2021

Ansökningar om utbetalning av rörliga delbetalningar innehåller prestationsuppgifter som visar i vilken utsträckning de villkor och prestationsindikatorer man enats om har uppfyllts. Eftersom ansökningarna utarbetas av partnerländerna beror de underliggande prestationsuppgifternas tillförlitlighet på ländernas kapacitet att ta fram dem. Vi konstaterade att kommissionen generellt sett bedömde partnerländernas kapacitet genom att granska huvuddelarna av deras övervaknings- och utvärderingssystem, såsom krävs enligt riktlinjerna för budgetstöd. Kommissionen drog dock enbart slutsatser om huruvida prestationsuppgifterna – som behövs för att beräkna indikatorerna för rörliga delbetalningar – var tillförlitliga när det gällde fem av de 24 utvalda kontrakten (se punkterna 36–41). Det är viktigt att dra slutsatser om uppgifters tillförlitlighet för att välja ut indikatorer och övervaka och analysera utbetalningar.

När kommissionen utformar en budgetstödsinsats bör den bedöma tillförlitligheten hos de prestationsuppgifter som ska ligga till grund för utbetalning av en rörlig delbetalning. Bedömningen bör leda till en tydlig slutsats om huruvida de system som används för att ta fram uppgifterna är tillräckligt tillförlitliga, och skulle kunna baseras på befintliga bedömningar som utförts av andra erkända organ.

Tidsram: slutet av 2021

Vi konstaterade att EU:s delegationer genomförde en rad olika kontrollförfaranden när de analyserade utbetalningsansökningar. I vissa fall gjorde personal vid EU:s delegationer besök på plats för att kontrollera de uppgifter som lämnats av partnerländer. I andra fall förlitade de sig fullständigt på uppgifterna eller på de externa granskningar som gjorts av experter på uppdrag av kommissionen, och gjorde inget ytterligare kontrollarbete. Detta ger inte tillräcklig säkerhet för att styrka efterföljande utbetalningar av rörliga delbetalningar (se punkterna 42–46).

Kommissionen bör

1. granska de bevis som ligger till grund för de prestationsuppgifter som lämnas av partnerländer i utbetalningsansökan, såvida kommissionen inte redan uttryckligen har dragit slutsatsen att uppgifterna är tillförlitliga,
2. när externa granskningar används, kräva att kontroll av tillförlitligheten i viktiga prestationsuppgifter som lämnas av partnerländer ingår i kravspecifikationerna; kontrollera att experterna har uppfyllt detta krav innan den rörliga delbetalningen betalas ut.

Tidsram: slutet av 2021

När vi gjorde om kommissionens bedömningar av om indikatorerna hade uppfyllts och räknade om utbetalningarna av rörliga delbetalningar hittade vi avvikelser i förhållande till de belopp som kommissionen hade betalat ut. Sammantaget uppskattar vi utifrån den tillgängliga resultatinformationen att det fanns avvikelser på 16,7 miljoner euro inom de totalt 234 miljoner euro i utbetalningar av rörliga delbetalningar som granskades. Av detta belopp var 13,3 miljoner euro inte tillräckligt styrkta eller inte i linje med kontraktsbestämmelser. Ett belopp på 3,4 miljoner euro betalades ut utan att det hade skett några faktiska framsteg. Dessutom betalades 26,3 miljoner euro ut till Moldavien genom tre rörliga delbetalningar utan att skälen till utbetalningarna hade dokumenterats tillräckligt (se punkterna 47–53).

Denna rapport antogs av revisionsrättens avdelning III, med ledamoten Bettina Jakobsen som ordförande, vid dess sammanträde i Luxemburg den 12 november 2019.

För revisionsrätten

Klaus-Heiner Lehne
ordförande

Bilagor

Bilaga I – Andel budgetstöd inom bilaterala åtaganden om offentligt utvecklingsbistånd

Källa: Revisionsrätten, på grundval av https://stats.oecd.org/

Bilaga II – Granskade kontrakt

Bilaga III – Utbetalningar av rörliga delbetalningar 2017 för prestationsavtal om sektorreformer

Källa: Revisionsrätten (länder som valdes ut för revisionen står i fetstil).

Bilaga IV – Sammanfattande bedömning

ANMÄRKNING: J: Ja, N: Nej, D: Delvis.

Granskningsteam

I våra särskilda rapporter redovisar vi resultatet av våra revisioner av EU:s politik och program eller av förvaltningsteman kopplade till specifika budgetområden. För att uppnå så stor effekt som möjligt väljer vi ut och utformar granskningsuppgifterna med hänsyn till riskerna när det gäller prestation eller regelefterlevnad, storleken på de aktuella intäkterna eller kostnaderna, framtida utveckling och politiskt intresse och allmänintresse.

Denna effektivitetsrevision utfördes av revisionsrättens avdelning III yttre åtgärder, säkerhet och rättvisa. Revisionsarbetet leddes av ledamoten Hannu Takkula med stöd av Turo Hentilä (kanslichef), Helka Nykänen (attaché), Alejandro Ballester Gallardo (förstechef), Piotr Zych (uppgiftsansvarig) och Eva Coria Paramas, Roberto Ruiz Ruiz, Erika Söveges och Nita Tennilä (revisorer). Richard Moore gav språkligt stöd.

Från vänster till höger: Turo Hentila, Helka Nykaenen, Hannu Takkula, Alejandro Ballester Gallardo, Nita Tennila, Piotr Zych, Erika Söveges, Roberto Ruiz Ruiz.

Slutnoter

¹ Artikel 236.1 i förordningen om finansiella regler för unionens allmänna budget, juli 2018.

² Europeiska kommissionen, Budget Support – Trends and Results (budgetstöd – tendenser och resultat), 2018, s. 61.

³ Med undantag för Marocko eftersom landet är föremål för en särskild rapport som revisionsrätten kommer att offentliggöra 2020.

⁴ Budget Support Guidelines 2017 (riktlinjer för budgetstöd 2017), s. 138.

⁵ I vårt urval finns 163 indikatorer med mål som inte kräver några utgångsvärden eftersom de inte mäter hur en viss variabel utvecklas (t.ex. ”en lag har antagits” eller ”antal sammanträden”). Dessa indikatorer beaktas inte i bedömningen.

⁶ Budget support guidelines (riktlinjer för budgetstöd), 2017, s. 139.

⁷ Denna siffra inbegriper inte indikatorer från tidigare års delbetalningar.

⁸ Snapshot erbjuder analysmetoder för följande viktiga områden som är nödvändiga för att bedöma statistiksystem: i) De rättliga, institutionella och strategiska ramarna till stöd för statistikframställning och övervakning på nationell nivå och sektornivå, ii) resursernas lämplighet (dvs. kvantitet och kvalitet när det gäller mänskliga resurser, utrustning och finansiering), iii) de avgörande faktorerna när det gäller uppgifters kvalitet (dvs. kvalitetsåtagande, yrkesmässigt oberoende, opartiskhet, objektivitet, metod och lämpliga förfaranden) och iv) förbindelser med användare (dvs. relevans och tillgänglighet).

⁹ Kontrakten 1, 2, 3, 4 och 5.

¹⁰ Kontrakt nr 2, 5, 13, 14, 23 och 24.

¹¹ Indikator 2 i kontrakt 20, indikator 1.2 i kontrakt 6, indikator 5 i kontrakt 1 och indikator 2.1 och 2.2 i kontrakt 16.

¹² Indikatorerna 5, 6 och 8 i kontrakt 23, indikator 6.2 i kontrakt 24 och indikator 1.7 i kontrakt 6.

¹³ Indikatorerna 3 och 6 i kontrakt 22 och indikatorerna 1.2 och 3 i kontrakt 5.

Tidslinje

Kontakt

EUROPEISKA REVISIONSRÄTTEN
12, rue Alcide De Gasperi
L-1615 Luxemburg
LUXEMBURG

Tfn +352 4398-1
Frågor: eca.europa.eu/sv/Pages/ContactForm.aspx
Webbplats: eca.europa.eu
Twitter: @EUAuditors

En stor mängd övrig information om Europeiska unionen är tillgänglig på internet via Europa-servern (http://europa.eu).

Luxemburg: Europeiska unionens publikationsbyrå, 2019

© Europeiska unionen, 2019

Kopiering tillåten med angivande av källan.
För vidareutnyttjande eller kopiering av fotografier eller annat material som inte omfattas av Europeiska unionens upphovsrätt måste tillstånd begäras direkt från upphovsrättsinnehavaren.

Kontakta EU

Besök
Det finns hundratals Europa direkt-kontor i hela EU. Hitta ditt närmaste kontor: https://europa.eu/european-union/contact_sv

Telefon eller mejl
Tjänsten Europa direkt svarar på dina frågor om EU. Kontakta tjänsten på något av följande sätt:

• Ring det avgiftsfria telefonnumret 00 800 6 7 8 9 10 11 (en del operatörer kan ta betalt för samtalet).
• Ring telefonnumret +32 22999696.
• Mejla via webbplatsen (https://europa.eu/european-union/contact_sv).

EU-information

På nätet
På webbplatsen Europa finns det information om EU på alla officiella EU-språk (https://europa.eu/european-union/index_sv).

EU-publikationer
Ladda ned eller beställ både gratis och avgiftsbelagda EU-publikationer (https://op.europa.eu/sv/publications). Om du behöver flera kopior av en gratispublikation kan du kontakta Europa direkt eller ditt lokala informationskontor (https://europa.eu/european-union/contact_sv).

EU-lagstiftning och andra rättsliga handlingar
Rättsliga handlingar från EU, inklusive all EU-lagstiftning sedan 1952, finns på alla officiella EU-språk på EUR-Lex (http://eur-lex.europa.eu).

Öppna data från EU
På EU:s portal för öppna data (http://data.europa.eu/euodp/sv) finns dataserier från EU. Dataserierna får laddas ned och användas fritt för kommersiella och andra ändamål.