Datakvalitet inden for budgetstøtte: Svagheder i visse indikatorer og i verificeringen før udbetaling af variable trancher

Resumé

Budgetstøtte er en form for EU-bistand, som indebærer, at der overføres penge til et partnerlands statskasse, under forudsætning af at det pågældende land overholder de aftalte betingelser for udbetaling. Med årlige udbetalinger på 1,69 milliarder euro i gennemsnit er EU den største yder af budgetstøtte. Budgetstøttebetalinger afholdes i form af enten faste eller variable trancher. Cirka 44 % af EU's budgetstøttebetalinger vedrører variable trancher. I nogle af EU's naboskabslande udgør denne andel helt op til 90 %. De udbetalte beløb fra variable trancher afhænger af partnerlandenes performance, som måles ved hjælp af foruddefinerede resultatindikatorer.

Vi undersøgte, om Kommissionen anvendte relevante og pålidelige resultatdata til at udbetale variable trancher af budgetstøtte. Vi konkluderer, at en tredjedel af de undersøgte resultatindikatorer var mindre relevante på grund af den måde, hvorpå de var udformet, og at de giver ikke mulighed for at måle resultater objektivt, hvilket underminerer deres relevans. Desuden var Kommissionens vurdering af, om indikatorerne for variable trancher var opfyldt, ikke altid pålidelig, hvilket førte til visse utilstrækkeligt begrundede udbetalinger.

Resultatindikatorerne for variable trancher var tilpasset partnerlandenes sektorspecifikke udviklingsstrategier, men de fleste af dem fokuserede på kortsigtede tiltag og ikke på resultater på lang sigt, herunder fremskridt over tid hen imod målene for bæredygtig udvikling. Desuden var mere end en tredjedel af indikatorerne vagt defineret, eller der var ukorrekte eller slet ingen basislinjer for dem. Det gav anledning til forskellige fortolkninger med hensyn til, om målene var nået, hvilket gjorde analysen af betalingsanmodningerne mere kompleks og mindre objektiv.

De fleste af de undersøgte variable trancher bidrog med den tiltænkte virkning med hensyn til at tilskynde partnerlandene til at gøre fremskridt med deres reformdagsordener ved at have tilstrækkeligt ambitiøse mål. De få undtagelser, vi konstaterede, vedrørte indikatorer med mål, der var nemme at nå, eller som var nået via arbejde udført af andre donorer eller eksterne eksperter betalt af EU. Antallet af anvendte indikatorer for hver variabel tranche var for højt i 6 af 24 kontrakter, hvilket komplicerede udbetalingsprocessen yderligere.

Anmodningerne om udbetaling af variable trancher omfatter en analyse af opfyldelsen af de aftalte betingelser og resultatindikatorer. Disse anmodninger udarbejdes af partnerlandene, og derfor afhænger pålideligheden af de underliggende resultatdata af disse landes evne til at levere dem. Vi konstaterede, at Kommissionen kun i 5 af de 24 udvalgte kontrakter drog eksplicitte konklusioner om, hvorvidt de nødvendige resultatdata til beregning af indikatorerne for variable trancher var pålidelige. Ved analyse af betalingsanmodningerne anvendte EU-delegationerne forskellige procedurer til at verificere pålideligheden af disse data. Nogle af disse procedurer sikrer ikke, at udbetalingerne af variable trancher er baseret på pålidelige data, og derfor ikke at de er fuldt berettiget.

Baseret på vores genudførelse af Kommissionens vurderinger vedrørende indikatoropfyldelsen og genberegningen af udbetalte variable trancher til en samlet værdi af 234 millioner euro konstaterede vi uoverensstemmelser vedrørende 16,7 millioner euro. Af dette beløb var 13,3 millioner euro utilstrækkeligt begrundet eller ikke i overensstemmelse med kontraktens bestemmelser. Der var udbetalt et beløb på 3,4 millioner euro uden faktiske fremskridt. Desuden var der udbetalt 26,3 millioner euro i forbindelse med tre variable trancher til Moldova uden tilstrækkelig dokumentation for grundene til støtte for disse betalinger.

Vi fremsætter seks anbefalinger til Kommissionen med henblik på:

• at øge anvendelsen af udfaldsindikatorer i variable trancher
• at forbedre formuleringen af resultatindikatorer
• at sikre de variable tranchers tilskyndelsesvirkning
• at forenkle udbetalingsprocessen for de variable trancher
• at forbedre vurderingerne af landenes evne til at levere de resultatdata, der anvendes for variable trancher
• at forbedre verificeringen af de resultatdata, der anvendes til at udbetale variable trancher.

Indledning

Hvad er budgetstøtte?

Budgetstøtte er en form for EU-bistand, som indebærer, at der overføres penge til et partnerlands statskasse, under forudsætning af at det pågældende land overholder de aftalte betingelser for udbetaling. Den derved modtagne finansiering indgår i partnerlandets budget og kan anvendes, som partnerlandet ønsker det. Kommissionen beskriver budgetstøtte som et middel til at yde effektiv bistand og opnå holdbare resultater til støtte for reformindsatsen i EU's partnerlande og målene for bæredygtig udvikling.

Ud over overførslen af finansielle ressourcer omfatter budgetstøtte også: i) en dialog med partnerlandet om reformer eller udviklingsresultater, som budgetstøtten kan bidrage til, ii) en vurdering af opnåede resultater og iii) støtte til kapacitetsopbygning. Budgetstøtte som begreb er et skift væk fra det traditionelle fokus på aktiviteter (f.eks. projekter) mod resultatorienteret bistand.

EU er (både via EU-budgettet og de europæiske udviklingsfonde) den største bistandsyder af budgetstøtte på globalt plan. I perioden 2014-2017 afsatte EU ca. 11 % (jf. bilag I) af sit budget for bilateral udviklingsbistand til budgetstøtte svarende til et årligt gennemsnit på ca. 2,13 milliarder euro. I 2017 ydede EU budgetstøtte til 90 lande og territorier, som modtog i alt 1,8 milliarder euro. For alle nuværende budgetstøttekontrakters vedkommende udgør det samlede forpligtede beløb 12,7 milliarder euro. Figur 1 viser en oversigt over disse beløb pr. region for både EU's almindelige budget og de europæiske udviklingsfonde.

(i millioner euro)

Kilde: Revisionsretten på grundlag af Kommissionens "Budget Support - Trends & Results 2018".

EU's budgetstøtte kræver, at modtagerlandet har indført relevante og realistiske politikker, og at de gennemføres effektivt. Ifølge finansforordningen kan et land anses for at være berettiget til budgetstøtte, når¹:

• partnerlandets forvaltning af de offentlige finanser er tilstrækkelig gennemsigtig, pålidelig og effektiv
• partnerlandet har indført tilstrækkeligt troværdige og relevante sektorpolitikker eller nationale politikker
• partnerlandet har indført stabilitetsorienterede makroøkonomiske politikker
• partnerlandet har indført en tilstrækkelig og rettidig adgang til fyldestgørende og velfunderede budgetoplysninger.

Kommissionen anvender tre typer af budgetstøttekontrakter.

1. Kontrakter om målene for bæredygtig udvikling, som støtter nationale politikker og strategier i at gøre fremskridt hen imod målene for bæredygtig udvikling.
2. Performanceorienterede kontrakter om sektorreform, som støtter specifikke sektorreformer.
3. Kontrakter om statsopbygning og modstandsdygtighed, som stilles til rådighed for lande i skrøbelige situationer for at sikre vitale statsfunktioner eller støtte processer hen imod demokratisk forvaltning.

Langt størstedelen af Kommissionens budgetstøtteprogrammer er baseret på performanceorienterede kontrakter om sektorreform (74 % af alle nuværende budgetstøtteforpligtelser i 2017). Med hensyn til finansiering er de fire største sektorer, der modtager støtte fra performanceorienterede kontrakter om sektorreform: uddannelse, landbrug og udvikling af landdistrikter, sundhed og energi.

Variable trancher som et incitament til at opnå resultater

Forud for hver udbetaling analyserer Kommissionen opfyldelsen af de almindelige betingelser, som er vedføjet budgetstøttekontrakten. Disse betingelser vedrører i de fleste tilfælde berettigelseskriterierne for at modtage budgetstøtte (jf. punkt 04). Budgetstøtte udbetales i form af enten faste eller variable trancher. Faste trancher udbetales enten fuldt ud (når alle betingelser er opfyldt) eller slet ikke (hvis en eller flere betingelser ikke er opfyldt). Variable trancher anvendes til at tilskynde partnerlande til at forbedre politikopfyldelsen og udbetales på grundlag af opnåede resultater med hensyn til udpegede resultatindikatorer og mål, hvis alle de almindelige betingelser er opfyldt. De udbetales enten fuldt ud eller delvist. De anvendte resultatindikatorer for variable trancher kan udvælges fra de overvågningssystemer, som partnerlandet anvender i forvejen, eller via en fælles ramme for performancevurdering, som aftalt med partnerlandet og andre donorer.

Der kan anvendes forskellige typer af resultatindikatorer for offentlige politikker (jf. tekstboks 1). Kommissionen anbefaler generelt at anvende udfaldsindikatorer, men andre typer af indikatorer kan også være relevante alt efter partnerlandets eller sektorens specifikke situation.

Hver resultatindikator har en tilknyttet økonomisk værdi. En måde, hvorpå Kommissionen beregner de beløb, som udbetales i den variable tranche, er ved at tilføje det beløb, der er tilknyttet hver resultatindikator, som det relevante land har nået. Det betyder, at jo flere indikatorer et partnerland opfylder målene for, jo større en del af den variable tranche bliver udbetalt.

I 2017 vedrørte 44 % af Kommissionens udbetalinger til budgetstøttekontrakter variable trancher². I nogle af EU's naboskabslande udgør denne andel helt op til 90 %. I figur 2 vises en oversigt efter land af variable trancher udbetalt til performanceorienterede kontrakter om sektorreform i 2017.

Kilde: Revisionsretten på grundlag af data fra Kommissionen.

Udbetalingen af variable trancher

Processen til udbetaling af en variabel tranche begynder med en betalingsanmodning fra partnerlandet. Anmodningen omfatter en analyse af, i hvilket omfang målene for de relaterede resultatindikatorer er nået. EU-delegationerne analyserer anmodningerne og udarbejder et evalueringsnotat. Baseret på dette notat og efter godkendelse fra styringsgruppen for budgetstøtte fastsætter Kommissionen beløbet for den variable tranche, der skal udbetales (jf. figur 3).

Partnerlandets performanceanalyse, der vedlægges en betalingsanmodning, er baseret på data fra partnerlandets egne overvågnings- og evalueringssystemer. Derfor er disse systemer den primære informationskilde ved udbetalingen af variable trancher.

Kilde: Revisionsretten på grundlag af Kommissionens retningslinjer for budgetstøtte.

Revisionens omfang og revisionsmetoden

EU's konsensus om udvikling, som blev vedtaget i 2017, anerkender, at budgetstøtte spiller en central rolle for at fremme partnerlandenes indsats for at nå målene for bæredygtig udvikling. I betragtning af, hvor vigtige variable trancher er ved budgetstøtteudbetalinger, og af, at de resultatdata, hvorpå disse udbetalinger er baseret, stammer fra modtagerlandene, vil ukorrekte eller upålidelige data betyde, at budgetstøtteudbetalinger ikke belønner de faktisk tiltænkte resultater. Det vil være en alvorlig svækkelse af hele formålet med budgetstøtte. Denne revision fokuserede derfor på at granske antallet og kvaliteten (nemlig relevans og pålidelighed) af de resultatindikatorer, der anvendes i variable trancher, samt Kommissionens analyse af betalingsanmodninger.

Det overordnede revisionsspørgsmål var: "Har Kommissionen anvendt relevante og pålidelige resultatdata til at udbetale variable trancher af budgetstøtte?" For at besvare dette spørgsmål har vi opdelt det i følgende underspørgsmål.

1. Omfattede budgetstøttekontrakterne indikatorer, der gør det muligt at overvåge relevante resultater effektivt i de sektorer, der ydes støtte til?
2. Har Kommissionen foretaget en effektiv verificering af pålideligheden af resultatdata i anmodningerne om udbetaling af variable trancher?

Revisionen omfattede en stikprøve på 24 performanceorienterede kontrakter om sektorreform (jf. bilag II) for de otte partnerlande med de største udbetalinger af variable trancher udbetalt i 2017³. Disse lande modtog 43,29 % af de samlede udbetalinger af variable trancher for det pågældende år. De variable trancher, som blev revideret for de udvalgte kontrakter, omfattede i alt 248 præstationsindikatorer. I bilag III beskrives de betalinger, der blev gennemført i 2017, samt de reviderede sektorer.

For de udvalgte kontrakter undersøgte vi Kommissionens vurdering af kapaciteten af landenes systemer med hensyn til at levere pålidelige resultatdata. Vi kontrollerede desuden udformningen af bestemmelserne i budgetstøttekontrakterne, navnlig kvaliteten af de anvendte resultatindikatorer i de variable trancher. Endelig undersøgte vi Kommissionens verificering af dataene i anmodningerne om udbetaling af variable trancher. Ved undersøgelsen af denne verificering foretog vi en dokumentgennemgang af betalingsfilerne, som var udarbejdet af Kommissionen, og revurderede målopfyldelsen og beregningen af udbetalingerne af variable trancher. Derefter sammenlignede vi vores konklusioner med Kommissionens.

Revisionen omfattede besøg i tre lande: Jordan, Georgien og Bolivia. Ved disse besøg, som fandt sted i februar og marts 2019, interviewede vi ansatte i Kommissionen, repræsentanter for nationale myndigheder og andre bidragydere/interessenter. Ud over de procedurer, som blev udført for de resterende udvalgte lande, genudførte vi i disse tre lande Kommissionens verificering af anmodningerne om udbetaling af variable trancher og de relaterede udbetalinger og sammenlignede vores resultater med resultaterne af Kommissionens analyse. Desuden krydstjekkede vi resultatdataene fra partnerlandene med andre beviskilder fra eksterne eksperter og andre donorer for at vurdere datapålideligheden.

Bemærkninger

Svækket relevans af indikatorer for variable trancher på grund af deres udformning

Vi undersøgte, om: i) resultatindikatorerne er relevante med hensyn til at opfylde budgetstøttekontrakternes målsætninger og i overensstemmelse med landenes politik, og om ii) de udgør et solidt grundlag for overvågning af reelle resultater.

Indikatorerne er i overensstemmelse med landenes sektorstrategier, men fokuserer primært på kortsigtede tiltag frem for på resultater på lang sigt

Budgetstøtte anses af Kommissionen for at være et resultatbaseret middel til at yde bistand. Projektbaseret bistand udbetales til støtteberettigede udgifter, hvorimod variable trancher af budgetstøtte udbetales, når partnerlandene opfylder de generelle betingelser og opnår de tidligere aftalte resultater målt på udvalgte resultatindikatorer. Derfor afhænger relevansen af variable trancher af, om disse resultatindikatorer måler reelle resultater.

Som vist i tekstboks 1 er der fem typer af indikatorer. Input-, proces- og outputindikatorer er mest relevante for den daglige styring af offentlige udgiftsprogrammer. Udfalds- og effektindikatorer måler langtidsvirkninger, bl.a. fremskridt med reformer og programmer hen imod målene, f.eks. målene for bæredygtig udvikling. I figur 4 ses et eksempel på forskellige typer af indikatorer, der anvendes for et af budgetstøtteprogrammerne i Bolivia.

Kilde: Resultatkæde fra OECD's Komité for Udviklingsbistand, som anvendes i EU's foranstaltninger udadtil.

Retningslinjerne for budgetstøtte gør det muligt at anvende alle ovennævnte typer af indikatorer. Ifølge Kommissionen bør der dog fortrinsvis anvendes udfaldsindikatorer, fordi de tilskynder til evidensbaseret politikudformning, sikrer partnerlande politisk råderum til at vælge deres egne politikker og strategier for at nå målene for dem og stimulerer behovet for statistiske oplysninger af høj kvalitet. Jo større tillid til partnerregeringens evne til at fremlægge pålidelige data, desto større vægt bør der lægges på at anvende udfaldsindikatorer. Vi anser desuden effektindikatorer for at velegnede til at måle resultater, især for opfyldelse af målene for bæredygtig udvikling.

Vores analyse af 248 indikatorer i de reviderede kontrakter viste, at de er i overensstemmelse med partnerlandenes sektorstrategier. Udbetalingerne af variable trancher er imidlertid primært baseret på input-, proces- og outputindikatorer, der tilsammen udgør 87 % af det samlede antal indikatorer. Blot 33 af indikatorerne (13 %) målte udfald og effekt, jf. figur 5.

Kilde: Revisionsretten.

Vi konstaterede, at der primært blev anvendt udfalds- og effektindikatorer i lande med lavindkomstøkonomi og lavere mellemindkomstøkonomi, hvorimod der i lande med højere mellemindkomstøkonomi, som f.eks. Jordan og Georgien, der var bedre i stand til at fremlægge resultatdata, kun blev anvendt fire udfaldsindikatorer og ingen effektindikatorer. Det viser, at valget af indikatorer ikke nødvendigvis hænger sammen med landenes udviklingsstatus.

De anvendte inputindikatorer i de reviderede variable trancher vedrørte hovedsagelig vareindkøb (18 tilfælde) og forøgelser af budgettildelinger (9 tilfælde). Forøgelse af budgetter eller indkøb af udstyr kan potentielt udløse ændringer på bestemte interesseområder, men det betyder ikke automatisk, at der gøres reelle fremskridt.

Procesindikatorerne kan spille en nyttig rolle, især hvis politikken har som mål at skabe ændringer af regelsættet. Som angivet i retningslinjerne bør de imidlertid ikke kun fokusere på processer, men også måle kvalitative aspekter, f.eks. hvad en enhed, der skal etableres, forventes at skulle omfatte osv.⁴ Det var dog ikke altid tilfældet. I tekstboks 2 vises nogle eksempler på indikatorer, som ikke fastsatte mindstekrav til kvaliteten af indholdet eller strukturen af de oplysninger, der skal indgives. Det gør det vanskeligt at sikre, at variable trancher belønner processer af god kvalitet.

En tredjedel af indikatorerne giver ikke mulighed for objektiv måling af resultater

De indikatorer, der anvendes til at måle fremskridt i forbindelse med gennemførelsen af en offentlig politik, skal være specifikke, have kvantificerede og målbare mål og, når det er relevant, en pålidelig basislinje. Ellers er det ikke muligt at måle de opnåede resultater objektivt. Indikatorer, basislinjer og mål skal aftales ved formuleringen af budgetstøttekontrakter og specificeres i finansieringsaftalen. Selv om det er anført i retningslinjerne, at ændringer af indikatorerne bør undgås, kan det være nødvendigt at ændre målene under aftalens gennemførelse for at afspejle nye omstændigheder eller for at korrigere fejl i definitionen af basislinjer eller beregningen af indikatorer.

Vores analyse viser, at 72 indikatorer (dvs. 29 % af vores stikprøve) ikke var tilstrækkeligt specifikke. Uspecifikke indikatorer er særligt problematiske under processen med at analysere betalingsanmodninger, da der er en risiko for modstridende vurderinger med hensyn til, om målene er nået. Dette kan medføre, at der ved beregningen af det beløb for variable trancher, der skal udbetales, nås frem til forskellige resultater.

29 % af indikatorerne var uklart formuleret uden kvantificerede mål med ord som f.eks. "forbedre", "øge fokus på" og "fremlægge dokumentation for". Vi konstaterede, at kontrakter i landbrugssektoren havde det højeste antal specifikke indikatorer (86,5 %), hvorimod kun 60 % af indikatorerne inden for offentlig økonomistyring var specifikke. Tekstboks 3 giver eksempler på uspecifikke indikatorer samt konsekvenserne for beregningen af udbetaling af variable trancher.

Vi har også konstateret gode eksempler, hvor Kommissionen havde gjort en indsats for at måle fremskridt for indikatorer, der ikke var nemme at analysere. I det viste tilfælde i tekstboks 4 havde Kommissionen vist vejen for hele donorsamfundet på uddannelsesområdet.

Ingen eller ukorrekte basislinjer for 41 % af fremskridtsindikatorerne

Konkret og utvetydigt definerede indikatorer er ikke den eneste forudsætning for en effektiv resultatmåling. Fremskridt kan kun måles, hvis de fastsatte mål kan sammenlignes med situationen inden interventionen, dvs. med en basislinje. Af de 85 analyserede indikatorer, hvor basislinjer var nødvendige (dvs. for de indikatorer, som analyserede fremskridt⁵), konstaterede vi problemer for 35 af dem vedrørende: i) mangel på nødvendige basislinjeværdier (15) og ii) ukorrekte eller forældede basislinjer (20).

Der var 15 indikatorer uden konstaterede basislinjer. De var fordelt på fire af de 24 udvalgte budgetstøttekontrakter (kontrakt 6, 7, 8 og 17). Hovedårsagen til de manglende basislinjer var, at partnerlandene ikke havde overvåget situationen, inden budgetstøttekontrakten trådte i kraft. Vi fandt dog eksempler, hvor Kommissionen i en lignende situation havde anvendt den første variable tranche i budgetstøttekontrakten til at bede partnerlandet om at beregne basislinjen. I andre tilfælde havde Kommissionen foretaget det nødvendige arbejde (dvs. undersøgelser) for at beregne de manglende basislinjer. Vi anser dem for at være god praksis. Eksemplet på det nødvendige arbejde, som Kommissionen havde udført for at foretage en præcis vurdering af opnåede fremskridt for den relevante indikator for de efterfølgende trancher, er beskrevet i tekstboks 5.

Desuden havde 20 indikatorer ukorrekte eller forældede basislinjer. I 11 af disse tilfælde blev nye data, som var relevante for korrekt beregning af basislinjen, tilgængelige efter at budgetstøttekontrakten var underskrevet. Selv om det er muligt at ændre den relaterede finansieringsaftale for at afspejle den korrekte basislinje, havde Kommissionen ikke gjort det i disse tilfælde. Anvendelsen af ukorrekte eller forældede basislinjer resulterede desuden i indikatorer med lavere mål end de faktiske basislinjer. I tekstboks 6 ses nogle eksempler.

Indikatorerne har generelt den tiltænkte tilskyndelsesvirkning, men der er for mange af dem

Et af de primære mål med budgetstøtte er at tilskynde partnerlande til at følge planen for aftalte reformer. I den henseende bør de anvendte indikatorer for variable trancher kræve, at modtagerlandet gør en meningsfuld indsats. De tilknyttede mål bør desuden have den rette balance imellem ambitioner og realistisk målopfyldelse⁶.

Vi konstaterede, at de fleste af de undersøgte variable trancher virkede med hensyn til at tilskynde partnerlande til at gennemføre bestemte aspekter af deres udviklingsstrategier. De anvendte mål for 11 af de udvalgte indikatorer var imidlertid meget nemme at nå. Blandt disse var fire indikatorer med mål, der var sat ekstremt lavt, fordi der var anvendt ukorrekte basislinjer (jf. punkt 31-32). I tekstboks 7 vises nogle eksempler på indikatorer med en begrænset tilskyndelsesvirkning. Med hensyn til yderligere 12 indikatorer, som omfattede tre kontrakter i Moldova (kontrakt 16), Bolivia (kontrakt 10) og Pakistan (kontrakt 23), blev målene hovedsagelig opfyldt med støtte fra teknisk bistand, der var betalt af EU eller andre donorer. Vi mener, at disse indikatorer har begrænset ejerskab, og at deres tilskyndelsesvirkning er for svag, fordi de ikke kræver, at partnerlandene involveres i særlig grad.

I retningslinjerne foreslås det, at antallet af indikatorer for variable trancher generelt bør være 3-10 indikatorer. For mange indikatorer svækker tilskyndelsesvirkningen og vanskeliggør overvågningen. De reviderede kontrakter omfattede 4-34 indikatorer pr. tranche⁷. Disse indikatorer var yderligere opdelt i delindikatorer, ofte med flere mål. Eksempelvis omfattede kontrakten om at yde støtte til at gennemføre en handlingsplan for visumliberalisering i Moldova (kontrakt 15) 95 uafhængige mål. Et så højt antal indikatorer og mål er ikke befordrende for at bevare fokus på de primære politiske målsætninger i budgetstøttekontrakterne. I interne kommissionsdokumenter blev det erkendt, at der var problemer forbundet med det høje antal indikatorer, men dette påvirkede ikke kontrakternes formulering (jf. tekstboks 8).

Kvaliteten af Kommissionens verificering af opfyldelsen af indikatorerne var svingende og førte i nogle tilfælde til utilstrækkeligt begrundede udbetalinger

Udbetalingsanmodningerne fra modtagerlandene indeholder en analyse af fremskridt i de sektorer, der støttes via deres budgetstøttekontrakter, samt oplysninger om opfyldelsen af aftalte betingelser og resultatindikatorer. Dossieret omfatter normalt en rapport om fremskridt på et specifikt område (sektor), særskilte rapporter om opfyldelse af de enkelte betingelser samt datablade for hver indikator med dokumentation (f.eks. breve fra en statistisk instans, rapporter om spørgeundersøgelser mv.). Jf. figur 3, som beskriver processen for budgetstøtteudbetaling.

Partnerlandenes anmodninger er baseret på data fra deres egne overvågnings- og evalueringssystemer. Derfor er disse systemer en primær informationskilde ved udbetalingsafgørelser. Der er imidlertid forskelle for så vidt angår landenes kapacitet og systemer til at indsamle, lagre, analysere og anvende data. Inden påbegyndelse af budgetstøtteaktiviteter må Kommissionen derfor vurdere de systemer, der er etableret til at udarbejde de resultatindikatorer, som vil blive anvendt til efterfølgende udbetalinger af variable trancher. Navnlig skal EU's delegationer afgøre, om svagheder i statistiske systemer, tilgængelighed af data og politikanalyser i markant grad underminerer gyldigheden af landenes udbetalingsanmodninger.

I de reviderede aftaler undersøgte vi, om Kommissionen ved udvælgelse af resultatindikatorerne for de variable trancher havde foretaget holdbare vurderinger af resultatdataenes pålidelighed. Vi undersøgte desuden, om Kommissionen havde foretaget en omhyggelig undersøgelse af anmodningerne om udbetaling af variable trancher og beregnet beløbet til udbetaling korrekt.

Kommissionen drog ingen konklusioner om landenes evne til at udarbejde de nødvendige data til indikatorer

EU-delegationerne bliver bedt om at give et overblik over partnerlandets overvågnings- og evalueringssystemer (for landet generelt og for den pågældende sektor ved performanceorienterede kontrakter om sektorreform) med en vurdering af, om landets offentlige politik er i overensstemmelse med EU's målsætninger, og om den institutionelle kapacitet anses for at være tilstrækkelig til at gennemføre politikken. Retningslinjerne kræver desuden, at datenes pålidelighed og tilgængelighed analyseres, og at svagheder i de statistiske systemer vurderes, inden der udarbejdes budgetstøtteaftaler.

Vi analyserede Kommissionens vurderinger ved hjælp af kriterier fastlagt af Eurostat. Eurostat har udviklet et værktøj, der hedder Snapshot, med henblik på at hjælpe EU-delegationerne med at vurdere de stærke og svage sider i udviklingslandes nationale statistiske systemer. Vi konstaterede, at Kommissionens retningslinjer for budgetstøtte dækker de centrale krav i dette værktøj. Ikke desto mindre er Snapshot mere omfattende og giver udførlige forklaringer på, hvordan man måler bestemte områder⁸, som er relevante for vurderingen af statistiske systemer. Dette værktøj er generelt ukendt blandt medarbejderne i delegationerne.

Vores gennemgang af Kommissionens vurdering af overvågnings- og evalueringssystemer viste, at Kommissionen i praksis generelt beskriver og vurderer de elementer, som er nævnt i retningslinjerne, men disse elementer findes spredt i flere dokumenter. Visse sektorspecifikke svagheder var nævnt i de fleste af kontrakterne (18 ud af 24 kontrakter), men det var kun i de fem kontrakter i Jordan, at Kommissionen drog eksplicitte konklusioner med hensyn til pålideligheden af de resultatdata, som er nødvendige for at kunne beregne indikatorerne for variable trancher⁹. Det er vigtigt, at der drages en konklusion om pålideligheden af data til valg af indikatorer, overvågning og analyse af udbetalinger.

Kommissionen verificerede pålideligheden af de data, der var anvendt som basis for betalingsanmodninger, men ikke altid omhyggeligt

EU-delegationerne skal analysere udbetalingsanmodningerne fra partnerlande (herunder værdierne for de relaterede resultatindikatorer) inden udbetaling af variable trancher. Vi konstaterede, at der var forskellige verifikationsprocedurer, hvoraf nogle ikke gav den nødvendige sikkerhed til at kunne berettige de efterfølgende udbetalinger.

Generelt anvendte Kommissionen tre forskellige typer af verifikationsprocedurer: i) skrivebordsgennemgang og genberegning af indikatorværdierne ved hjælp af dataene fra partnerlande, ii) den samme metode suppleret med besøg på stedet for at verificere pålideligheden af de udleverede data og iii) outsourcing af beregningen af resultatindikatorer eller verificeringen af data fra partnerlandet til eksterne eksperter.

EU-delegationernes tjenestemænd foretog besøg på stedet for at supplere analysen og verificere nogle af de oplyste data i 14 af de 24 reviderede kontrakter (jf. tekstboks 9). For så vidt angår 16 kontrakter ansatte de i nogle tilfælde eksterne eksperter i tillæg til deres egne besøg på stedet til at analysere opfyldelsen af betingelserne for de variable trancher. Naboskabslandene anvendte eksperter systematisk, hvorimod delegationerne i de øvrige reviderede lande kun anvendte eksperter i 5 af 13 kontrakter.

I retningslinjerne for budgetstøtte anbefales det at indkalde eksperter til at bistå med verificering i tilfælde, hvor der er alvorlig tvivl om kvaliteten af de leverede data. Uden klare konklusioner vedrørende partnerlandenes kapacitet til at udarbejde disse data (jf. punkt 39-41) er det imidlertid vanskeligt at afgøre, om der reelt er behov for en sådan ekspertbistand. For de reviderede kontrakters vedkommende var de gennemsnitlige omkostninger til ekspertbistand i forbindelse med verificering ca. 110 000 euro.

For 6¹⁰ af de udvalgte 24 kontrakter konstaterede vi, at Kommissionen ikke foretog en effektiv yderligere verificering af de data, der var anvendt som basis for udbetalingen af de variable trancher. Det skyldtes hovedsagelig, at EU-delegationerne forlod sig fuldt ud på, at resultatdataene fra partnerlandene var korrekte, eller på den verificering, som eksterne eksperter foretog på vegne af Kommissionen, uden yderligere verificering af de indsendte data. I disse tilfælde er det vanskeligere for Kommissionen at identificere upålidelige resultatdata i udbetalingsanmodningerne, hvilket øger risikoen for uberettigede udbetalinger af variable trancher. Tekstboks 10 viser et eksempel på mangler i en ekstern revision, som ikke blev opdaget af Kommissionen.

For nogle variable trancher berettigede resultatdataene fra partnerlandene ikke de afholdte udbetalinger

Af de reviderede udbetalinger af variable trancher på i alt 234 millioner euro viser vores vurdering af den dokumentation, der lå til grund for opfyldelsen af indikatorer for variable trancher, for fem af otte landes vedkommende andre resultater, end hvad Kommissionen har accepteret, svarende til 13,3 millioner euro, hvor der i ét land (Pakistan) var en forskel på 19 % for udbetalingerne af variable trancher. Desuden konstaterede vi, at Kommissionen udbetalte 3,4 millioner euro til to lande baseret på indikatorer, der var forbundet med ukorrekt fastsatte basislinjer. Selv om der var en kontraktlig forpligtelse til at udbetale, fordi målværdien var nået, var der ikke sket faktiske fremskridt på det område, som blev målt ved hjælp af indikatoren. Tabel 1 sammenfatter disse beløb for hvert af de besøgte lande.

Tabel 1 - Uoverensstemmelser i forhold til Kommissionens vurderinger

Kilde: Revisionsretten.

De største problemer, som vi konstaterede, vedrørte: i) mål nået med forsinkelse efter de fastsatte tidsfrister, ii) måling af resultater baseret på ukorrekt fastsatte basislinjer, iii) ukorrekt eller utilstrækkelig dokumentation fremlagt som begrundelse for indikatorernes opfyldelse og iv) slet ingen målopfyldelse. I figur 6 ses typer og procentdel af uoverensstemmelser konstateret i forhold til Kommissionens vurderinger.

Kilde: Revisionsretten.

Et af de tilfælde, hvor vi vurderede, at partnerlandene havde leveret ukorrekt dokumentation, er beskrevet i tekstboks 11.

I fire kontrakter konstaterede vi fem tilfælde med indikatorer¹¹, hvor målene var nået efter den fastsatte tidsfrist i finansieringsaftalerne. Desuden mener vi for yderligere fem indikatorers vedkommende¹², at partnerlandene ikke nåede målene, mens Kommissionen anså dem for at være opfyldt. I tekstboks 12 er der eksempler på begge dele.

Vi konstaterede tre tilfælde, hvor Kommissionen havde foretaget udbetaling i overensstemmelse med bestemmelserne i finansieringsaftalerne, fordi partnerlandene havde nået de aftalte mål. Men fordi der var anvendt ukorrekt fastsatte basislinjer- eller målværdier, var der ikke sket faktiske fremskridt i de pågældende sektorer. Jf. tekstboks 13 for en nærmere beskrivelse af nogle af disse tilfælde.

Foruden uoverensstemmelserne, som er kvantificeret i tabel 1, kunne vi ikke bekræfte rigtigheden af to udbetalinger af variable trancher på grund af utilstrækkelig dokumentation til støtte for de indberettede værdier for fem indikatorer¹³ (jf. eksemplerne i tekstboks 14). Disse indikatorer repræsenterer et udbetalt beløb på 3,77 millioner euro.

Utilstrækkeligt dokumenterede udbetalinger til Moldova

Selv om det ikke er direkte forbundet med verificeringen af resultatindikatorer, konstaterede vi, at Kommissionen havde udbetalt tre variable trancher til Moldova, et samlet beløb på 26,3 millioner euro, uden tilstrækkelig dokumentation for grundene til støtte for disse betalinger (jf. tekstboks 15).

Konklusioner og anbefalinger

Vi undersøgte, om Kommissionen anvendte relevante og pålidelige resultatdata til at udbetale variable trancher af budgetstøtte. Vi konkluderer, at en tredjedel af de undersøgte resultatindikatorer var mindre relevante på grund af den måde, hvorpå de var udformet, og at de ikke giver mulighed for at måle resultater objektivt, hvilket underminerer deres relevans. Desuden var Kommissionens vurderinger af, om målene for indikatorerne for variable trancher var nået, ikke altid pålidelige, hvilket førte til visse utilstrækkeligt begrundede udbetalinger.

Vi konstaterede, at resultatindikatorerne for variable trancher var tilpasset partnerlandenes sektorspecifikke udviklingsstrategier på hensigtsmæssig vis. Men de fleste af dem fokuserede på kortsigtede tiltag frem for resultaterne på lang sigt, herunder fremskridt hen imod gennemførelse af målene for bæredygtig udvikling. Kun 13 % af de 248 indikatorer, vi undersøgte, målte udfald eller effekt i de støttede sektorer (jf. punkt 22-25). Ved at anvende udfaldsindikatorer vil Kommissionen bedre kunne måle resultaterne på lang sigt i de sektorer, der støttes, herunder fremskridt hen imod gennemførelse af målene for bæredygtig udvikling.

Kommissionen bør øge andelen af variable trancher, som udbetales baseret på opfyldelse af udfaldsindikatorer.

Tidsramme: udgangen af 2021

Mere end en tredjedel af indikatorerne var defineret uklart, eller der var ukorrekte eller slet ingen basislinjer for dem. Det gav anledning til forskellige fortolkninger med hensyn til, om målene var nået, hvilket gjorde analysen af betalingsanmodningerne mere kompleks og mindre objektiv (jf. punkt 26-32).

Kommissionen bør forbedre kvalitetskontrolordningerne for at sikre, at resultatindikatorer for variable trancher måler de resultater, som partnerlandene har opnået, på en objektiv måde. Der bør navnlig lægges vægt på følgende:

1. anvendelse af resultatindikatorer, som er specifikke og ikke giver mulighed for forskellige fortolkninger
2. anvendelse af referenceværdier og mål.

Tidsramme: udgangen af 2021

Et vigtigt mål for budgetstøttens variable trancher er at tilskynde partnerlande til at gøre fremskridt med deres reformdagsordener. De fleste af de undersøgte variable trancher omfattede indikatorer, for hvilke målene havde den rette balance mellem ambitioner og realistisk opfyldelse, og vi er af den opfattelse, at de havde den tiltænkte tilskyndelsesvirkning. De få undtagelser, vi konstaterede, vedrørte indikatorer med mål, der var nemme at nå, ofte fordi der var anvendt ukorrekte basislinjer, eller som var nået via arbejde udført af andre donorer eller eksterne eksperter betalt af EU (jf. punkt 33-34).

Kommissionen bør:

1. ajourføre referenceoplysninger inden kontraktunderskrivelsen eller korrigere referenceværdier under aftalens løbetid (om nødvendigt) ved at ændre budgetstøttekontrakten
2. undgå situationer, hvor partnerlandet opfylder sine mål udelukkende med EU-finansieret teknisk bistand.

Tidsramme: udgangen af 2021

Antallet af anvendte indikatorer for hver variabel tranche var ofte for højt og oversteg det anbefalede antal i Kommissionens retningslinjer. Dette komplicerede udbetalingsprocessen yderligere (jf. punkt 35).

Kommissionen bør undlade at anvende delindikatorer for at begrænse det faktiske antal indikatorer til det maksimale, som beskrevet i retningslinjerne.

Tidsramme: udgangen af 2021

Anmodninger om udbetaling af variable trancher indeholder resultatdata, som viser, i hvilket omfang de aftalte betingelser og mål for resultatindikatorerne er opfyldt. Eftersom disse anmodninger udfærdiges af partnerlandene, afhænger pålideligheden af de underliggende resultatdata af disse landes evne til at levere dem. Vi konstaterede, at Kommissionen generelt vurderede partnerlandenes evne hertil ved at undersøge hovedelementerne i deres overvågnings- og evalueringssystemer, som påkrævet i Kommissionens retningslinjer for budgetstøtte. Men det var kun i 5 af de 24 udvalgte kontrakter, at Kommissionen drog konklusioner om, hvorvidt de nødvendige resultatdata til beregning af indikatorerne for variable trancher var pålidelige (jf. punkt 36-41). Det er vigtigt, at der drages en konklusion om pålideligheden af data med henblik på indikatorvalg, overvågning og analyse af udbetalinger.

Ved udformning af en budgetstøtteaktivitet bør Kommissionen vurdere pålideligheden af de resultatdata, der skal anvendes som grundlag for udbetalingen af en variabel tranche. Vurderingen bør udmunde i en udtrykkelig konklusion om, hvorvidt de systemer, der er anvendt til at udarbejde disse data, er tilstrækkeligt pålidelige, og kan baseres på eksisterende vurderinger foretaget af andre anerkendte organer.

Tidsramme: udgangen af 2021

Vi konstaterede, at EU-delegationerne anvendte forskellige verifikationsprocedurer ved analyse af udbetalingsanmodninger. I nogle tilfælde foretog EU-delegationernes personale besøg på stedet for at verificere dataene fra partnerlande, mens de i andre tilfælde forlod sig fuldt ud på disse data eller på de eksterne revisioner, som var foretaget af eksperter på vegne af Kommissionen uden yderligere verificering. Dette giver ikke den nødvendige sikkerhed til at kunne berettige efterfølgende udbetalinger af variable trancher (jf. punkt 42-46).

Kommissionen bør:

1. gennemgå den underliggende dokumentation for de resultatdata, som leveres af partnerlande i udbetalingsanmodningen, medmindre den allerede udtrykkeligt har konkluderet, at disse data er pålidelige
2. ved brug af eksterne revisioner kræve i mandatet, at pålideligheden af centrale resultatdata fra partnerlande skal verificeres. Inden udbetaling af en variabel tranche skal det verificeres, at eksperterne har overholdt dette krav.

Tidsramme: udgangen af 2021

Ved vores genudførelse af Kommissionens vurderinger af indikatoropfyldelsen og genberegningen af udbetalingen af variable trancher konstaterede vi uoverensstemmelser i forhold til de beløb, som var udbetalt af Kommissionen. Ud af de i alt 234 millioner euro i reviderede udbetalinger af variable trancher anslår vi på grundlag af de tilgængelige oplysninger om performance, at der samlet set var uoverensstemmelser vedrørende 16,7 millioner euro. Af dette beløb var 13,3 millioner euro ikke tilstrækkeligt begrundet eller ikke i overensstemmelse med kontraktens bestemmelser. Der blev udbetalt et beløb på 3,4 millioner euro uden faktiske fremskridt. Desuden blev der udbetalt 26,3 millioner euro til tre variable trancher til Moldova uden tilstrækkelig dokumentation for grundene til støtte for disse betalinger (jf. punkt 47-53).

Vedtaget af Afdeling III, der ledes af Bettina Jakobsen, medlem af Revisionsretten, i Luxembourg på mødet den 12. november 2019.

På Revisionsrettens vegne

Klaus-Heiner Lehne
Formand

Bilag

Bilag I - Andel af budgetstøtte i bilaterale ODA-tilsagn

Kilde: Revisionsretten på grundlag af https://stats.oecd.org/

Bilag II - Reviderede kontrakter

Bilag III - Udbetaling af variable trancher i 2017 til performanceorienterede kontrakter om sektorreform

Kilde: Revisionsretten (lande med fed skrift udvalgt til denne revision)

Bilag IV - Sammenfattende vurdering

BEMÆRK: J: ja - N: nej - D: delvist

Revisionsholdet

Revisionsrettens særberetninger præsenterer resultaterne af dens revisioner vedrørende EU-politikker og -programmer eller forvaltningsspørgsmål i forbindelse med specifikke budgetområder. Med henblik på at opnå maksimal effekt udvælger og udformer Revisionsretten sine revisionsopgaver under hensyntagen til de risici, der knytter sig til forvaltningens resultater eller overholdelse af regler, de pågældende indtægters eller udgifters omfang, den fremtidige udvikling samt den politiske og offentlige interesse.

Denne forvaltningsrevision blev udført af Afdeling III - Foranstaltninger udadtil/Sikkerhed og retfærdighed under ledelse af Hannu Takkula, medlem af Revisionsretten, med støtte fra kabinetschef Turo Hentila og attaché Helka Nykaenen, ledende administrator Alejandro Ballester Gallardo, opgaveansvarlig Piotr Zych og revisorerne Eva Coria Paramas, Roberto Ruiz Ruiz, Erika Söveges og Nita Tennila. Richard Moore ydede sproglig støtte.

Fra venstre til højre: Turo Hentila, Helka Nykaenen, Hannu Takkula, Alejandro Ballester Gallardo, Nita Tennila, Piotr Zych, Erika Söveges, Roberto Ruiz Ruiz.

Slutnoter

¹ Artikel 236, stk. 1, i finansforordningen vedrørende Unionens almindelige budget, juli 2018.

² Kommissionens "Budget Support - Trends & Results 2018", s. 61.

³ Med undtagelse af Marokko, som er emnet i en særberetning fra Revisionsretten, der offentliggøres i 2020.

⁴ Retningslinjer for budgetstøtte, s. 138.

⁵ Vores stikprøve omfatter 163 indikatorer med mål, som ikke kræver en basislinje, fordi de ikke måler udviklingen af en bestemt variabel (f.eks. "en godkendt lov" eller "antal afholdte møder"). Disse indikatorer er ikke taget i betragtning i denne vurdering.

⁶ Retningslinjer for budgetstøtte, s. 139.

⁷ Dette antal omfatter ikke indikatorer fra tidligere års trancher.

⁸ Snapshot giver analysemetoder til følgende nøgleområder, som er nødvendige ved vurdering af statistiske systemer: i) de juridiske, institutionelle og strategiske rammer for udarbejdelse af statistik og overvågning på nationalt plan og sektorplan, ii) tilstrækkeligheden af ressourcer (f.eks. kvantitet og kvalitet af menneskelige ressourcer, udstyr, finansiering mv.), iii) determinanterne for datakvalitet (f.eks. kvalitetsforpligtelse, uafhængig fagkyndighed, uvildighed, objektivitet, metodik og relevante procedurer) og iv) relationer med brugere (f.eks. relevans, tilgængelighed).

⁹ Aftale 1, 2, 3, 4 og 5.

¹⁰ Kontrakt 2, 5, 13, 14, 23 og 24.

¹¹ Indikator 2 i kontrakt 20, indikator 1.2 i kontrakt 6, indikator 5 i kontrakt 1 samt indikator 2.1 og 2.2 i kontrakt 16.

¹² Indikator 5, 6 og 8 i kontrakt 23, indikator 6.2 i kontrakt 24 og indikator 1.7 i kontrakt 6.

¹³ Indikator 3 og 6 for kontrakt 22 samt indikator 1.2 og 3 for kontrakt 5.

Tidslinje

Kontakt

DEN EUROPÆISKE REVISIONSRET
12, rue Alcide De Gasperi
1615 Luxembourg
LUXEMBOURG

Tlf. +352 4398-1
Kontakt: eca.europa.eu/da/Pages/ContactForm.aspx
Websted: eca.europa.eu
Twitter: @EUAuditors

Yderligere oplysninger om EU fås på internet via Europaserveren (http://europa.eu)

Luxembourg: Den Europæiske Unions Publikationskontor, 2019

© Den Europæiske Union, 2019

Eftertryk tilladt med kildeangivelse.
Ved enhver anvendelse eller gengivelse af fotos eller andet materiale, der ikke er omfattet af Den Europæiske Union ophavsret, skal der indhentes tilladelse direkte fra indehaverne af ophavsrettighederne.

Sådan kontakter du EU

Personligt
Der findes flere hundrede Europe Direct-informationscentre i hele EU. Find dit nærmeste center på: https://europa.eu/european-union/contact_da

Pr. telefon eller e-mail
Europe Direct er en tjeneste, der besvarer spørgsmål om EU. Kontakt Europe Direct:

• på gratisnummer: 00 800 6 7 8 9 10 11 (visse operatører tager betaling for disse opkald)
• på følgende nummer: +32 22999696 eller
• pr. e-mail: https://europa.eu/european-union/contact_da

Sådan finder du oplysninger om EU

Online
Oplysninger om EU er tilgængelige på alle EU’s officielle sprog på Europawebstedet: https://europa.eu/european-union/index_da

EU-publikationer
Du kan downloade eller bestille EU-publikationer gratis eller mod betaling på: https://op.europa.eu/da/publications.
Du kan bestille flere eksemplarer af de gratis publikationer ved at kontakte Europe Direct eller dit lokale informationscenter (se https://europa.eu/european-union/contact_da).

EU-ret og relaterede dokumenter
Du kan nemt få adgang til EU’s juridiske oplysninger (herunder al EU-ret siden 1952) på alle officielle EU-sprog på EUR-Lex: http://eur-lex.europa.eu

Åbne data fra EU
EU’s portal for åbne data (http://data.europa.eu/euodp/da) giver adgang til datasæt fra EU. Dataene kan downloades og genanvendes gratis til både kommercielle og ikkekommercielle formål.