Gegevenskwaliteit bij begrotingssteun: tekortkomingen bij sommige indicatoren en de verificatie van de betaling voor variabele tranches

Samenvatting

Begrotingssteun is een vorm van EU-steun waarbij geld wordt overgemaakt naar de nationale schatkist van een partnerland mits de overeengekomen voorwaarden voor betaling door dat land worden nageleefd. Met gemiddeld 1,69 miljard EUR aan jaarlijkse betalingen is de EU de grootste verlener van begrotingssteun. Betalingen in het kader van begrotingssteun worden verricht in de vorm van vaste of variabele tranches. Ongeveer 44 % van de EU-betalingen in het kader van begrotingssteun houdt verband met variabele tranches. Dit aandeel bedraagt in sommige buurlanden van de EU wel 90 %. De bedragen die in variabele tranches worden uitbetaald zijn afhankelijk van de door de partnerlanden behaalde prestaties, die worden gemeten aan de hand van vooraf vastgestelde prestatie-indicatoren.

We onderzochten of de Commissie relevante en betrouwbare prestatiegegevens had gebruikt voor het uitbetalen van variabele tranches in het kader van de begrotingssteun. Wij concluderen dat voor een derde van de geëvalueerde prestatie-indicatoren gold dat ze als gevolg van hun ontwerp aan relevantie inboetten en dat hiermee de resultaten niet op objectieve wijze konden worden gemeten, wat ten koste ging van de relevantie ervan. Bovendien was de beoordeling door de Commissie van de vraag of de indicatoren voor de variabele tranches waren behaald niet altijd betrouwbaar, wat leidde tot enkele onvoldoende gerechtvaardigde betalingen.

Hoewel de prestatie-indicatoren voor de variabele tranches waren afgestemd op de sectorale ontwikkelingsstrategieën van de partnerlanden, waren de meeste indicatoren gericht op kortetermijnmaatregelen in plaats van op resultaten op de langere termijn, waaronder de vooruitgang in de loop der tijd ten aanzien van de duurzameontwikkelingsdoelstellingen. Bovendien was meer dan een derde van de indicatoren onduidelijk gedefinieerd of was daarbij sprake van onjuiste of ontbrekende referentiewaarden. Hierdoor waren verschillende interpretaties mogelijk van de vraag of de streefdoelen waren behaald, waardoor de analyse van de uitbetalingsverzoeken complexer en minder objectief werd.

De meeste geëvalueerde variabele tranches zorgden voor de beoogde stimulansen voor partnerlanden om vooruitgang te boeken ten aanzien van hun hervormingsagenda's door voldoende ambitieuze streefdoelen vast te stellen. De enkele uitzonderingen die wij aantroffen, hadden betrekking op indicatoren met streefdoelen die eenvoudig konden worden behaald of die waren behaald dankzij werkzaamheden die door andere donoren of door de EU betaalde externe deskundigen waren verricht. Het aantal indicatoren dat voor elke variabele tranche werd gebruikt, was in 6 van de 24 overeenkomsten te hoog, wat het uitbetalingsproces nog verder bemoeilijkte.

De uitbetalingsverzoeken voor variabele tranches omvatten een analyse van de naleving van de overeengekomen voorwaarden en prestatie-indicatoren. Deze verzoeken worden opgesteld door de partnerlanden en de betrouwbaarheid van de onderliggende prestatiegegevens is dus afhankelijk van de capaciteit van deze landen om deze te genereren. We stelden vast dat de Commissie ten aanzien van slechts 5 van de 24 geselecteerde overeenkomsten expliciete conclusies trok wat betreft de vraag of de prestatiegegevens die nodig waren om de indicatoren van de variabele tranche te berekenen, betrouwbaar waren. Bij het analyseren van uitbetalingsverzoeken voerden de EU-delegaties verschillende procedures uit om de betrouwbaarheid van deze gegevens te verifiëren. Enkele van deze procedures waarborgen niet dat de betalingen van de variabele tranches zijn gebaseerd op betrouwbare gegevens en waarborgen bijgevolg niet dat deze tranches volledig gerechtvaardigd zijn.

Op basis van de door ons opnieuw verrichte beoordelingen van de Commissie ten aanzien van het behalen van de indicatoren en de herberekening van de betalingen van de variabele tranches voor een totaal van 234 miljoen EUR troffen we afwijkingen aan ten aanzien van 16,7 miljoen EUR. Van dit bedrag was 13,3 miljoen EUR onvoldoende gerechtvaardigd of niet in overeenstemming met de bepalingen van de overeenkomst. Een bedrag van 3,4 miljoen EUR werd uitbetaald zonder dat er werkelijke vooruitgang was geboekt. Daarnaast werd 26,3 miljoen EUR voor drie variabele tranches aan Moldavië uitbetaald zonder dat de redenen voor deze betalingen voldoende waren gedocumenteerd.

We doen zes aanbevelingen aan de Commissie om:

• ruimer gebruik te maken van uitkomstindicatoren voor variabele tranches;
• de formulering van prestatie-indicatoren te verbeteren;
• het stimulerende effect van variabele tranches te waarborgen;
• het uitbetalingsproces voor variabele tranches te vereenvoudigen;
• de beoordelingen te verbeteren van de capaciteit van de landen om prestatiegegevens te verstrekken die worden gebruikt voor variabele tranches;
• de verificatie te verbeteren van de prestatiegegevens die worden gebruikt om variabele tranches uit te betalen.

Inleiding

Het concept begrotingssteun

Begrotingssteun is een vorm van EU-steun waarbij geld wordt overgemaakt naar de nationale schatkist van een partnerland, behoudens de naleving van de overeengekomen voorwaarden voor betaling door dat land. De middelen die zo worden ontvangen, maken deel uit van de begroting van het partnerland, dat deze naar eigen goeddunken kan gebruiken. De Commissie beschrijft begrotingssteun als middel om doeltreffende steun te verlenen en te zorgen voor duurzame resultaten ter ondersteuning van de hervormingsinspanningen van de EU-partners en de duurzameontwikkelingsdoelstellingen (SDG's).

Naast de overdracht van financiële middelen omvat begrotingssteun: i) een dialoog met het partnerland over hervormingen of ontwikkelingsresultaten waartoe begrotingssteun kan bijdragen, ii) een beoordeling van de geboekte vooruitgang, en iii) steun voor capaciteitsopbouw. Begrotingssteun vormt een verschuiving van de traditionele nadruk op activiteiten (bijv. projecten) naar resultaatgerichte steun.

De EU is de grootste verlener van begrotingssteun ter wereld (zowel uit de EU-begroting als uit de Europese ontwikkelingsfondsen). Tijdens de periode 2014‑2017 legde de EU ongeveer 11 % (zie bijlage I) van haar begroting voor bilaterale ontwikkelingssteun vast voor begrotingssteun: een jaarlijks gemiddelde van ongeveer 2,13 miljard EUR. In 2017 verleende zij begrotingssteun aan 90 landen en gebieden, die in totaal 1,8 miljard EUR ontvingen. Het totale vastgelegde bedrag voor alle lopende overeenkomsten inzake begrotingssteun beloopt 12,7 miljard EUR. In figuur 1 worden deze cijfers uitgesplitst naar regio, voor zowel de algemene begroting van de EU als de Europese ontwikkelingsfondsen.

(in miljoen EUR)

Bron: ERK, op basis van Budget Support Trends & Results 2018, Europese Commissie.

EU-begrotingssteun vereist dat relevant en geloofwaardig beleid bestaat en dat dit doeltreffend wordt uitgevoerd door het ontvangende land. Volgens het Financieel Reglement kan een land in aanmerking komen voor begrotingssteun wanneer¹:

• het beheer van de overheidsfinanciën van het partnerland voldoende transparant, betrouwbaar en doeltreffend is;
• het partnerland op sectoraal of nationaal niveau een beleid voert dat voldoende geloofwaardig en effectief is;
• het partnerland macro-economische beleidsmaatregelen heeft ingesteld die op stabiliteit zijn gericht;
• het partnerland heeft gezorgd voor voldoende en tijdige toegang tot allesomvattende en solide begrotingsinformatie.

De Europese Commissie maakt gebruik van drie soorten overeenkomsten voor begrotingssteun:

1. overeenkomsten inzake de duurzameontwikkelingsdoelstellingen (SDG-overeenkomst), waarmee nationale beleidsmaatregelen en strategieën worden ondersteund voor het boeken van vooruitgang ten aanzien van de duurzameontwikkelingsdoelstellingen;
2. prestatiecontracten voor sectorale hervorming, waarmee specifieke sectorale hervormingen worden ondersteund;
3. overeenkomsten voor staatsopbouw, die worden gebruikt om essentiële overheidstaken te waarborgen in landen in kwetsbare omstandigheden of om overgangsprocessen naar democratisch bestuur te ondersteunen.

De overgrote meerderheid van de begrotingssteunprogramma's van de Europese Commissie is gebaseerd op prestatiecontracten voor sectorale hervorming (74 % van alle lopende vastleggingen voor begrotingssteun in 2017). Wat de financiering betreft, zijn de vier grootste sectoren die worden ondersteund met gebruikmaking van prestatiecontracten voor sectorale hervorming: onderwijs, landbouw en plattelandsontwikkeling, gezondheid en energie.

Variabele tranches als stimulans om resultaten te boeken

Voorafgaand aan elke uitbetaling analyseert de Commissie de naleving van de algemene voorwaarden van de overeenkomst inzake begrotingssteun. Deze voorwaarden houden in de meeste gevallen verband met de subsidiabiliteitscriteria voor het ontvangen van de begrotingssteun (zie paragraaf 04). Betalingen in het kader van begrotingssteun worden verricht in de vorm van vaste of variabele tranches. Vaste tranches worden volledig (als aan alle voorwaarden is voldaan) of helemaal niet uitbetaald (indien aan één of meer van de voorwaarden niet is voldaan). Variabele tranches worden gebruikt om stimulansen te creëren voor partnerlanden om de uitvoering van het beleid te verbeteren en worden uitbetaald op basis van de behaalde prestaties in verband met gespecificeerde prestatie-indicatoren en streefdoelen, mits aan alle algemene voorwaarden is voldaan. Variabele tranches kunnen volledig of gedeeltelijk worden uitbetaald. De prestatie-indicatoren die voor variabele tranches worden gebruikt, kunnen worden geselecteerd uit de monitoringsystemen die reeds worden gebruikt door het partnerland of door middel van een gezamenlijk kader voor de prestatiebeoordeling dat met het partnerland en andere donoren wordt overeengekomen.

Voor openbaar beleid kunnen verschillende soorten prestatie-indicatoren worden gebruikt (zie tekstvak 1). Over het algemeen beveelt de Commissie het gebruik van uitkomstindicatoren aan, maar andere soorten indicatoren kunnen ook passend zijn naargelang de specifieke context van het partnerland of de sector.

Elke prestatie-indicator heeft een bijbehorende financiële waarde. De Commissie berekent de in de variabele tranche uitbetaalde bedragen onder andere door de bedragen op te tellen voor elke door het land behaalde prestatie-indicator. Dit betekent dat het aandeel van de uitbetaalde variabele tranche toeneemt met elke indicator die een partnerland behaalt.

In 2017 hield 44 % van de betalingen van de Commissie in het kader van overeenkomsten inzake begrotingssteun verband met variabele tranches². Dit aandeel is in sommige buurlanden van de EU wel 90 %. In figuur 2 zijn de uitbetaalde variabele tranches voor prestatiecontracten voor sectorale hervorming in 2017 uitgesplitst naar land.

Bron: ERK, op basis van gegevens van de Commissie.

De uitbetaling van variabele tranches

Het proces van de uitbetaling van een variabele tranche begint met een uitbetalingsverzoek van het partnerland. Dit verzoek omvat een analyse van de mate waarin de desbetreffende prestatie-indicatoren zijn behaald. De EU-delegaties analyseren het verzoek en stellen een evaluatienota op. Op basis van deze nota, en na goedkeuring door het stuurcomité voor begrotingssteun, neemt de Commissie een beslissing over het bedrag van de variabele tranche dat moet worden uitbetaald (zie figuur 3).

De prestatieanalyse van het partnerland die wordt bijgevoegd bij een uitbetalingsverzoek is gebaseerd op gegevens van zijn eigen systemen voor monitoring en evaluatie. Deze systemen zijn derhalve de belangrijkste bron van informatie voor de uitbetaling van variabele tranches.

Bron: ERK, op basis van de richtsnoeren inzake begrotingssteun van de Commissie.

Reikwijdte en aanpak van de controle

In de Europese consensus inzake ontwikkeling die in 2017 werd aangenomen, wordt de centrale rol van begrotingssteun erkend bij het bevorderen van de inspanningen van partnerlanden voor het behalen van de duurzameontwikkelingsdoelstellingen (SDG's). Gezien het belang van variabele tranches bij de uitbetalingen van begrotingssteun en het feit dat de prestatiegegevens waarop deze uitbetalingen worden gebaseerd afkomstig zijn van de ontvangende landen, zouden onjuiste of onbetrouwbare gegevens kunnen betekenen dat de uitbetalingen van begrotingssteun niet de beoogde werkelijke resultaten opleveren. Dit zou sterk afbreuk doen aan het doel van de begrotingssteun. De nadruk van deze controle lag derhalve op het grondig onderzoeken van de kwantiteit en kwaliteit (dat wil zeggen de relevantie en betrouwbaarheid) van de prestatie-indicatoren die werden gebruikt voor variabele tranches en de analyse door de Commissie van de uitbetalingsverzoeken.

De belangrijkste controlevraag luidde: “Gebruikte de Commissie relevante en betrouwbare prestatiegegevens voor het uitbetalen van variabele tranches in het kader van de begrotingssteun?” Om deze vraag te beantwoorden, stelden we de volgende subvragen:

1. Werden in de overeenkomsten inzake begrotingssteun indicatoren opgenomen die het mogelijk maakten om de relevante resultaten doeltreffend te monitoren in de ondersteunde sectoren?
2. Verifieerde de Commissie de betrouwbaarheid van de prestatiegegevens in de verzoeken om uitbetaling van variabele tranches op doeltreffende wijze?

De controle had betrekking op een steekproef van 24 overeenkomsten inzake sectorale hervormingen (zie bijlage II) in de acht partnerlanden met de hoogste uitbetalingen van variabele tranches in 2017³. Deze landen ontvingen 43,29 % van de totale uitbetalingen in variabele tranches voor dat jaar. De gecontroleerde variabele tranches voor de geselecteerde overeenkomsten omvatten in totaal 248 prestatie-indicatoren. In bijlage III worden de betalingen gespecificeerd die in 2017 werden verricht, evenals de gecontroleerde sectoren.

Voor de geselecteerde overeenkomsten onderzochten we de beoordeling door de Commissie van de capaciteit van de systemen van de landen om betrouwbare prestatiegegevens te verstrekken. We controleerden bovendien het ontwerp van de bepalingen van de overeenkomsten inzake begrotingssteun, en met name de kwaliteit van de prestatie-indicatoren die werden gebruikt voor de variabele tranches. Tot slot onderzochten we de verificaties door de Commissie van de gegevens in de verzoeken om uitbetaling van de variabele tranches. Bij het onderzoeken van deze verificaties voerden we een controle uit van de betalingsdocumenten die door de Commissie werden opgesteld en beoordeelden we opnieuw de verwezenlijking van de streefdoelen en de berekening van de uitbetalingen van de variabele tranches. Vervolgens vergeleken we onze conclusies met die van de Commissie.

De controle omvatte bezoeken aan drie landen: Jordanië, Georgië en Bolivia. Tijdens deze bezoeken, die in februari en maart 2019 plaatsvonden, ondervroegen we personeel van de Commissie, vertegenwoordigers van nationale autoriteiten en andere donoren/belanghebbenden. Naast de procedures die we voor de overige geselecteerde landen uitvoerden, verrichtten we in deze drie landen de verificaties door de Commissie van de verzoeken om uitbetaling van variabele tranches opnieuw, evenals de hieraan gerelateerde betalingen, en vergeleken we onze resultaten met de resultaten van de analyse door de Commissie. Bovendien vergeleken we de prestatiegegevens die door de partnerlanden werden verstrekt met andere bronnen van bewijs van externe deskundigen en andere donoren om de betrouwbaarheid hiervan te beoordelen.

Opmerkingen

Het ontwerp van de indicatoren voor variabele tranches ging ten koste van de relevantie ervan

Wij onderzochten of: i) de prestatie-indicatoren relevant zijn voor het behalen van de doelstellingen van de overeenkomsten inzake begrotingssteun en zijn afgestemd op het beleid van het land, en ii) de prestatie-indicatoren een solide basis vormen voor de monitoring van betekenisvolle resultaten.

De indicatoren zijn consistent met de strategieën van de partnerlanden, maar zijn voornamelijk gericht op kortetermijnmaatregelen in plaats van resultaten op de langere termijn

Begrotingssteun wordt door de Commissie beschouwd als middel voor resultaatgerichte steunverlening. Terwijl steun op basis van projecten wordt verleend voor uitgaven die hiervoor in aanmerking komen, worden variabele tranches in het kader van begrotingssteun uitbetaald wanneer partnerlanden aan de algemene voorwaarden voldoen en eerder overeengekomen resultaten hebben behaald die worden gemeten aan de hand van geselecteerde prestatie-indicatoren. De relevantie van de variabele tranches is derhalve afhankelijk van de vraag of deze prestatie-indicatoren betekenisvolle resultaten meten.

Er zijn vijf soorten indicatoren, zoals weergegeven in tekstvak 1. Input-, proces- en outputindicatoren zijn het meest relevant voor het dagelijks beheer van de programma's voor overheidsuitgaven. Uitkomst- en impactindicatoren meten effecten op de langere termijn, zoals de vooruitgang ten aanzien van hervormingen en programma's voor vastgestelde doelstellingen, zoals de SDG's. In figuur 4 wordt een voorbeeld gegeven van verschillende soorten indicatoren die worden gebruikt voor een van de begrotingssteunprogramma's in Bolivia.

Bron: Resultatenketen van de Commissie voor ontwikkelingsbijstand van de OESO, gebruikt voor externe maatregelen van de EU.

De richtsnoeren inzake begrotingssteun staan het gebruik van alle bovenstaande soorten indicatoren toe. Volgens de Commissie moet de voorkeur echter uitgaan naar uitkomstindicatoren, omdat deze de op feiten gebaseerde beleidsvorming bevorderen, de politieke ruimte voor partnerlanden beschermen om hun eigen beleid en strategieën te kiezen voor het behalen van deze indicatoren en een vraag naar kwalitatief hoogwaardige statistische informatie stimuleren. Hoe meer vertrouwen er bestaat in het vermogen van de regering van het partnerland om betrouwbare gegevens te produceren, hoe meer nadruk er op uitkomstindicatoren moet worden gelegd. We achten inputindicatoren ook nuttig voor het meten van resultaten, met name ten aanzien van het behalen van de SDG's.

Uit onze analyse van de 248 indicatoren van de gecontroleerde overeenkomsten blijkt dat deze zijn afgestemd op de sectorale strategieën van de partnerlanden. De uitbetalingen in variabele tranches worden echter voornamelijk gebaseerd op input-, proces- en outputindicatoren, die samen 87 % van het totale aantal indicatoren uitmaken. Slechts 33 indicatoren (13 %) maten de uitkomsten en impact — zie figuur 5.

Bron: ERK.

We stelden vast dat de meeste uitkomst- en impactindicatoren werden gebruikt in lagere- en lager-middeninkomenslanden, terwijl in hoger-middeninkomenslanden, zoals Jordanië en Georgië, die beter in staat waren om prestatiegegevens te genereren, slechts vier resultaatindicatoren en geen impactindicatoren werden gebruikt. Hieruit blijkt dat de selectie van indicatoren niet noodzakelijkerwijs verband houdt met de ontwikkelingsstatus van een land.

De inputindicatoren die werden gebruikt voor de gecontroleerde variabele tranches hadden voornamelijk betrekking op overheidsopdrachten voor goederen (18 gevallen) en verhogingen van toewijzingen uit de begroting (9 gevallen). Verhogingen van begrotingen of overheidsopdrachten voor apparatuur kunnen leiden tot veranderingen op een specifiek aandachtsgebied, maar betekenen niet automatisch dat er vooruitgang van betekenis zal worden geboekt.

De procesindicatoren kunnen een nuttige rol spelen, met name wanneer het beleid is gericht op het tot stand brengen van veranderingen in het regelgevende kader. Deze dienen echter, zoals aangegeven in de richtsnoeren, niet alleen gericht te zijn op processen, maar moeten ook kwalitatieve aspecten meten, zoals de vraag wat moet vallen onder een entiteit die wordt opgericht, enz.⁴ Dit was echter niet altijd het geval. In tekstvak 2 worden enkele voorbeelden van indicatoren getoond waarin geen minimale kwaliteitseisen werden gespecificeerd ten aanzien van de inhoud of de structuur van de informatie die moet worden ingediend. Hierdoor kan moeilijk worden gewaarborgd dat de variabele tranches een beloning vormen voor hoogwaardige processen.

Een derde van de indicatoren maakt geen objectieve meting van de resultaten mogelijk

De indicatoren die worden gebruikt om de vooruitgang bij de uitvoering van overheidsbeleid te meten moeten specifiek zijn, gekwantificeerde en meetbare streefdoelen omvatten en, indien van toepassing, een betrouwbare referentiewaarde hebben. Het is anders niet mogelijk om de geboekte vooruitgang op objectieve wijze te meten. Indicatoren, referentiewaarden en streefdoelen moeten worden overeengekomen wanneer de overeenkomsten inzake begrotingssteun worden opgesteld en worden gespecificeerd in de financieringsovereenkomst. Hoewel in de richtsnoeren is bepaald dat wijzigingen van de indicatoren moeten worden voorkomen, kan het zijn dat streefdoelen tijdens de uitvoering van de overeenkomst moeten worden bijgesteld om de nieuwe omstandigheden weer te geven of om fouten bij de vaststelling van de referentiewaarden of de berekening van indicatoren te corrigeren.

Uit onze analyse blijkt dat 72 indicatoren (d.w.z. 29 % van onze steekproef) onvoldoende specifiek waren. Niet-specifieke indicatoren zijn met name problematisch bij de analyse van de uitbetalingsverzoeken: er bestaat een risico van tegenstrijdige beoordelingen van de vraag of de streefdoelen zijn behaald. Dit kan weer leiden tot uiteenlopende resultaten wanneer het bedrag van de variabele tranche wordt berekend dat moet worden uitbetaald.

Van de indicatoren was 29 % vaag geformuleerd, zonder gekwantificeerde streefdoelen, waarbij woorden als “verbeteren”, “meer aandacht besteden aan” en “bewijs leveren” werden gebruikt. We stelden vast dat overeenkomsten in de landbouwsector het grootste aantal specifieke indicatoren hadden (86,5 %), terwijl slechts 60 % van de indicatoren in de sector beheer van de overheidsfinanciën specifiek was. In tekstvak 3 worden voorbeelden gegeven van niet-specifieke indicatoren en de gevolgen hiervan voor de berekening van de uitbetalingen in variabele tranches.

We troffen ook goede voorbeelden aan van inspanningen die de Commissie had verricht om de vooruitgang te meten ten aanzien van indicatoren die niet gemakkelijk konden worden geanalyseerd. In het geval dat is beschreven in tekstvak 4 gaf de Commissie het voorbeeld voor de gehele donorgemeenschap op het gebied van onderwijs.

Geen of onjuiste referentiewaarden voor 41 % van de vooruitgangsindicatoren

Specifiek en eenduidig gedefinieerde indicatoren zijn niet de enige voorwaarde voor een doeltreffende meting van resultaten. De vooruitgang kan slechts worden gemeten wanneer de vastgestelde streefdoelen kunnen worden vergeleken met de situatie voorafgaand aan de steunmaatregel, met andere woorden, met een referentiewaarde. We troffen problemen aan bij 35 van de 85 indicatoren waarvoor referentiewaarden nodig waren (d.w.z. voor die indicatoren aan de hand waarvan de vooruitgang werd geanalyseerd⁵), die verband hielden met: i) het ontbreken van noodzakelijke referentiewaarden (15) en ii) onjuiste of verouderde referentiewaarden (20).

Bij 15 indicatoren kon geen referentiewaarde worden vastgesteld. Deze waren verspreid over 4 van de 24 geselecteerde overeenkomsten voor begrotingssteun (overeenkomsten nrs. 6, 7, 8 en 17). De belangrijkste reden voor het ontbreken van referentiewaarden was dat de partnerlanden de situatie voorafgaand aan het begin van de overeenkomst inzake begrotingssteun niet hadden gemonitord. We troffen echter voorbeelden aan waarin de Commissie, in een vergelijkbare situatie, de eerste variabele tranche van de overeenkomst inzake begrotingssteun had gebruikt om het partnerland te verzoeken de referentiewaarde te berekenen. In andere gevallen had de Commissie de noodzakelijke werkzaamheden (d.w.z. enquêtes) verricht om de ontbrekende referentiewaarden te berekenen. We zijn van mening dat dit goede praktijken zijn. Het voorbeeld waarbij de noodzakelijke werkzaamheden werden uitgevoerd door de Commissie om de geboekte vooruitgang bij volgende tranches op nauwkeurige wijze te kunnen beoordelen voor de relevante indicator, wordt beschreven in tekstvak 5.

Daarnaast hadden twintig indicatoren onjuiste of verouderde referentiewaarden. In elf van deze gevallen kwamen na de ondertekening van de overeenkomst inzake begrotingssteun nieuwe gegevens beschikbaar die relevant waren voor de juiste berekening van de referentiewaarde. Hoewel het mogelijk is om de desbetreffende financieringsovereenkomst te herzien zodat de juiste referentiewaarde wordt gebruikt, had de Commissie dit in deze gevallen niet gedaan. Het gebruik van onjuiste of verouderde referentiewaarden leidde er ook toe dat indicatoren streefwaarden hadden die lager waren dan de werkelijke referentiewaarden. In tekstvak 6 zijn enkele voorbeelden opgenomen.

Indicatoren zorgen over het algemeen voor het beoogde stimulerende effect, maar er zijn te veel indicatoren

Een belangrijke doelstelling van begrotingssteun bestaat erin partnerlanden stimulansen te bieden om de overeengekomen hervormingen door te voeren. Daarom moeten de indicatoren die worden gebruikt voor de variabele tranches een inspanning van betekenis van het ontvangende land vereisen. De bijbehorende streefdoelen moeten bovendien het juiste evenwicht bieden tussen ambitie en het gemak om deze te behalen⁶.

We stelden vast dat de meeste variabele tranches die wij evalueerden de partnerlanden stimuleerden om bepaalde aspecten van hun ontwikkelingsstrategieën uit te voeren. De streefdoelen die voor elf van de geselecteerde indicatoren werden gebruikt, konden echter zeer eenvoudig worden behaald. Dit aantal omvat vier indicatoren waarvan de streefdoelen op een zeer laag niveau werden vastgesteld vanwege het gebruik van onjuiste referentiewaarden (zie de paragrafen 31 en 32). Enkele voorbeelden van indicatoren met een beperkt stimulerend effect worden getoond in tekstvak 7. Bovendien werden de streefdoelen van twaalf aanvullende indicatoren voor drie overeenkomsten in Moldavië (overeenkomst nr. 16), Bolivia (overeenkomst nr. 10) en Pakistan (overeenkomst nr. 23) grotendeels behaald met steun in de vorm van technische bijstand die door de EU of andere donoren werd betaald. Naar onze mening zorgen dergelijke indicatoren voor een beperkt gevoel van verantwoordelijkheid en is het stimulerende effect ervan matig, omdat zij geen al te grote betrokkenheid van de partnerlanden vereisen.

In de richtsnoeren wordt aanbevolen om over het algemeen drie tot tien indicatoren voor variabele tranches vast te stellen. Te veel indicatoren leiden ertoe dat het stimulerende effect verwatert en dat de monitoring gecompliceerder wordt. De gecontroleerde overeenkomsten hadden tussen de 4 en 34 indicatoren per tranche⁷. Deze indicatoren werden verder opgesplitst in subindicatoren, vaak met verschillende streefdoelen. De overeenkomst om steun te verlenen voor de uitvoering van een actieplan voor visumliberalisering in Moldavië (overeenkomst nr. 15) had bijvoorbeeld 95 onafhankelijke streefdoelen. Een dergelijk groot aantal indicatoren en streefdoelen is niet bevorderlijk voor het richten van de aandacht op de belangrijkste beleidsdoelstellingen van de overeenkomsten inzake begrotingssteun. Hoewel in interne documenten van de Commissie werd erkend dat er problemen bestonden in verband met het grote aantal indicatoren, had dit geen gevolgen voor de opstelling van overeenkomsten (zie tekstvak 8).

De kwaliteit van de verificatie door de Commissie van de verwezenlijking van indicatoren verschilde, wat leidde tot enkele onvoldoende gerechtvaardigde uitbetalingen

De uitbetalingsverzoeken die door de ontvangende landen worden ingediend, omvatten een analyse van de vooruitgang in de sectoren die worden ondersteund door hun overeenkomsten inzake begrotingssteun en informatie over de naleving van de overeengekomen voorwaarden en prestatie-indicatoren. Het dossier omvat normaal gesproken een verslag over de vooruitgang op een bepaald gebied (sector), afzonderlijke verslagen over de naleving van elke voorwaarde en fiches met betrekking tot elke indicator, met ondersteunend bewijs (bijv. brieven van een bureau voor de statistiek, verslagen over enquêtes, enz.). Zie figuur 3 voor een beschrijving van het uitbetalingsproces van begrotingssteun.

De verzoeken van partnerlanden zijn gebaseerd op gegevens van hun eigen systemen voor monitoring en evaluatie. Deze systemen zijn derhalve een belangrijke bron van informatie voor beslissingen over uitbetalingen. Landen hebben echter uiteenlopende capaciteiten en systemen voor het verzamelen, opslaan, analyseren en gebruiken van gegevens. De Commissie moet daarom voor de start van begrotingssteunmaatregelen de bestaande systemen beoordelen om te voorzien in prestatie-indicatoren die zullen worden gebruikt voor latere uitbetalingen van variabele tranches. De EU-delegaties moeten in het bijzonder bepalen of tekortkomingen in statistische systemen, de beschikbaarheid van gegevens en beleidsanalyses de geldigheid van de uitbetalingsverzoeken van landen aanzienlijk ondermijnen.

Voor de gecontroleerde overeenkomsten onderzochten we of de Commissie de betrouwbaarheid van de prestatiegegevens naar behoren had beoordeeld bij het selecteren van de prestatie-indicatoren voor de variabele tranches. We evalueerden daarnaast of de Commissie een grondige beoordeling had uitgevoerd van de uitbetalingsverzoeken voor variabele tranches en het uit te betalen bedrag correct had berekend.

De Commissie trok geen conclusies over de capaciteit van de landen om de gegevens te produceren die nodig waren voor indicatoren

De EU-delegaties worden gevraagd om een overzicht te verstrekken van de systemen voor monitoring en evaluatie van het partnerland (voor het land in het algemeen en voor de specifieke sector voor het prestatiecontract voor sectorale hervorming), waarbij zij beoordelen of het overheidsbeleid van het land in overeenstemming is met de EU-doelstellingen en of de institutionele capaciteit volstaat om het beleid uit te voeren. Bovendien vereisen de richtsnoeren dat de betrouwbaarheid en beschikbaarheid van de gegevens wordt geanalyseerd en dat de tekortkomingen in de statistische systemen worden beoordeeld voordat overeenkomsten inzake begrotingssteun worden opgesteld.

We analyseerden de beoordelingen van de Commissie aan de hand van criteria die werden vastgesteld door het Bureau voor de statistiek van de Europese Unie (Eurostat). Eurostat heeft een instrument, genaamd Snapshot, ontwikkeld om de EU-delegaties te helpen de sterke en zwakke punten van nationale statistische systemen in ontwikkelingslanden te beoordelen. We stelden vast dat de belangrijkste vereisten van dit instrument zijn opgenomen in de richtsnoeren inzake begrotingssteun van de Commissie. Snapshot is echter uitgebreider en voorziet in een gedetailleerde uitleg van de manier waarop bepaalde gebieden moeten worden gemeten⁸ die relevant zijn voor de beoordeling van de statistische systemen. Het personeel van de delegaties is over het algemeen niet bekend met dit instrument.

Uit onze evaluatie van de beoordeling door de Commissie van de systemen voor monitoring en evaluatie bleek dat de Commissie in de praktijk over het algemeen de in de richtsnoeren genoemde elementen beschrijft en beoordeelt, maar deze elementen zijn verspreid over verschillende documenten. De Commissie trok echter slechts in de vijf overeenkomsten met Jordanië expliciete conclusies over de betrouwbaarheid van de prestatiegegevens die nodig waren om de indicatoren voor de variabele tranches te berekenen⁹, hoewel in het merendeel van de overeenkomsten (18 van de 24) werd gewezen op bepaalde sectorspecifieke tekortkomingen. Het trekken van een conclusie over de betrouwbaarheid van de gegevens is belangrijk voor de selectie van indicatoren, de monitoring en de analyse voor de uitbetaling.

De Commissie verifieerde de betrouwbaarheid van de gegevens ter staving van de uitbetalingsverzoeken, maar niet altijd even grondig

De EU-delegaties moeten de uitbetalingsverzoeken analyseren die door partnerlanden worden voorgelegd (met inbegrip van de waarden van de hieraan gerelateerde prestatie-indicatoren) voordat de betaling in de variabele tranche wordt verricht. Wij troffen verschillende verificatieprocedures aan, waarvan sommige niet de noodzakelijke zekerheid boden om de daaropvolgende betalingen te rechtvaardigen.

Over het algemeen paste de Commissie drie verschillende soorten verificatieprocedures toe: i) controle van stukken en rekenkundige herberekening van de indicatorwaarden met gebruikmaking van de gegevens die door de partnerlanden werden verstrekt; ii) dezelfde methode, aangevuld met bezoeken ter plaatse om de betrouwbaarheid van de verstrekte gegevens te verifiëren, en iii) uitbesteding van de berekening van de prestatie-indicatoren of de verificatie van de gegevens die door het partnerland werden verstrekt aan externe deskundigen.

De ambtenaren van de EU-delegaties brachten voor 14 van de 24 gecontroleerde overeenkomsten bezoeken ter plaatse om de analyse aan te vullen en enkele van de verstrekte gegevens te verifiëren (zie tekstvak 9), en huurden voor 16 van de overeenkomsten, soms in aanvulling op hun eigen bezoeken ter plaatse, externe deskundigen in om de naleving van de voorwaarden voor de variabele tranches te analyseren. In de buurlanden werden systematisch deskundigen ingezet, terwijl de delegaties in de overige gecontroleerde landen slechts voor 5 van de 13 overeenkomsten gebruikmaakten van deskundigen.

In de richtsnoeren inzake begrotingssteun wordt aanbevolen deskundigen in te schakelen om te helpen bij verificaties waarbij ernstige twijfels bestaan over de kwaliteit van de verstrekte gegevens. Zonder duidelijke conclusies over de capaciteit van het partnerland om dergelijke gegevens te produceren (zie de paragrafen 39-41) is het echter moeilijk om te beslissen of dergelijke hulp van deskundigen echt nodig is. De gemiddelde kosten van verificatiemissies van deskundigen voor de gecontroleerde overeenkomsten beliepen ongeveer 110 000 EUR.

We constateerden dat de Commissie voor 6¹⁰ van de 24 geselecteerde overeenkomsten geen effectieve aanvullende controle uitvoerde van de gegevens die werden gebruikt als basis voor de uitbetaling van de variabele tranches. Dit was voornamelijk te wijten aan het feit dat de EU-delegaties volledig vertrouwden op de nauwkeurigheid van de prestatiegegevens die door de partnerlanden waren verstrekt of op de verificatiewerkzaamheden die namens de Commissie door externe deskundigen werden uitgevoerd, zonder verdere verificatie van de verstrekte gegevens. In deze gevallen is het voor de Commissie moeilijker om onbetrouwbare prestatiegegevens in de uitbetalingsverzoeken te identificeren, waardoor het risico op ongerechtvaardigde uitbetalingen in variabele tranches toeneemt. In tekstvak 10 wordt een voorbeeld gegeven van tekortkomingen in een externe evaluatie die niet werden opgespoord door de Commissie.

De uitbetalingen van sommige variabele tranches werden niet gerechtvaardigd door de van de partnerlanden afkomstige gegevens

Van alle doorgelichte uitbetalingen in variabele tranches ter waarde van 234 miljoen EUR wijken voor vijf van de acht landen de resultaten van onze beoordeling van het bewijs ter onderbouwing van de verwezenlijking van de indicatoren van de variabele tranche af van de resultaten die door de Commissie werden geaccepteerd; het gaat hierbij om 13,3 miljoen EUR. Bij één land (Pakistan) was er sprake van een afwijking van 19 % ten opzichte van de uitbetalingen in de variabele tranche. Bovendien stelden we vast dat de Commissie 3,4 miljoen EUR uitbetaalde aan twee landen op basis van indicatoren die verband hielden met onjuist vastgestelde referentiewaarden. Hoewel er een contractuele verplichting bestond om uit te betalen, aangezien de streefwaarde was behaald, werd op het met de indicator gemeten gebied geen werkelijke vooruitgang geboekt. In tabel 1 worden deze bedragen samengevat voor elk land dat werd bezocht.

Tabel 1 — Afwijkingen van de beoordelingen van de Commissie

Bron: ERK.

De belangrijkste problemen die we aantroffen, hielden verband met: i) streefdoelen die met vertraging na de vastgestelde uiterste termijn werden behaald; ii) metingen van resultaten op basis van onjuist vastgestelde referentiewaarden; iii) onjuist of ontoereikend verstrekt bewijs om de naleving van de indicatoren te bevestigen, en iv) totaal niet behaalde streefdoelen. In figuur 6 worden de soorten en het aandeel aangetroffen afwijkingen van de beoordelingen door de Commissie getoond.

Bron: ERK.

Een van de gevallen waarin naar onze mening het partnerland onjuist bewijs had verstrekt, wordt beschreven in tekstvak 11.

Bij vier overeenkomsten troffen we vijf gevallen van indicatoren¹¹ aan waarvan de streefdoelen werden behaald na de in de financieringsovereenkomsten vastgestelde uiterste termijn. Bovendien zijn we voor nog eens vijf indicatoren¹² van mening dat de partnerlanden de streefdoelen niet behaalden; de Commissie was echter van mening dat deze wel waren behaald. In tekstvak 12 worden voorbeelden gegeven van beide gevallen.

We troffen drie gevallen aan waarin de Commissie uitbetalingen had verricht in overeenstemming met de bepalingen van de financieringsovereenkomsten, aangezien de partnerlanden de overeengekomen streefdoelen hadden behaald. Vanwege het gebruik van onjuist vastgestelde referentiewaarden of streefwaarden was er echter geen sprake van werkelijke vooruitgang in de gesteunde sectoren. Tekstvak 13 bevat meer details over enkele van deze gevallen.

Naast de afwijkingen die in tabel 1 worden gekwantificeerd, konden we de juistheid van twee uitbetalingen in variabele tranches niet bevestigen vanwege het gebrek aan toereikend bewijs ter staving van de waarden die voor vijf indicatoren¹³ werden gemeld (zie de voorbeelden in tekstvak 14). Deze indicatoren waren goed voor een uitbetaald bedrag van 3,77 miljoen EUR.

Onvoldoende gedocumenteerde betalingen aan Moldavië

Hoewel dit niet rechtstreeks verband hield met de verificatie van de prestatie-indicatoren, constateerden we dat de Commissie drie variabele tranches had uitbetaald aan Moldavië, voor een totaalbedrag van 26,3 miljoen EUR, zonder de redenen voor deze betalingen voldoende te documenteren (zie tekstvak 15).

Conclusies en aanbevelingen

We onderzochten of de Commissie relevante en betrouwbare prestatiegegevens had gebruikt voor het uitbetalen van variabele tranches in het kader van de begrotingssteun. We concluderen dat voor een derde van de geëvalueerde prestatie-indicatoren gold dat het ontwerp ten koste ging van de relevantie ervan en dat hiermee de resultaten niet op objectieve wijze konden worden gemeten, wat de relevantie ervan ondermijnde. Bovendien waren de beoordelingen door de Commissie van de vraag of de indicatoren voor de variabele tranches waren behaald niet altijd betrouwbaar, wat leidde tot enkele onvoldoende gerechtvaardigde betalingen.

We stelden vast dat de prestatie-indicatoren voor de variabele tranches goed waren afgestemd op de sectorale ontwikkelingsstrategieën van de partnerlanden. De meeste hiervan waren echter gericht op kortetermijnmaatregelen in plaats van op resultaten op de langere termijn, waaronder vooruitgang ten aanzien van de duurzameontwikkelingsdoelstellingen. Slechts met 13 % van de 248 door ons gecontroleerde indicatoren werden de uitkomsten of de impact in de ondersteunde sectoren gemeten (zie de paragrafen 22-25). Gebruikmaking van uitkomstindicatoren zou de Commissie in staat stellen de resultaten op de langere termijn in de ondersteunde sectoren beter te meten, waaronder de vooruitgang in de richting van de duurzameontwikkelingsdoelstellingen.

De Commissie moet het aandeel variabele tranches dat wordt uitbetaald op basis van het behalen van uitkomstindicatoren uitbreiden.

Tijdpad: eind 2021.

Meer dan een derde van de indicatoren was onduidelijk gedefinieerd of had onjuiste of helemaal geen referentiewaarden. Hierdoor waren verschillende interpretaties mogelijk van de vraag of de streefdoelen waren behaald, waardoor de analyse van de uitbetalingsverzoeken complexer en minder objectief werd (zie de paragrafen 26-32).

De Commissie moet de regelingen voor kwaliteitscontrole verbeteren om ervoor te zorgen dat de prestatie-indicatoren van variabele tranches op objectieve wijze de resultaten meten die door partnerlanden zijn behaald. Bijzondere aandacht moet worden besteed aan:

1. de gebruikmaking van prestatie-indicatoren die specifiek zijn en niet op uiteenlopende wijze kunnen worden uitgelegd;
2. de gebruikmaking van referentiewaarden en streefdoelen.

Tijdpad: eind 2021.

Een belangrijke doelstelling van de variabele tranches van begrotingssteun is het zorgen voor stimulansen voor partnerlanden om vooruitgang te boeken ten aanzien van hun hervormingsagenda's. Het merendeel van de variabele tranches die werden gecontroleerd, bevatte indicatoren die het midden hielden tussen ambitie en haalbaarheid en wij zijn van mening dat deze zorgden voor het beoogde stimulerende effect. De enkele uitzonderingen die wij aantroffen, hadden – vaak door het gebruik van onjuiste referentiewaarden – betrekking op indicatoren met streefdoelen die eenvoudig konden worden behaald of die waren behaald door middel van werkzaamheden die door andere donoren of externe deskundigen waren verricht die door de EU werden betaald (zie de paragrafen 33 en 34).

De Commissie moet:

1. zo nodig de informatie met betrekking tot de referentiewaarde voorafgaand aan de ondertekening van de overeenkomst bijwerken of de referentiewaarden tijdens de uitvoering van de overeenkomst corrigeren door de overeenkomst inzake begrotingssteun te herzien;
2. situaties vermijden waarin het partnerland de streefdoelen hoofdzakelijk behaalt dankzij door de EU gefinancierde technische bijstand.

Tijdpad: eind 2021.

Het aantal indicatoren dat per variabele tranche werd gebruikt was vaak te hoog, hoger dan het aantal dat werd aanbevolen in de richtsnoeren van de Commissie. Dit maakte het uitbetalingsproces nog gecompliceerder (zie paragraaf 35).

De Commissie moet: afzien van het gebruik van subindicatoren om het werkelijke aantal indicatoren te beperken tot het in de richtsnoeren aangegeven maximum.

Tijdpad: eind 2021.

Uitbetalingsverzoeken voor variabele tranches bevatten prestatiegegevens die aantonen in hoeverre er is voldaan aan de overeengekomen voorwaarden en prestatie-indicatoren. Omdat de verzoeken worden opgesteld door de partnerlanden, is de betrouwbaarheid van de onderliggende prestatiegegevens afhankelijk van de capaciteit van deze landen om deze te produceren. We stelden vast dat de Commissie over het algemeen de capaciteit van de partnerlanden beoordeelde door de belangrijkste elementen van hun systemen voor monitoring en evaluatie te evalueren, zoals vereist op grond van haar richtsnoeren inzake begrotingssteun. De Commissie trok echter ten aanzien van slechts 5 van de 24 geselecteerde overeenkomsten conclusies wat betreft de vraag of de prestatiegegevens die nodig waren om de indicatoren van de variabele tranche te berekenen betrouwbaar waren (zie de paragrafen 36-41). Het trekken van een conclusie over de betrouwbaarheid van de gegevens is belangrijk voor de selectie van indicatoren, de monitoring en de analyse voor de uitbetaling.

Bij het opstellen van een maatregel voor begrotingssteun moet de Commissie de betrouwbaarheid beoordelen van de prestatiegegevens die moeten worden gebruikt als basis voor de uitbetaling van een variabele tranche. De beoordeling moet leiden tot een expliciete conclusie wat betreft de vraag of de systemen die worden gebruikt om deze gegevens te produceren voldoende betrouwbaar zijn, en kan worden gebaseerd op bestaande beoordelingen die door andere erkende organen zijn uitgevoerd.

Tijdpad: eind 2021.

We stelden vast dat de EU-delegaties verschillende verificatieprocedures uitvoerden bij de analyse van uitbetalingsverzoeken. In sommige gevallen brachten de EU-delegaties bezoeken ter plaatse om de gegevens te verifiëren die door de partnerlanden waren verstrekt, terwijl zij in andere gevallen volledig vertrouwden op deze gegevens, of op de externe evaluaties die namens de Commissie werden uitgevoerd door deskundigen, zonder verdere verificatiewerkzaamheden. Op deze manier wordt niet gezorgd voor de nodige zekerheid om de daaropvolgende uitbetaling van variabele tranches te rechtvaardigen (zie de paragrafen 42-46).

De Commissie moet:

1. het onderliggende bewijs evalueren ter onderbouwing van de prestatiegegevens die door de partnerlanden in het uitbetalingsverzoek worden verstrekt, tenzij zij reeds nadrukkelijk heeft geconcludeerd dat deze gegevens betrouwbaar zijn;
2. wanneer zij externe beoordelingen gebruikt, vereisen dat de verificatie van de betrouwbaarheid van de belangrijkste prestatiegegevens die door de partnerlanden worden verstrekt in de opdrachtomschrijving wordt vermeld. Voordat de variabele tranche wordt uitbetaald, moet worden geverifieerd of de deskundigen dit vereiste in acht hebben genomen.

Tijdpad: eind 2021.

Toen wij de beoordelingen door de Commissie van het behalen van de indicatoren opnieuw uitvoerden en de uitbetalingen van variabele tranches herberekenden, troffen wij afwijkingen aan van de door de Commissie uitbetaalde bedragen. Op basis van de beschikbare prestatie-informatie schatten wij dat we, van een totaal van 234 miljoen EUR aan gecontroleerde uitbetalingen in variabele tranches, afwijkingen met een totale waarde van 16,7 miljoen EUR aantroffen. Van dit bedrag was 13,3 miljoen EUR onvoldoende gerechtvaardigd of niet in overeenstemming met de bepalingen van de overeenkomst. Een bedrag van 3,4 miljoen EUR werd uitbetaald zonder dat er werkelijke vooruitgang was geboekt. Daarnaast werd 26,3 miljoen EUR voor drie variabele tranches aan Moldavië uitbetaald zonder dat de redenen voor deze betalingen voldoende waren gedocumenteerd (zie de paragrafen 47-53).

Dit verslag werd door kamer III, onder leiding van mevrouw Bettina JAKOBSEN, lid van de Rekenkamer, vastgesteld te Luxemburg op haar vergadering van 12 november 2019.

Voor de Rekenkamer

Klaus-Heiner LEHNE
President

Bijlagen

Bijlage I — Aandeel begrotingssteun in bilaterale ODA-verbintenissen

Bron: ERK, op basis van https://stats.oecd.org/.

Bijlage II — Gecontroleerde overeenkomsten

Bijlage III — Uitbetalingen van variabele tranches in 2017 voor overeenkomsten inzake sectorale hervormingen

Bron: ERK (landen die werden geselecteerd voor de controle zijn vetgedrukt).

Bijlage IV — Samenvatting beoordeling

OPMERKING: J: ja; N: nee; D: deels.

Controleteam

In de speciale verslagen van de ERK worden de resultaten van haar controles van EU-beleid en -programma's of beheerthema's met betrekking tot specifieke begrotingsterreinen uiteengezet. Bij haar selectie en opzet van deze controletaken zorgt de ERK ervoor dat deze een maximale impact hebben door rekening te houden met de risico's voor de doelmatigheid of de naleving, de omvang van de betrokken inkomsten of uitgaven, de verwachte ontwikkelingen en de politieke en publieke belangstelling.

Deze doelmatigheidscontrole werd verricht door controlekamer III “Externe maatregelen, veiligheid en justitie”, die onder leiding staat van ERK-lid Hannu Takkula, met ondersteuning van Turo Hentila, kabinetschef, en Helka Nykaenen, kabinetsattaché; Alejandro Ballester Gallardo, hoofdmanager; Piotr Zych, taakleider; Eva Coria Paramas, Roberto Ruiz Ruiz, Erika Söveges en Nita Tennila, controleurs. Richard Moore verleende taalkundige ondersteuning.

Van links naar rechts: Turo Hentila, Helka Nykaenen, Hannu Takkula, Alejandro Ballester Gallardo, Nita Tennila, Piotr Zych, Erika Söveges, Roberto Ruiz Ruiz.

Voetnoten

¹ Artikel 236, lid 1, van de financiële regels van toepassing op de algemene begroting van de Unie; juli 2018.

² Europese Commissie, Budget Support – Trends and Results, 2018, blz. 61.

³ Met uitzondering van Marokko, dat het onderwerp is van een Speciaal verslag van de ERK dat in 2020 zal worden gepubliceerd.

⁴ Richtsnoeren inzake begrotingssteun 2017, blz. 138.

⁵ Onze steekproef omvat 163 indicatoren met streefdoelen die geen referentiewaarde vereisen, omdat deze geen ontwikkeling van een bepaalde variabele meten (bijv. een goedgekeurde wet of het aantal gehouden vergaderingen). Deze indicatoren worden niet in aanmerking genomen bij deze beoordeling.

⁶ Richtsnoeren inzake begrotingssteun 2017, blz. 139.

⁷ Dit aantal omvat niet de indicatoren van tranches van voorgaande jaren.

⁸ Snapshot voorziet in analysemethoden voor de volgende belangrijke gebieden die noodzakelijk zijn voor de beoordeling van statistische systemen: i) de wettelijke, institutionele en strategische kaders voor de ondersteuning van de productie van statistieken en de monitoring op nationaal en sectoraal niveau; ii) de toereikendheid van de middelen (d.w.z. de kwantiteit en kwaliteit van de personele middelen, uitrusting, financiering); iii) de bepalende factoren voor de gegevenskwaliteit (d.w.z. kwaliteitsbewustzijn, professionele onafhankelijkheid, onpartijdigheid, objectiviteit, methodologie en passende procedures), en iv) relaties met gebruikers (d.w.z. relevantie, toegankelijkheid).

⁹ Overeenkomsten nrs. 1, 2, 3, 4 en 5.

¹⁰ Overeenkomsten nrs. 2, 5, 13, 14, 23 en 24.

¹¹ Indicator 2 van overeenkomst nr. 20, indicator 1.2 van overeenkomst nr. 6, indicator 5 van overeenkomst nr. 1 en indicatoren 2.1 en 2.2 van overeenkomst nr. 16.

¹² Indicatoren 5, 6 en 8 van overeenkomst nr. 23, indicator 6.2 van overeenkomst nr. 24 en indicator 1.7 van overeenkomst nr. 6.

¹³ Indicatoren 3 en 6 van overeenkomst nr. 22 en indicatoren 1.2 en 3 van overeenkomst nr. 5.

Tijdlijn

Contact

EUROPESE REKENKAMER
12, rue Alcide De Gasperi
L-1615 Luxemburg
LUXEMBURG

Tel. +352 4398-1
Inlichtingen: eca.europa.eu/nl/Pages/ContactForm.aspx
Website: eca.europa.eu
Twitter: @EUAuditors

Meer gegevens over de Europese Unie vindt u op internet via de Europaserver (http://europa.eu).

Luxemburg: Bureau voor publicaties van de Europese Unie, 2019

© Europese Unie, 2019.

Overname met bronvermelding toegestaan.
Voor gebruik of overname van foto's of andere materialen die niet onder het auteursrecht van Europese Unie vallen, moet u rechtstreeks toestemming vragen aan de houders van het desbetreffende auteursrecht.

Hoe neemt u contact op met de EU?

Kom langs
Er zijn honderden Europe Direct-informatiecentra overal in de Europese Unie. U vindt het adres van het dichtstbijzijnde informatiecentrum op: https://europa.eu/european-union/contact_nl

Bel of mail
Europe Direct is een dienst die uw vragen over de Europese Unie beantwoordt. U kunt met deze dienst contact opnemen door:

• te bellen naar het gratis nummer: 00 800 6 7 8 9 10 11 (bepaalde telecomaanbieders kunnen wel kosten in rekening brengen),
• te bellen naar het gewone nummer: +32 22999696, of
• een e-mail te sturen via: https://europa.eu/european-union/contact_nl

Waar vindt u informatie over de EU?

Online
Informatie over de Europese Unie in alle officiële talen van de EU is beschikbaar op de Europa-website op: https://europa.eu/european-union/index_nl

EU-publicaties
U kunt publicaties van de EU downloaden of bestellen op: https://op.europa.eu/nl/publications (sommige zijn gratis, andere niet). Als u meerdere exemplaren van gratis publicaties wenst, neem dan contact op met Europe Direct of uw plaatselijke informatiecentrum (zie https://europa.eu/european-union/contact_nl).

EU-wetgeving en aanverwante documenten
Toegang tot juridische informatie van de EU, waaronder alle EU-wetgeving sinds 1952 in alle officiële talen, krijgt u op EUR-Lex op: http://eur-lex.europa.eu

Open data van de EU
Het opendataportaal van de EU (http://data.europa.eu/euodp/nl) biedt toegang tot datasets uit de EU. Deze gegevens kunnen gratis worden gedownload en hergebruikt, zowel voor commerciële als voor niet-commerciële doeleinden.