Selectie en monitoring van EFRO- en ESF-projecten zijn in de periode 2014-2020 nog steeds hoofdzakelijk outputgericht

Samenvatting

I

In het kader van de programmeringsperiode 2014-2020 heeft de EU bijna 349,4 miljard EUR toegewezen voor het behalen van de doelstellingen van het cohesiebeleid. Dit beleid is erop gericht het scheppen van arbeidsplaatsen, het concurrentievermogen van ondernemingen, de economische groei, duurzame ontwikkeling en de verbetering van de levenskwaliteit te ondersteunen. Om deze doelstellingen te behalen, worden middelen toegewezen aan projecten die door begunstigden in de lidstaten worden uitgevoerd. De autoriteiten in de lidstaten selecteren projecten die moeten worden gefinancierd en monitoren de uitvoering hiervan. Het is van cruciaal belang dat deze middelen op doeltreffende wijze worden toegewezen, dat wil zeggen op basis van het behalen van de beoogde resultaten.

II

Om deze doelstelling te ondersteunen, heeft de Commissie diverse maatregelen uitgevoerd die gericht waren op een grotere nadruk op de resultaten in de periode 2014-2020. In eerdere verslagen verwelkomden we de verbeteringen waartoe deze maatregelen hadden geleid. Wij wezen echter ook op ernstige tekortkomingen ten aanzien van de doeltreffendheid van deze maatregelen en de kwaliteit van de monitoringgegevens in verband met de uitgaven voor het cohesiebeleid. Deze eerdere bevindingen worden in dit verslag geconsolideerd en verder uitgewerkt.

III

We onderzochten in hoeverre de nadruk op de resultaten is verankerd in de wijze waarop projecten worden geselecteerd en in hoeverre de Commissie en de lidstaten kunnen aantonen dat de EU-begroting goed wordt besteed. Met het oog hierop hebben we de selectie- en monitoringregelingen voor projecten onderzocht waarvoor middelen uit het Cohesiefonds worden gebruikt.

IV

We concluderen dat bij het ontwerp van de selectieprocedures en de processen zelf, ondanks het al lang bestaande voornemen, nog steeds de nadruk wordt gelegd op de output en absorptie en niet op de resultaten. Bovendien was het vanwege tekortkomingen in de monitoringregelingen onmogelijk om te beoordelen in hoeverre de EU-middelen hebben bijgedragen tot de verwezenlijking van de doelstellingen van de EU en de lidstaten. Meer specifiek deden we ten aanzien van de OP's waarop onze bezoeken betrekking hadden, de onderstaande bevindingen:

• Bij de selectie van projecten werden potentiële begunstigden werden goed geïnformeerd en voorzien van passende ondersteuning om toegang te krijgen tot EU-middelen. De procedures die wij onderzochten, waren ontworpen om de selectie van projecten te bevorderen die relevant waren voor de doelstellingen van de OP's, maar de selectiecriteria vereisten zelden dat aanvragers gekwantificeerde resultaatindicatoren op projectniveau vaststelden. Bovendien werden de meeste projecten geselecteerd op basis van het beginsel “wie het eerst komt, het eerst maalt”. In slechts één selectieprocedure werd een score toegekend aan aanvragen en werden deze scores met elkaar vergeleken.
• Wat monitoring betreft, stelden we vast dat monitoringsystemen slechts in een later stadium operationeel waren geworden, voornamelijk vanwege vertragingen bij het vaststellen van het wetgevingskader. Sommige IT-systemen voor het verzamelen en samenvoegen van monitoringgegevens vertonen nog steeds gebreken. De trage vooruitgang bij de controles van de respectievelijke monitoringsystemen bracht bovendien het risico met zich mee dat er nu misschien niet voldoende tijd is om de noodzakelijke corrigerende maatregelen te nemen vóór de evaluatie van de prestaties in 2019.
• De monitoringgegevens blijven grotendeels gericht op de output. In het belangrijkste verslag van de Commissie voor het meten van de resultaten wordt de voortgang ten aanzien van de belangrijkste outputindicatoren naast het gebruik van de middelen gepresenteerd. Het bevat echter slechts beperkte informatie over de verwezenlijking van resultaten.

V

Daarom bevelen wij het volgende aan:

• Met het oog op de waarborging van een consistente en daadwerkelijk resultaatgerichte aanpak van de selectie van projecten moeten lidstaten ervoor zorgen dat een vergelijking van de projectaanvragen plaatsvindt, begunstigden verplichten ten minste één echte resultaatindicator voor elk project vast te stellen en een beoordeling van de verwachte resultaten en indicatoren uitvoeren in het beoordelingsverslag voor de aanvragen.
• Met het oog op de waarborging van resultaatgerichte monitoring moeten de lidstaten een of meer echte en gekwantificeerde resultaatindicatoren opnemen in de subsidieovereenkomst die bijdragen tot het behalen van de resultaatindicatoren die op OP-niveau zijn vastgesteld, en moet de Commissie gemeenschappelijke resultaatindicatoren vaststellen voor het EFRO, op basis van een gemeenschappelijke definitie van “resultaten”.
• De Commissie moet de verslaglegging over de prestaties verbeteren en ervoor zorgen dat er in 2019 een zinvolle evaluatie van de prestaties plaatsvindt.

Inleiding

Het cohesiebeleid is het belangrijkste investeringsbeleid van de EU

01

Het cohesiebeleid is het belangrijkste investeringsbeleid van de EU. Het is erop gericht het scheppen van arbeidsplaatsen, het concurrentievermogen van ondernemingen, de economische groei, duurzame ontwikkeling en de verbetering van de levenskwaliteit te ondersteunen. Ongeveer een derde van de EU-begroting is bestemd voor het cohesiebeleid. In lopende prijzen bedroegen deze middelen ongeveer 230 miljard EUR in de programmeringsperiode 2000-2006, 346,5 miljard EUR in de periode 2007-2013 en 349,4 miljard EUR in de periode 2014-2020.

02

Het cohesiebeleid wordt uitgevoerd via het Europees Fonds voor regionale ontwikkeling (EFRO), het Europees Sociaal Fonds (ESF) en het Cohesiefonds (CF). Samen met het Europees Landbouwfonds voor plattelandsontwikkeling (Elfpo) en het Europees Fonds voor maritieme zaken en visserij (EFMZV) vormen deze fondsen de Europese structuur- en investeringsfondsen (ESIF). Deze fondsen worden ten uitvoer gelegd via operationele programma’s (OP's), waarin investeringsprioriteiten en specifieke doelstellingen uiteen worden gezet¹. Hierin wordt ook beschreven hoe de middelen tijdens de programmeringsperiode zullen worden gebruikt om projecten te financieren. De OP's worden uitgevoerd door de lidstaten en hun regio's. Dit betekent dat de lidstaten en hun regio's projecten selecteren, monitoren en evalueren.

Prestatiegerichtheid is een belangrijke prioriteit voor de Commissie en de lidstaten tijdens de periode 2014-2020

03

De Europa 2020-strategie is de tienjarige banen- en groeistrategie van de EU. Deze strategie ging in 2010 van start en moest de voorwaarden scheppen voor slimme, duurzame en inclusieve groei. Om de doelstellingen en streefdoelen van de Europa 2020-strategie te behalen, wees de Commissie in 2010 op de noodzaak om de doeltreffendheid van het cohesiebeleid te verbeteren door de nadruk te leggen op de resultaten².

04

In het wetgevingspakket voor het cohesiebeleid in de programmeringsperiode 2014-2020 werden daarom belangrijke wijzigingen ingevoerd die bedoeld waren om meer nadruk te leggen op de prestaties³. Dit zijn de voornaamste maatregelen:

• de invoering van ex-antevoorwaarden (EAC's)⁴ volgens welke de lidstaten voor eind 2016 moesten voldoen aan bepaalde voorwaarden voor het doeltreffende gebruik van de ESI-fondsen (bijv. het bestaan van beleids-/strategische kaders). Eén van deze voorwaarden, de algemene ex-antevoorwaarde nr. 7⁵ vereist “het bestaan van een systeem van resultaatindicatoren voor het selecteren van acties die het best bijdragen aan de gewenste resultaten, om toezicht te houden op de voortgang”;
• de invoering van een prestatiereserve, waarbij een deel van de aan OP's toegewezen EU-financiering slechts wordt vrijgegeven wanneer een subcategorie van indicatoren (voornamelijk uitgaven-/outputindicatoren) voldoet aan vooraf vastgestelde mijlpalen. De vrijgave van deze reserve in 2019 zal worden gebaseerd op een evaluatie van de prestaties die in 2019 wordt uitgevoerd⁶;
• een verstrekte interventielogica tijdens de programmering⁷ op grond waarvan lidstaten hun behoeften moeten beoordelen en zich moeten verbinden tot een reeks resultaten voordat zij nadenken over de vraag waar en hoe zij de cohesiemiddelen willen besteden;
• een samenhangender gebruik van prestatie-indicatoren om de geboekte vooruitgang in de richting van de verwezenlijking van de resultaten te meten⁸.

Het belang van de selectie en monitoring van projecten voor het behalen van resultaten

05

In 2017 concludeerden we⁹ dat de Commissie en de lidstaten erin waren geslaagd om OP's te ontwikkelen met een robuustere interventielogica. Dit betekent dat de doelen van de maatregelen (specifieke doelstellingen/resultaten) en de manier waarop deze zouden worden behaald (nodige middelen, uit te voeren acties en verwachte output) op consistente wijze waren uiteengezet in de OP's.

06

Voor de doeltreffendheid van beleid is het echter niet alleen van belang om duidelijke doelstellingen vast te stellen en resultaten in aanmerking te nemen tijdens de programmering. Het is cruciaal dat tijdens de uitvoering van het OP een resultaatgerichte aanpak wordt gevolgd, aangezien vooral de kwaliteit van de gefinancierde projecten en de toegevoegde waarde ervan wat tastbare resultaten betreft de doeltreffendheid van een beleidsmaatregel bepalen. De selectie en monitoring van en de verslaglegging over projecten is daarom essentieel voor het behalen van resultaten. Een overzicht van uitvoeringscyclus van een OP en de betrokken instanties is te vinden in figuur 1. De processen die relevant zijn voor onze controle, zijn geel gemarkeerd.

Belangrijkste deelnemers en hun rol in de selectie en monitoring van projecten

07

Projecten worden geselecteerd door de nationale en regionale autoriteiten die verantwoordelijk zijn voor het beheer van de OP's. Deze beheersautoriteiten (BA's) of intermediaire instanties (II's) waaraan zij bevoegdheden delegeren, stellen selectiecriteria vast, stellen selectiecomités in en besluiten welke projecten Europese financiering ontvangen. De Commissie is niet betrokken bij de selectie van projecten. Dit staat in contrast met haar zeer belangrijke rol in de onderhandelingen over de OP’s. De Commissie is echter wel betrokken via haar adviesrol in de toezichtcomités¹⁰ voor de OP’s, die de methodologie en criteria voor de selectie van projecten goedkeuren. Zij verstrekt bovendien richtsnoeren, op basis van beste praktijken en gedeelde ervaringen met de lidstaten.

08

De lidstaten zijn verantwoordelijk voor de monitoring van projecten. De beheersautoriteiten monitoren de uitvoering van OP's en projecten, voegen monitoringgegevens samen en dienen jaarlijkse uitvoeringsverslagen (JUV's) in bij de Commissie. Het toezichtcomité evalueert ook de uitvoering van de OP's en keurt de JUV's goed. Ook hier is de rol van de Commissie beperkt tot het verstrekken van richtsnoeren, het onderzoeken van de prestaties van OP's samen met de BA's en het maken van opmerkingen over de JUV's.

09

In haar rapporterende rol dient de Commissie niettemin haar jaarlijkse synthese van de JUV's van de lidstaten en de strategische verslagen (in 2017 en 2019) in bij de kwijtingsautoriteit (het Europees Parlement), het Europees Economisch en Sociaal Comité en het Comité van de Regio's¹¹.

Reikwijdte en aanpak van de controle

10

Met deze controle wilden wij de vraag beantwoorden of de selectie van projecten en de monitoringsystemen voor projecten in het kader van het EFRO en het ESF in de programmeringsperiode 2014-2020 resultaatgericht waren. Gezien de mate van uitvoering van de OP's en voortbouwend op de reeds uitgevoerde controles, konden wij, nu de eerste resultaten beschikbaar worden, in het kader van deze controle voor het eerst de resultaatgerichte aanpak gedurende de gehele uitvoeringsfase volgen. De controle is ook van groot belang voor de evaluatie van de prestaties die voor 2019 is gepland.

11

In het eerste deel doen we verslag van onze analyse van selectieprocedures voor de gecontroleerde OP's. We beoordelen het ontwerp van deze selectieprocedures, en met name de vaststelling van de selectiecriteria en de resultaatgerichtheid hiervan, evenals de fase van evaluatie van de aanvragen. In het tweede deel onderzoeken wij de beheers- en controlesystemen en de monitoring door de BA's/II's tot nu toe van de OP's waarop onze bezoeken betrekking hadden met het oog op de meting van de operationele prestaties op programma- en nationaal niveau. We evalueren de betrouwbaarheid van gegevens, de beschikbaarheid hiervan en de capaciteit om relevante informatie te verschaffen voor het beheer en voor de verslaglegging aan de Commissie.

12

In totaal onderzochten we 34 projecten (zie de lijst van projecten in bijlage I). We richtten ons op het EFRO en het ESF en, meer specifiek, op drie thematische doelstellingen (TD's)¹² (zie bijlage II voor een beschrijving van de elf thematische doelstellingen):

• TD3, verbetering van het concurrentievermogen van kmo's (16 projecten);
• TD8, bevordering van duurzame en kwalitatief hoogstaande werkgelegenheid en ondersteuning van arbeidsmobiliteit (12 projecten), en
• TD9, bevordering van sociale inclusie en bestrijding van armoede en discriminatie (6 projecten).

13

We bekeken projecten die rechtstreeks door de BA (of de intermediaire instantie) werden geselecteerd aan de hand van twintig selectieprocedures (zie de lijst in bijlage III), van zeven OP's in vier lidstaten: de Tsjechische Republiek, Frankrijk, Italië en Finland (zie de lijst in bijlage IV). Deze OP's en lidstaten werden geselecteerd op basis van de omvang van de toegewezen middelen en de fase van uitvoering van de projecten. We selecteerden de projecten op basis van de hoogte van de ontvangen subsidie en de mate van voortgang ervan op het moment van de controle. De prioritaire as, investeringsprioriteiten en specifieke doelstellingen waarmee de geselecteerde projecten verband houden, zijn opgenomen in de lijst in bijlage V. De gerelateerde output- en resultaatindicatoren zijn opgenomen in bijlage VI, voor het EFRO, en bijlage VII, voor het ESF.

14

We evalueerden ook de door de Commissie genomen maatregelen in verband met de selectie van projecten en de monitoring van operationele programma's voor het ESF en het EFRO in het algemeen.

Opmerkingen

De selectie van projecten is onvoldoende resultaatgericht

15

Bij de selectieprocedures die door de beheersautoriteiten zijn ingesteld, moet prioriteit worden gegeven aan de selectie van projecten die het relevantst zijn voor de nagestreefde doelstellingen en die de grootste waarschijnlijkheid bieden dat resultaten zullen worden geboekt, en moeten waarborgen dat de beschikbare middelen in overeenstemming met de regels worden besteed. We controleerden de mate waarin resultaten werden weerspiegeld in het ontwerp van de selectieprocedures (bijv. de gebruikte selectiecriteria voor het beoordelen van een aanvraag, de gebruikte methode voor het beoordelen van projecten en de beschikbare documentatie voor potentiële inschrijvers), evenals in de uitvoering van de selectieprocedures en daarmee in de geselecteerde projecten.

16

Uit eerdere controlewerkzaamheden van de Rekenkamer¹³ bleek dat de Commissie en de lidstaten erin waren geslaagd OP's te ontwikkelen met een robuustere interventielogica, d.w.z. met een duidelijk verband tussen ontwikkelingsbehoeften, specifieke doelstellingen en resultaatindicatoren. Deze interventielogica zou tot uiting moeten komen in de selectieprocedures voor projecten. We zijn van mening dat BA's rekening moeten houden met een aantal belangrijke criteria bij het ontwerpen van procedures, om ervoor te zorgen dat deze resultaatgericht zijn:

• De toegepaste selectiecriteria moeten waarborgen dat de projecten zijn afgestemd op OP-doelstellingen.
• De selectiecriteria moeten ertoe bijdragen dat projecten worden geselecteerd die niet alleen beschikken over gekwantificeerde outputindicatoren, maar ook over gekwantificeerde resultaatindicatoren om de prestaties van projecten te meten.
• Begunstigden moeten worden aangemoedigd om aanvragen in te dienen om ervoor te zorgen dat uit een groot aantal projecten kan worden gekozen.
• Tot slot moet de selectie van projecten gebaseerd zijn op een rechtstreekse vergelijking van aanvragen om de projecten te identificeren en prioriteren die het meest geschikt zijn voor financiering.

17

De mate waarin BA's deze variabelen toepasten bij de verwerking van ontvangen aanvragen en de manier waarop zij de selectie van resultaatgerichte projecten beïnvloedden, wordt in de volgende paragrafen beschreven (zie de paragrafen 18-38).

De selectieprocedures ondersteunen de selectie van projecten die relevant zijn voor de doelstellingen van OP's

18

In het wetgevingskader voor de programmeringsperiode 2014-2020 werden twee maatregelen ingevoerd die waren ontworpen om te zorgen voor de selectie van projecten die relevant zijn voor de doelstellingen van OP's:

• In OP's moeten “leidende beginselen” uiteen worden gezet voor de selectie van projecten voor elke prioritaire as¹⁴.
• BA's moeten selectieprocedures en -criteria zo ontwerpen dat deze “ervoor zorgen dat concrete acties bijdragen tot het verwezenlijken van de specifieke doelstellingen en resultaten van de desbetreffende prioriteit”¹⁵.

19

Daarnaast werden ook de volgende vereisten ingevoerd voor de periode 2014-2020 om te zorgen voor de selectie van resultaatgerichtere projecten:

• In het kader van de algemene ex-antevoorwaarde nr. 7 (zie ook paragraaf 4) moet “een systeem van resultaatindicatoren voor het selecteren van acties die het best bijdragen aan de gewenste resultaten” zijn ingesteld.
• BA's moeten selectieprocedures en criteria zo ontwerpen dat deze “ervoor zorgen dat concrete acties bijdragen tot het verwezenlijken van de […] resultaten van de desbetreffende prioriteit”¹⁶.

20

De “leidende beginselen” dienen als richtsnoer voor de selectie van projecten en zetten de belangrijkste selectiecriteria uiteen die moeten worden gebruikt. In combinatie met de beschrijving van de projecten waaraan middelen moeten worden toegewezen, waarbij voorbeelden van dergelijke projecten worden gegeven, en begunstigden, bieden deze een goed overzicht van het soort projecten dat in het kader van elke specifieke doelstelling moet worden gefinancierd. Deze beginselen worden gebruikt als basis voor het opstellen van de selectiecriteria en in de selectiecriteria kan rechtstreeks naar deze beginselen worden verwezen.

21

We stelden vast dat de beginselen in sommige gevallen van algemene aard waren, maar in alle beginselen werd erop gewezen dat geselecteerde projecten in overeenstemming moeten zijn met de specifieke doelstellingen van het OP, zoals beschreven in het kader van elke prioritaire as. De selectiecriteria voor de door ons onderzochte selectieprocedures strookten met de leidende beginselen. Elke procedure bevatte ten minste één criterium met betrekking tot de relevantie van projecten en de bijdrage ervan aan de specifieke doelstelling.

22

Over het algemeen werden de geselecteerde aanvragen die wij onderzochten, beoordeeld aan de hand van de in de selectieprocedure vastgestelde criteria. We stelden vast dat de 34 projecten die wij voor deze controle onderzochten relevant waren voor de specifieke doelstellingen van het OP.

Er lag weinig nadruk op resultaten bij de beoordeling van projectaanvragen en het ging zelden om gekwantificeerde resultaten

23

We onderzochten hoe de BA's projecten in de praktijk selecteerden, en met name de aanwezigheid van duidelijke verwachte resultaten en doelstellingen in het projectvoorstel in combinatie met duidelijk omschreven en gekwantificeerde output- en resultaatindicatoren (die verband hielden met de specifieke doelstellingen). We beoordeelden ook of de BA's hadden beoordeeld of aanvragers in staat waren de verwachte resultaten te behalen.

24

We constateerden dat achttien van de twintig door ons onderzochte selectieprocedures criteria bevatten die vereisten dat begunstigden de verwachte resultaten van hun projecten beschreven (zie bijlage VIII). Slechts vier van de twintig procedures bevatten echter criteria die de kwantificering van resultaatindicatoren op projectniveau vereisten (selectieprocedures 17, 18, 19 en 20). In drie gevallen kwamen deze resultaatindicatoren niet rechtstreeks overeen met de op OP-niveau vastgestelde resultaatindicatoren (zie het voorbeeld in tekstvak 1).

25

Onze evaluatie van de 34 aanvragen van geselecteerde projecten bevestigt deze bevindingen. Alle aanvragen verschaften gekwantificeerde informatie voor outputindicatoren die overeenkwamen met de outputindicatoren op OP-niveau of dergelijke gegevens konden rechtstreeks uit het IT-systeem worden verkregen (bijvoorbeeld voor indicatoren zoals het aantal bedrijven dat steun ontvangt). Slechts in 14 aanvragen werd echter kwantitatieve informatie gegeven over indicatoren voor de verwachte resultaten. Bij zes hiervan sloten de resultaatindicatoren niet rechtstreeks aan op de OP-indicatoren. De overige aanvragen boden voornamelijk een beschrijving (zie figuur 2 en bijlage VIII).

26

Wat de beoordeling van de aanvragen betreft, constateerden we dat de BA's de algemene haalbaarheid en waarschijnlijkheid van welslagen van de projecten hadden beoordeeld. Hoewel de haalbaarheid van de verwachte resultaten voor alle achttien EFRO-projecten werd beoordeeld, werd deze beoordeling echter voor slechts twee van de zestien ESF-projecten die wij onderzochten, uitgevoerd. We constateerden bovendien dat de beoordeling van de haalbaarheid in de beoordelingsverslagen vaag bleef, met uitzondering van zeven gevallen¹⁷ waarin een gedetailleerdere beschrijving was opgenomen van de relevantie van de indicatoren en de waarschijnlijkheid dat de streefdoelen zouden worden behaald.

27

Wat het toekennen van een score aan de aanvragen betreft, constateerden we dat het behalen van de verwachte resultaten in slechts elf gevallen werd meegeteld. Dit duidt erop dat de BA's, zolang de beoogde projecten in overeenstemming waren met het soort maatregelen dat in de selectieprocedure uiteen was gezet, aannamen dat de projecten zouden bijdragen tot de doelstellingen van het OP. Ze richtten zich echter niet op de omvang van deze bijdrage.

Begunstigden werden aangemoedigd om financiering aan te vragen

28

Om de tijdige absorptie gedurende de gehele programmeringsperiode te waarborgen en tegelijkertijd te zorgen voor een nadruk op de resultaten, is het noodzakelijk dat er voldoende inschrijvers zijn die goede aanvragen kunnen indienen. Het onder de aandacht brengen van een oproep en hieraan gerelateerde richtsnoeren bij potentiële aanvragers door BA's is een belangrijke variabele voor de algehele doeltreffendheid van de selectieprocedures. Als de populatie aanvragers groter is, zorgt dat er waarschijnlijk voor dat betere projecten worden geselecteerd.

29

De maatregelen gericht op het onder de aandacht brengen van oproepen onder potentiële inschrijvers werden opgesteld door de BA's, op basis van de in de EU-verordening vastgestelde gedetailleerde vereisten. Ze werden vervolgens ter goedkeuring ingediend bij de toezichtcomités, als onderdeel van de op grond van de verordening vereiste¹⁸ communicatiestrategie van het OP.

30

We constateerden dat BA's begunstigden hadden aangemoedigd om deel te nemen aan de selectieprocedures. De BA's gebruikten ten eerste verschillende bronnen om een oproep onder de aandacht te brengen bij potentiële inschrijvers. Dit omvatte de betrokkenheid van de kamers van koophandel, lokale ondernemersorganisaties en online instrumenten. BA's vertrouwden bovendien op partners om de informatie over komende oproepen te verspreiden in hun netwerken, op basis van de kennis die zij in de toezichtcomités hadden verworven.

31

Daarnaast was het advies over financiering dat door BA's aan aanvragers werd verleend openbaar beschikbaar en stelden BA's, met uitzondering van één BA ten tijde van de controle, hierin duidelijke voorwaarden vast voor het ontvangen van steun, verstrekten zij gedetailleerde informatie over de aanvraagprocedure en financieringsregelingen en verwezen zij expliciet naar de selectiecriteria die moesten worden toegepast.

Bij de selectieprocedures werd doorgaans geen vergelijking gemaakt tussen projectaanvragen, wat het risico met zich meebracht dat de beste projecten niet werden geselecteerd

32

In het kader van onze evaluatie van de procedures controleerden we of de voor financiering ingediende projecten met elkaar werden vergeleken. Ook dit is een belangrijke maatregel om ervoor te zorgen dat de meest resultaatgerichte projecten worden geselecteerd.

33

In het kader van gedeeld beheer werden de selectieprocedures door de BA's opgesteld en door de toezichtcomités goedgekeurd, op basis van de vereisten van de EU-verordeningen¹⁹ en de richtsnoeren van de Commissie²⁰. Noch in de verordeningen inzake de ESI-fondsen, noch in enige richtsnoeren van de Commissie wordt het soort selectieprocedure gespecificeerd dat moet worden gebruikt. Dit wordt overgelaten aan de BA's.

34

Van de twintig door ons onderzochte procedures waren er tien tijdelijke oproepen tot het indienen van voorstellen, zes permanente oproepen, drie procedures voor onderhandse gunning en één een herhaalde oproep (zie ook de details in bijlage III). We constateerden dat in alle selectieprocedures op één na (IT, OP Piemonte, nr. 13) geen vergelijking had plaatsgevonden tussen de projectaanvragen. Als gevolg hiervan kan het zijn dat de middelen niet werden toegewezen aan de beste projecten. Bij sommige van de OP's waarop onze bezoeken betrekking hadden en in het kader waarvan een informele (Franse en Finse OP's) of een formele (Italië, Puglia) voorselectie had plaatsgevonden, werd dit in zekere mate verzacht, omdat de BA's de indiening van de aanvragen konden beperken tot de meest geschikte projecten. We constateerden het volgende:

• Vijftien van de twintig procedures waren gebaseerd op het beginsel “wie het eerst komt, het eerst maalt”, waarbij een aanvraag werd geselecteerd op voorwaarde dat deze voldeed aan de criteria en dat voldoende middelen beschikbaar waren. Bij dertien van deze projecten had een formele of informele voorselectie plaatsgevonden. We stelden vast dat bij sommige procedures een minimumscore moest worden behaald om voor selectie in aanmerking te komen (zie selectieprocedures nrs. 4 en 5 voor het Tsjechische OPEIC en nrs. 16, 17, 18, 19 en 20 voor het Finse OP).
• Bij de drie onderhandse gunningen was per definitie geen sprake van concurrentie (zie selectieprocedures nrs. 1, 3 en 12).
• In één geval (Italië, OP Piemonte, selectieprocedure nr. 8)²¹ werden middelen toegewezen aan projecten die reeds tijdens de voorgaande programmeringsperiode 2007-2013 waren geselecteerd door eenvoudigweg de looptijd hiervan te verlengen. Zo kon de II onderbrekingen van het opleidingenaanbod voor jongeren voorkomen en kon worden begonnen met de absorptie van de middelen. Het ontnam echter ook potentiële nieuwe aanvragers de mogelijkheid om deel te nemen.

De kwaliteit van de monitoringgegevens is in gevaar en deze zijn voornamelijk gericht op output

35

We controleerden of de monitoringsystemen de systematische verzameling van gegevens over gespecificeerde indicatoren en daarmee de meting van de voortgang op project-, programma- en EU-niveau mogelijk maakten. We onderzochten bovendien of hierover op zodanige wijze verslag was gedaan dat het mogelijk was om het welslagen van de gefinancierde projecten en daarmee het doeltreffende en doelmatige gebruik van de EU-begroting aan te tonen.

36

Het volgende deel bevat onze beoordeling van de noodzakelijke voorwaarden voor de monitoring van en de verslaglegging over het behalen van de doelstellingen. We controleerden eerst of de BA's werkende monitoringsystemen hadden ingesteld voordat zij bedragen uitkeerden. We beoordeelden ook of de door de begunstigden verschafte informatie over de prestaties betrouwbaar, volledig en tijdig was. We controleerden daarnaast de rol van de BA's en de Commissie.

37

Tot slot keken we of de huidige systemen resultaatgerichte informatie over de prestaties opleverden en, meer specifiek, of zij nuttige geaggregeerde informatie opleverden, aangezien dit belangrijk is om de verslaglegging over het doeltreffende gebruik van middelen op het niveau van de lidstaten en de EU mogelijk te maken door middel van jaarlijkse monitoring en verslaglegging.

Zekerheid over de kwaliteit van de monitoringgegevens kan misschien niet op tijd voor de evaluatie van de prestaties van 2019 worden geboden

38

De monitoring van de voortgang van een OP in de richting van de doelstellingen hiervan vindt plaats op basis van uit verschillende bronnen verzamelde gegevens. Deze gegevens worden op het niveau van het OP en de lidstaten samengevoegd en vormen de basis voor de verslagen die worden verstuurd aan de toezichtcomités van de OP's en de Commissie. Om een juist overzicht van de situatie te bieden op het niveau van het OP of een lidstaat, is het cruciaal dat de verzamelde gegevens betrouwbaar, volledig en tijdig zijn. Om hiervoor te zorgen, moeten de BA's een monitoringsysteem opzetten dat de verzameling van gegevens en controles van de bronnen van de gegevens omvat. Om zekerheid ten aanzien van de kwaliteit van de gegevens te verkrijgen, vertrouwt de Commissie op de door de auditautoriteiten op het niveau van de lidstaat uitgevoerde controles, evenals op haar eigen controlewerkzaamheden.

39

In de specifieke context van de evaluatie van de prestaties is het ook belangrijk dat de gegevens, en de systemen waarmee deze worden voortgebracht, zo vroeg mogelijk worden gecontroleerd, om de autoriteiten van de lidstaten in staat te stellen eventuele vastgestelde tekortkomingen ten aanzien van de gegevenskwaliteit ruim voor eind juni 2019 aan te pakken. Dat is het moment waarop de jaarlijkse uitvoeringsverslagen (JUV's) voor 2018 – die de basis vormen voor de evaluatie van de prestaties en de toewijzing van de prestatiereserve – aan de Commissie zullen worden gestuurd.

In uitgebreide EU-regels is vastgelegd hoe de lidstaten hun monitoringsystemen voor de periode 2014-2020 moeten opzetten

40

Met het oog op de systematische verzameling en monitoring van de gegevens die op OP-niveau worden geproduceerd, werden in het regelgevend kader voor de programmeringsperiode 2014-2020 enkele veranderingen ingevoerd ten aanzien van de regelingen voor gegevensverzameling en monitoring:

• BA's moeten een beheers- en controlesysteem (MCS) instellen dat voorziet in passende systemen voor verslaglegging en monitoring²².
• BA's zijn verantwoordelijk voor het opzetten van een computersysteem voor het opslaan van alle gegevens die verband houden met de OP-indicatoren²³ voor monitoring- en verslagleggingsdoeleinden.
• In het kader van EAC 7 moeten BA's “een systeem [instellen] van resultaatindicatoren voor het selecteren van acties die het best bijdragen aan de gewenste resultaten, om toezicht te houden op de voortgang”²⁴. Er moest worden aangetoond dat de OP's uiterlijk op 31 december 2016 voldeden aan alle ex-antevoorwaarden (EAC's)²⁵ (zie paragraaf 4).
• De lidstaten moesten er vóór 31 december 2015²⁶ voor zorgen dat de uitwisseling van informatie tussen begunstigden en BA's, certificerende instanties (CI's), AA's en II's in alle gevallen elektronisch kon plaatsvinden²⁷.

41

De Commissie heeft ook specifieke richtsnoeren²⁸ vastgesteld voor haar personeel en de verantwoordelijke autoriteiten van de lidstaten over een gemeenschappelijke methode voor de beoordeling van beheers- en controlesystemen in de lidstaten, met inbegrip van het bestaan van passende systemen voor monitoring en verslaglegging.

Informatie over de prestaties is niet altijd betrouwbaar, volledig en tijdig, wat gevolgen heeft voor de door de lidstaten uitgebrachte uitvoeringsverslagen

Door de begunstigden verstrekte gegevens

42

Voor het EFRO worden de gegevens voor resultaatindicatoren in veel gevallen verzameld bij nationale instanties voor statistiek (zie voorbeelden in bijlage VI). De overige gegevens zijn afkomstig van de begunstigden. Voor het ESF worden de meeste gegevens gerapporteerd op basis van bij begunstigden verzamelde gegevens (zie bijlage VII). De beheersautoriteiten controleren of de van begunstigden verkregen gegevens op het moment van de afronding van het project, wanneer zij hun eindverslag ontvangen, correct zijn. Tijdens de uitvoering van het project kunnen ook controles ter plaatse worden uitgevoerd, op basis van steekproeven.

43

Een aantal controles van de aannemelijkheid en consistentie van de door begunstigden verstrekte gegevens wordt automatisch door de bestaande systemen uitgevoerd, met name voor het ESF. BA's beschikken ook over instrumenten om toezicht te houden op de volledigheid van de over deelnemers verstrekte gegevens, zodat zij begunstigden die onvolledige gegevens hebben ingediend, eraan kunnen herinneren aanvullende informatie te verstrekken.

44

Tijdens onze controle kwamen problemen aan het licht ten aanzien van de kwaliteit van de verzamelde gegevens. We constateerden een algemeen probleem met betrekking tot de volledigheid en juistheid van de gegevens over deelnemers van in het kader van het ESF gecofinancierde acties. Deze gegevens worden in de nationale wetgeving als gevoelig aangemerkt²⁹, wat betekent dat de deelnemers mogen bepalen of zij deze verstrekken. Het is bovendien lastig voor de lidstaten en de Commissie om de nauwkeurigheid van de gegevens te controleren. Een andere tekortkoming ten aanzien van de gegevensverzameling wordt weergegeven in tekstvak 2.

45

Bij haar controle van de betrouwbaarheid van de prestatiegegevens (2014-2020) maakte de Commissie melding van andere problemen met betrekking tot de betrouwbaarheid van gegevens, waaronder:

• het niet verzamelen van gegevens, waardoor resultaten niet werden vastgelegd en hiermee dus geen rekening werd gehouden bij het bepalen van de voortgang van een OP, leidend tot een onjuiste inschatting van de situatie;
• een misverstand van de kant van de BA's ten aanzien van de definitie van gemeenschappelijke indicatoren (bijvoorbeeld gemeenschappelijke outputindicator 26, bedrijven die samenwerken met onderzoeksorganisaties), resulterend in een te hoog aantal bedrijven dat in het kader van deze indicator werd gemeld;
• dubbeltelling/het niet beperken van de waarde van de indicator inzake de bereikte populatie tot het aantal inwoners van het gebied, leidend tot inconsistente waarden.

Beschikbaarheid en betrouwbaarheid van de informatie over prestaties

46

Het bestaan van werkende monitoringsystemen op het moment dat de BA's beginnen met de uitvoering van programma's is essentieel om ervoor te zorgen dat prestatiegegevens op tijd worden gegenereerd, zodat monitoring kan plaatsvinden.

47

De laattijdige goedkeuring, in december 2013, van het wetgevingskader voor de periode 2014-2020 op EU-niveau leidde tot vertragingen in de ontwikkeling van IT-systemen voor monitoring. In het geval van de ESF-indicatoren waren er vanwege de bijkomende complexiteit ten aanzien van de gevoeligheid van de gegevens en de definitie van de indicatoren aanvullende discussies nodig die tot ver in 2014 plaatsvonden. Hierdoor liep de voltooiing van de IT-systemen nog meer vertraging op. In twee gevallen leidden andere factoren tot vertragingen: de reorganisatie van de regio's (Frankrijk, OP Lorraine et Vosges) en het ontwerp van een nieuw enkel IT-systeem voor alle ESI-fondsen in de periode 2014-2020 in de Tsjechische Republiek.

48

De gevolgen van de vertraging komen tot uiting in de mate van uitvoering van EAC 7 inzake het bestaan van een systeem van resultaatindicatoren. Eind 2016, de uiterste termijn voor de afronding van de actieplannen, waren 50 plannen nog steeds niet volledig, d.w.z. voldeed rond 11 % van alle OP's nog steeds niet aan dit vereiste. Eind februari 2018 waren echter alle actieplannen in verband met EAC 7 voltooid.

49

In de eerste helft van 2017, het vierde jaar na aanvang van de programmeringsperiode, constateerden we dat sommige IT-systemen nog steeds niet volledig operationeel waren; dit veroorzaakte risico's ten aanzien van de volledigheid en nauwkeurigheid van de verzamelde gegevens (zie de voorbeelden in tekstvak 3). In haar controle van de betrouwbaarheid van de prestatiegegevens (2014-2020)³⁰ wees de Commissie op het ontbreken van elektronische systemen voor de uitwisseling van gegevens met begunstigden, waardoor gegevens over indicatoren handmatig in het systeem moesten worden ingevoerd door de BA, wat een mogelijk bron van administratieve fouten vormt.

Door de lidstaten uitgebrachte uitvoeringsverslagen

50

De BA's moeten voor elk OP een jaarlijks uitvoeringsverslag (JUV) indienen bij de Commissie, dat wordt goedgekeurd door het toezichtcomité. In het JUV wordt belangrijke informatie verstrekt over de uitvoering van het OP, voornamelijk door kwantitatieve en kwalitatieve informatie te verschaffen over gemeenschappelijke en programmaspecifieke indicatoren³². De JUV's over 2016, die in juni 2017 werden ingediend, waren de eerste verslagen die naar de Commissie werden verstuurd over “de vooruitgang gemaakt bij de verwezenlijking van de doelstellingen van het programma”³³. De Commissie voert een kwaliteitscontrole van de JUV's uit (bijvoorbeeld ten aanzien van de consistentie tussen het aantal deelnemers en de bevolking van de desbetreffende gebieden).

51

Eind 2017 waren 26 JUV's nog steeds niet aanvaard door de Commissie vanwege ontbrekende gegevens voor de in de context van het prestatiekader gebruikte indicatoren, tegenstrijdigheden tussen de gerapporteerde gegevens en de over de uitvoering van het OP verstrekte informatie of een gebrek aan uitleg voor enkele van de gerapporteerde gegevens. In rond 40 % van de OP's van het EFRO werden in 2017 geen waarden gerapporteerd voor de indicatoren van het prestatiekader, waarvan de Commissie ten tijde van de controle geen analyse had uitgevoerd.

52

De in de JUV's vastgestelde tekortkomingen doen vragen rijzen over de betrouwbaarheid van de verstrekte informatie, evenals over de mate van vooruitgang die tot nu toe is geboekt, zoals gepresenteerd in de documenten die de Commissie op basis van de JUV's heeft gepubliceerd³⁴: het jaarlijkse syntheseverslag aan het Parlement en de Raad, het Europees Economisch en Sociaal Comité en het Comité van de Regio's en (alleen in 2017 en 2019) het strategische voortgangsverslag waarin de geboekte vooruitgang wordt samengevat.

De uitvoering van controles inzake beheers- en controlesystemen en de betrouwbaarheid van de verzamelde gegevens ging laat van start, waardoor de mate van zekerheid ten aanzien van de monitoringsystemen werd beperkt en er minder tijd beschikbaar was om vastgestelde tekortkomingen aan te pakken

53

Passende regelingen voor het verifiëren en corrigeren van de informatie over prestaties zijn nodig om de kwaliteit hiervan, en daarmee het gebruik van de informatie in het kader van monitoring en verslaglegging, te waarborgen. Goede praktijken vereisen de uitvoering van controles van de systemen die de gegevens voortbrengen – en hieraan gerelateerde corrigerende maatregelen – en de afronding hiervan voordat de gegevens worden opgenomen in JUV's en strategische verslagen.

54

In het wetgevingskader controleren zowel de auditautoriteiten van de lidstaten als de Commissie³⁵ de werking van de monitoringsystemen. Deze controles moeten met name het bestaan van betrouwbare systemen voor het verzamelen, registreren en opslaan van prestatiegegevens waarborgen en beoordelen of deze prestatiegegevens betrouwbaar zijn.

Beoordeling door auditautoriteiten van de werking van de beheers- en controlesystemen

55

In de eerste stadia van de uitvoering van de OP's werd een beoordeling van de op BA-niveau bestaande systemen uitgevoerd als onderdeel van de aanwijzingsprocedure³⁶. In het kader van deze procedure moest een onafhankelijke controle-instantie (vaak de AA) een verslag en een oordeel opstellen ten aanzien van de vraag of de BA's aan de criteria in verband met de interne controle-omgeving, risicobeheersing, beheers- en controleactiviteiten en toezicht hadden voldaan³⁷. De aanwijzing moest plaatsvinden vóór de eerste indiening van een tussentijdse betalingsaanvraag voor de OP's. Zonder deze aanwijzing konden dus geen kosten worden vergoed in het kader van het OP. In dit stadium heeft de controle betrekking op het bestaan van systemen en procedures, maar niet op de goede toepassing hiervan, die in het kader van de systeemcontroles van de auditautoriteiten inzake de beheers- en controlesystemen wordt gecontroleerd.

56

Als gevolg van de laattijdige goedkeuring van de OP's en de laattijdige voltooiing van de IT-systemen (zie paragraaf 47) liep het aanwijzingsproces vertraging op. Het proces werd bovendien beïnvloed door nationale factoren (reorganisatie van de regio's in Frankrijk in 2015, complexe beheersstructuren – het Franse PON FSE heeft bijvoorbeeld 13 gedelegeerde beheersautoriteiten en 120 intermediaire instanties). Voor de in het kader van deze controle onderzochte OP's werden tussen september 2016 en februari 2018 BA's aangewezen, meer dan respectievelijk twee en vier jaar na aanvang van de programmeringsperiode (zie bijlage IV).

57

Vanwege de laattijdige uitvoering van de OP's en de daardoor beperkte hoeveelheid verzamelde gegevens was er toen wij onze controlebezoeken aflegden, d.w.z. in de eerste helft van 2017, net een begin gemaakt met de systeemcontroles. Problemen ten aanzien van de kwaliteit van de gegevens werden dus pas zichtbaar tijdens de tweede helft van 2017. Dit was bijna vier jaar na de start van de zevenjarige programmeringsperiode en anderhalf jaar voordat de JUV's van 2018, die de basis vormen voor de toewijzing van de prestatiereserve, naar de Commissie worden gestuurd.

De controles van de Commissie

58

De Commissie vertrouwt niet alleen op de controlewerkzaamheden en bestaande systemen in de lidstaten, maar zij voert ook haar eigen controles uit. Er zijn twee soorten controles: vroegtijdige preventieve systeemcontroles, gericht op het verkrijgen van een redelijke zekerheid in een vroeg stadium van de uitvoering dat de beheers- en controlesystemen goed werken, en controles inzake de betrouwbaarheid van de prestatiegegevens. Gezien de bovengenoemde vertragingen en daarmee de laattijdige voltooiing van de monitoringsystemen, evenals de beperkte rapportage van relevante gegevens, werden deze controles echter later uitgevoerd dan gepland. Met name voor het EFRO konden de controles pas van start gaan nadat de JUV's over 2016 waren ontvangen. In totaal had de Commissie eind 2017 23 controles uitgevoerd in 12 lidstaten: 12 controles van de betrouwbaarheid van de prestatiegegevens en 11 vroegtijdige preventieve systeemcontroles.

59

Voor de meeste van deze controles gold dat de verslaglegging begin 2018 nog gaande was. Volgens de Commissie waren de voorlopige resultaten voor de gecontroleerde systemen vrij positief, hoewel enkele tekortkomingen aan het licht kwamen. Voor rond 40 % van de EFRO-OP's werden in de in 2017 ingediende JUV's over 2016 tegelijkertijd echter geen waarden gerapporteerd voor de indicatoren van het prestatiekader³⁸. Voor deze OP's had de Commissie in februari 2018 geen controles uitgevoerd om vast te stellen of niet werd gerapporteerd als gevolg van vertragingen bij de uitvoering of omdat er geen werkend systeem voor gegevensrapportage bestond.

60

De laattijdige uitvoering van de systeemcontroles betekent dat het overzicht van de status van de monitoringsystemen niet volledig is. Vooral tekortkomingen kunnen laat geïdentificeerd worden en er kan onvoldoende tijd overblijven om de nodige aanpassingen te doen. Dit brengt de uitvoering van de evaluatie van de prestaties in 2019 in gevaar, die zal worden gebaseerd op gegevens die uiterlijk 30 juni 2019 door de lidstaten worden gerapporteerd in de JUV's over 2018.

Het is mogelijk dat de evaluatie van de prestaties niet gebaseerd zal zijn op realistische mijlpalen

61

We stelden op basis van de JUV's over 2015 of de monitoringgegevens die op het moment van de controle beschikbaar waren, vast dat bij de OP's waarop onze bezoeken betrekking hadden, reeds sprake was van gevallen waarin OP's de voor 2023 vastgestelde streefdoelen hadden behaald, evenals van gevallen waarin een risico bestond op onderprestatie. Voor de OP's waarop onze bezoeken betrekking hadden, waren er geen verzoeken om wijzigingen ingediend om de streefdoelen realistischer te maken. Voor slechts één OP (Tsjechische Republiek, OPIEC) werd verzocht om wijzigingen, die hoofdzakelijk verband hielden met de verandering van toewijzingen binnen prioritaire assen, en werden deze wijzigingen goedgekeurd. Aan de andere kant werd volgens de Commissie in februari 2018 in 1445 gevallen de streefwaarde voor 2023 van een van de in totaal 17 480 indicatoren die werden gebruikt in de 430 bestaande OP's naar boven bijgesteld en werd deze in 941 gevallen naar beneden bijgesteld.

62

Hieruit blijkt dat een aantal mijlpalen³⁹ van het prestatiekader niet langer realistisch is. Als mijlpalen moeten worden herzien, moet het OP worden gewijzigd en dit is slechts mogelijk op initiatief van de lidstaat⁴⁰. Gezien de duur van de wijzigingsprocedure (die in de verordening is vastgesteld op drie maanden), bestaat het risico dat de eind 2018 door de indicatoren van het prestatiekader behaalde waarden niet worden vergeleken met realistische mijlpalen.

De op basis van de verzamelde gegevens gegenereerde informatie is nog steeds voornamelijk gericht op output

63

Informatie over de prestaties wordt verzameld zodat de lidstaten en de Commissie deze kunnen gebruiken voor verslagleggingsdoeleinden, om zich te verantwoorden voor de resultaten die met de financiering zijn behaald.

64

Resultaatindicatoren en streefdoelen die zijn vastgesteld in de subsidieovereenkomsten die worden ondertekend door de begunstigden en de BA's zijn essentieel voor het meten van de behaalde resultaten. Enkele belangrijke problemen bij de opzet van de monitoringsystemen hebben echter gevolgen voor de meting en monitoring van de bijdrage van projecten aan het behalen van de doelstellingen van OP's.

Een opzet waarbij voornamelijk wordt vertrouwd op outputindicatoren, met name in de eerste jaren van de uitvoering in het geval van het EFRO, en een gebrek aan op projectniveau vastgestelde gekwantificeerde resultaatindicatoren

65

De huidige opzet maakt een systematischer verzameling van gegevens mogelijk voor een aantal goed omschreven indicatoren, hoewel het aantal indicatoren zeer hoog is. Het bestaan van gemeenschappelijke indicatoren maakt ook de samenvoeging van deze gegevens mogelijk op het niveau van het OP, de lidstaat en de EU. In het ontwerp van het logisch kader voor het EFRO houden veel resultaatindicatoren op OP-niveau echter niet direct verband met de gefinancierde maatregelen. Deze indicatoren zijn vaak nationale indicatoren waarin rekening is gehouden met de invloed van externe factoren, en de bronnen hiervan zijn voornamelijk nationale bureaus voor de statistiek (zie de voorbeelden in tekstvak 4 en zie ook bijlage VI). Deze resultaatindicatoren isoleren het effect dat kan worden toegewezen aan de EFRO-maatregelen niet en kunnen daarom niet worden gezien als de onmiddellijke resultaten van de OP's.

66

Ter compensatie van het feit dat door EFRO-projecten gegenereerde resultaten vaak (ver) na afronding van het project zichtbaar worden, moeten BA's, op een moment waarop geen monitoring van projecten als zodanig plaatsvindt, evaluaties uitvoeren op het niveau van de prioritaire as⁴¹. Tijdens de programmeringsperiode wordt ten minste een keer geëvalueerd hoe de steun uit de ESI-fondsen heeft bijgedragen tot de verwezenlijking van de doelstellingen voor elke prioriteit. Gezien de laattijdige start van de uitvoering is het aantal reeds uitgevoerde evaluaties echter nog beperkt. Als gevolg hiervan wordt de voortgang van het OP vooralsnog voornamelijk gemeten aan de hand van de outputindicatoren.

67

Op projectniveau constateerden we dat de resultaatindicatoren niet systematisch werden genoemd in de subsidieovereenkomsten (zie paragraaf 25). Bij slechts zes⁴² van de achttien EFRO-projecten die we in het kader van deze controle onderzochten, waren in de aanvraag en dus in de subsidieovereenkomst resultaatindicatoren opgenomen. Deze resultaatindicatoren waren echter niet dezelfde als die welke op OP-niveau werden gebruikt. Dit betekent dat deze niet kunnen worden gebruikt voor verslagleggingsdoeleinden of om de voortgang bij de verwezenlijking van de OP-doelstellingen te meten. In vier andere gevallen⁴³ waren de resultaatindicatoren niet gekwantificeerd (d.w.z. was er geen streefdoel vastgesteld), waardoor een beoordeling van de bijdrage daarvan aan de OP-doelstelling onmogelijk was en de meting van de resultaten van het project werd beperkt tot de output.

68

Wat ESF-projecten betreft, werden in zeven van de zestien projecten resultaatindicatoren genoemd. Bij de overige projecten hielden de beschreven resultaten geen verband met de OP-indicatoren of waren deze niet gekwantificeerd. Dit maakt het bij om het even welk project onmogelijk om de behaalde waarde te vergelijken met een geschat streefdoel. In het geval van het ESF worden de waarden van de gemeenschappelijke resultaatindicatoren echter nog steeds gemeten, ondanks het feit dat er geen resultaten en resultaatindicatoren op projectniveau zijn gedefinieerd of gekwantificeerd, omdat begunstigden van projecten deze gegevens moeten rapporteren in de IT-systemen van de BA's.

69

We wezen al eerder op het gebrek aan resultaatindicatoren op projectniveau⁴⁴ in onze jaarverslagen. Dit maakt het moeilijk om de mate waarin projecten bijdragen tot het behalen van de OP-doelstellingen te meten en te monitoren.

De vrijgave van de prestatiereserve is gebaseerd op indicatoren die voornamelijk gericht zijn op input en output

70

De lidstaten kunnen de vooruitgang in de uitvoering van het programma via mijlpalen (die uiterlijk in 2018 moeten worden behaald) en streefwaarden (die uiterlijk in 2023 moeten worden behaald) aantonen voor drie soorten indicatoren: financiële, output- en resultaatindicatoren. Deze kunnen worden aangevuld met belangrijke uitvoeringsfasen (KIS) teneinde projecten te meten die al lopen of waarvan de start al is gepland, maar waarvan de output waarschijnlijk pas na december 2018 zal worden gerealiseerd. In het algemeen moeten de in het prestatiekader gebruikte indicatoren representatief zijn voor de maatregelen die onder de prioritaire as vallen. Om ervoor te zorgen dat de prestatiereserve wordt vrijgegeven, moeten de waarden die eind 2018 voor deze indicatoren worden behaald tussen de 75 en 85 % van de waarden van de mijlpalen liggen.

71

Zoals aangetoond in een eerder verslag van de Rekenkamer⁴⁵ betreft de overgrote meerderheid van de indicatoren die in het prestatiekader voor het cohesiebeleid worden gebruikt outputindicatoren (57 %), belangrijke uitvoeringsfasen (9 %) en financiële indicatoren (33 %). Het gebruik van resultaatindicatoren is nog steeds marginaal. De vrijgave van de reserve zal dus grotendeels gericht blijven op input en output, en niet op resultaten (zie ook paragraaf 62).

Het grootste deel van de verslaglegging op EU-niveau heeft betrekking op outputindicatoren

72

De belangrijkste doelstelling van het strategische verslag van de Commissie van 2017⁴⁶, dat het jaarlijkse syntheseverslag van 2017 omvat dat op basis van de JUV's 2016 werd opgesteld, is verslag te doen van de resultaten van de ESI-fondsen ten aanzien van het behalen van de Europa 2020-doelstellingen. In het verslag worden echter voornamelijk de mate van uitvoering en de behaalde waarden voor de belangrijkste outputindicatoren eind 2016 gepresenteerd. Het verslag bevat geen informatie over de behaalde resultaten, met uitzondering van de volgende ESF-resultaatindicatoren: het aantal deelnemers dat meteen na de opleiding een baan vond en het aantal deelnemers dat meteen na de opleiding een kwalificatie behaalde. Voor het EFRO is dit ook het gevolg van het ontbreken van gemeenschappelijke resultaatindicatoren; de indicatoren die op het niveau van de lidstaten worden gebruikt, kunnen daarom niet worden samengevoegd.

73

Zoals we onlangs meldden, is er sprake van een fundamenteel probleem dat met name betrekking heeft op resultaatindicatoren. De EFRO- en ESF-resultaatindicatoren meten in feite verschillende dingen op verschillende manieren⁴⁷. Het concept “resultaat” wordt bovendien uiteenlopend geïnterpreteerd in de fondsspecifieke verordeningen. De EFRO-resultaatindicatoren kunnen niet worden gebruikt om de onmiddellijke resultaten van de OP's te meten. Bovendien vormt het grote aantal verschillende prestatie-indicatoren een echte uitdaging voor de verzameling van en verslaglegging over informatie over de prestaties⁴⁸.

Conclusies en aanbevelingen

74

Hoewel de opzet van OP's nu meer resultaatgericht is, met een sterkere interventielogica en een uitgebreide reeks indicatoren, stellen we over het algemeen vast dat de selectie van projecten in het kader van het EFRO en het ESF niet volledig resultaatgericht is en dat bij de monitoring nog steeds meer nadruk wordt gelegd op output.

Selectieprocedures waren op belangrijke punten niet resultaatgericht

75

Voor de OP's waarop onze bezoeken betrekking hadden, gold dat de selectieprocedures werden gebruikt om de selectie te ondersteunen van projecten die relevant waren voor de doelstellingen van de OP's. Zij omvatten echter niet systematisch selectiecriteria die de vaststelling vereisen van gekwantificeerde resultaatindicatoren op projectniveau die overeenkomen met de indicatoren op OP-niveau. Als gevolg hiervan werden er zelden resultaatindicatoren opgenomen in aanvragen en kwamen deze, zelfs wanneer dit wel het geval was, niet noodzakelijkerwijs overeen met de OP-indicatoren of waren deze niet gekwantificeerd. Bovendien was in slechts een derde van de beoordelingsverslagen een specifieke beoordeling van de verwachte resultaten in verband met de OP-doelstellingen opgenomen (zie de paragrafen 18-27).

76

We constateerden dat BA's via verschillende kanalen uitgebreide informatie over de OP's hadden verstrekt, evenals over de toegang tot EU-financiering en over de selectieprocedures. De begunstigden waren over het algemeen goed geïnformeerd of konden vertrouwen op ondersteuning door gespecialiseerde organisaties (zie de paragrafen 28-31).

77

Bij slechts één van de twintig onderzochte procedures werd echter een score toegekend en werden aanvragen aan de hand hiervan met elkaar vergeleken. De projecten werden over het algemeen goedgekeurd op basis van het beginsel “wie het eerst komt, het eerst maalt”. Als gevolg hiervan kan het zijn dat de financiering niet werd toegewezen aan de beste projecten (zie de paragrafen 32-34).

Er bestaan risico's voor de kwaliteit van de monitoringgegevens, die nog steeds meer gericht zijn op output dan op resultaten

78

We stelden vast dat sommige monitoringsystemen voor OP's aan het begin van het programma niet operationeel, en ten tijde van de controle niet volledig operationeel waren als gevolg van de laattijdige goedkeuring van het wetgevingskader. Daardoor werden gegevens handmatig en later ingevoerd. Ook buiten de IT-systemen om werden gegevens verzameld, waardoor fouten werden gemaakt die in sommige gevallen gevolgen hadden voor de in de JUV's gepresenteerde gegevens (zie de paragrafen 35-52).

79

De laattijdige goedkeuring van het regelgevingskader leidde bij de meeste OP's tot een laattijdig begin van de uitvoering. Tot eind 2016 was slechts een beperkte hoeveelheid informatie verzameld in de IT-systemen. Als gevolg hiervan ging de uitvoering van de noodzakelijke controles om zekerheid te bieden over de monitoringsystemen en de betrouwbaarheid en beschikbaarheid van de gegevens voor het grootste deel in 2017 van start. De resultaten van deze controles kwamen pas eind 2017 beschikbaar, vier jaar na aanvang van de zevenjarige programmeringsperiode. Dit betekent dat tot nu toe slechts gedeeltelijke zekerheid werd verkregen op basis van de monitoringgegevens. De Commissie beschikt dus niet over een overzicht van de werking van de monitoringsystemen, met inbegrip van IT-systemen. De evaluatie van de prestaties zal in 2019 plaatsvinden en er bestaat een risico dat eventuele corrigerende maatregelen in de resterende beschikbare tijd niet op tijd kunnen worden afgerond en dat de evaluatie van de prestaties niet gebaseerd zal zijn op juiste informatie (zie de paragrafen 53-60).

80

We constateerden dat een aantal mijlpalen van het prestatiekader niet langer realistisch is. Ingeval mijlpalen moeten worden herzien, is het niet zeker dat de noodzakelijke OP-wijzigingen op tijd voor de evaluatie van de prestaties kunnen worden aangebracht (zie de paragrafen 61 en 62).

81

Wat de resultaatindicatoren betreft, meten de EFRO- en ESF-indicatoren verschillende dingen op verschillende manieren. Het concept “resultaat” wordt zelfs uiteenlopend geïnterpreteerd in de fondsspecifieke verordeningen. We constateerden dat voor beide fondsen het risico bestond dat een zinvolle samenvoeging van prestatiegegevens (met name wat resultaten betreft) op EU-niveau niet haalbaar kan zijn⁴⁹. Bovendien hebben we aanbevolen⁵⁰ dat de Commissie een gemeenschappelijke definitie van “output” en “resultaten” vaststelt (zie paragraaf 73).

82

Wat het EFRO betreft, wordt voor veel resultaatindicatoren vaak gebruik gemaakt van andere bronnen, zoals gegevens van nationale bureaus voor de statistiek. Evaluaties moeten resultaten meten ten opzichte van de doelstellingen van OP's. Gezien de laattijdige start van de uitvoering waren op het moment van onze controle echter weinig evaluaties beschikbaar. Als gevolg hiervan is het wat het EFRO betreft moeilijk om de mate waarin de projecten bijdragen tot het behalen van de OP-doelstellingen te monitoren (zie de paragrafen 63-69). Dit probleem geldt ook voor het ESF, aangezien veel subsidieovereenkomsten geen gekwantificeerde resultaatindicatoren bevatten.

83

Evenzo vormen voornamelijk output- en financiële indicatoren de basis van het prestatiekader. Dit betekent dat de vrijgave van de prestatiereserve hoofdzakelijk zal zijn gebaseerd op deze soorten indicatoren, in plaats van de behaalde resultaten en de daadwerkelijk geboekte vooruitgang ten opzichte van de OP-doelstellingen. De in de verslagen van de Commissie gepubliceerde informatie is ook voornamelijk gerelateerd aan output, met uitzondering van die over het ESF, waarin de geaggregeerde waarde wordt vermeld voor enkele resultaatindicatoren (zie de paragrafen 70-72).

Aanbeveling 1 – Resultaatgerichte selectie

Om te zorgen voor een consistente een daadwerkelijk resultaatgerichte aanpak van de selectie van projecten, moeten de lidstaten:

1. voorzien in selectiecriteria die van begunstigden vereisen dat zij voor hun project ten minste één echte resultaatindicator vaststellen op basis van een gemeenschappelijke definitie van de term“resultaat”, met inbegrip van een uitgangswaarde en een streefdoel. Deze resultaatindicator moet bijdragen tot de resultaatindicatoren die op OP-niveau zijn vastgesteld;
2. een beoordeling van deze verwachte resultaten en indicatoren opnemen in het beoordelingsverslag voor de aanvragen;
3. er bij de keuze voor de te gebruiken selectieprocedure voor zorgen dat een vergelijking tussen projectaanvragen plaatsvindt.

Streefdatum voor de uitvoering: met ingang van 2019 voor de volgende oproepen tot het indienen van voorstellen.

Aanbeveling 2 – Resultaatgerichte monitoring

1. Om de monitoring van de bijdragen van projecten aan de OP-doelstellingen mogelijk te maken, moeten de lidstaten gekwantificeerde resultaatindicatoren in de subsidieovereenkomst opnemen die bijdragen tot de op OP-niveau vastgestelde resultaatindicatoren.

   Streefdatum voor de uitvoering: met ingang van 2019 voor de volgende oproepen tot het indienen van voorstellen.

2. Om ervoor te zorgen dat het monitoringskader voor het EFRO resultaatgerichter wordt, en met name om de samenvoeging van informatie over de prestaties mogelijk te maken, moet de Commissie gemeenschappelijke resultaatindicatoren voor dit fonds vaststellen, op basis van een gemeenschappelijke definitie van “resultaten”.

Streefdatum voor de uitvoering: bij de voorbereiding van het volgende MFK.

Aanbeveling 3 – Verslaglegging over prestaties en voorbereiding van de evaluatie van de prestaties in 2019

Om de verslaglegging over prestaties door de Commissie te verbeteren en om een zinvolle evaluatie van de prestaties te kunnen uitvoeren, met betrouwbare gegevens en realistische mijlpalen, moet de Commissie:

1. beschikken over een overzicht van de belangrijkste tekortkomingen in en onzekerheden met betrekking tot de monitoringsystemen van de OP's, op basis van controles van zowel de Commissie als de AA's (de noodzakelijke systeemcontroles/controles van de betrouwbaarheid van de prestaties);
2. ervoor zorgen dat OP-wijzigingen waarom lidstaten verzoeken en die verband houden met een gerechtvaardigde herziening van mijlpalen van het prestatiekader, op tijd voor de evaluatie van de prestatie worden verwerkt.

Streefdatum voor de uitvoering: vóór de afronding van de evaluatie van de prestaties.

Dit verslag werd door kamer II, onder leiding van mevrouw Iliana IVANOVA, lid van de Rekenkamer, vastgesteld te Luxemburg op haar vergadering van 27 juni 2018.

Verklarende woordenlijst

Beheersautoriteit (BA): een beheersautoriteit is een overheids- of particuliere instantie die door een lidstaat is aangewezen om een operationeel programma te beheren. Tot haar taken behoren het selecteren van projecten die moeten worden gefinancierd, het monitoren van de uitvoering van projecten en het uitbrengen van verslag aan de Commissie over de financiële aspecten en de behaalde resultaten.

De Europese structuur- en investeringsfondsen (ESIF of ESI-fondsen): de ESI-fondsen zijn vijf afzonderlijke fondsen die regionale onevenwichtigheden in de Unie moeten terugdringen en waarvoor beleidskaders zijn vastgesteld voor de zevenjarige begrotingsperiode van het MFK. De fondsen zijn het Europees Fonds voor regionale ontwikkeling (EFRO), het Europees Sociaal Fonds (ESF), het Cohesiefonds (CF), het Europees Landbouwfonds voor plattelandsontwikkeling (Elfpo) en het Europees Fonds voor maritieme zaken en visserij (EFMZV).

Europa 2020-strategie: de groeistrategie van de EU voor de periode 2010-2020, waardoor zij moet kunnen herstellen van de crisis. De strategie is opgesplitst in vijf kerndoelen op het gebied van werkgelegenheid; onderzoek en ontwikkeling; klimaat en energie; onderwijs, en sociale inclusie en armoedebestrijding.

Europese gedragscode inzake partnerschap: een reeks beginselen die is vastgesteld in Gedelegeerde Verordening (EU) nr. 240/2014 van de Commissie om lidstaten te ondersteunen bij het organiseren van partnerschappen en het opstellen en uitvoeren van partnerschapsovereenkomsten en operationele programma's.

Ex-antevoorwaarden: voorwaarden waaraan de lidstaten moeten voldoen voordat zij financiering kunnen ontvangen in het kader van de Europese structuur- en investeringsfondsen. Bij de opstelling van operationele programma's voor de programmeringsperiode 2014-2020 moesten de lidstaten beoordelen of aan deze voorwaarden was voldaan. Als dat niet het geval was, moesten actieplannen worden opgesteld om ervoor te zorgen dat uiterlijk op 31 december 2016 aan de voorwaarden werd voldaan.

Financiële indicatoren: waarden die worden gebruikt om de voortgang te monitoren wat betreft de (jaarlijkse) vastlegging en uitbetaling van de beschikbare middelen voor projecten, maatregelen of programma's in verband met de subsidiabele kosten.

Indicator: een maatstaf voor een doelstelling die informatie verschaft op basis waarvan kan worden beoordeeld in welke mate een doelstelling is verwezenlijkt.

Interventielogica: het verband tussen de vastgestelde behoeften, doelstellingen, input (gepland en toegewezen), output (beoogd en gerealiseerd) en resultaten (beoogd en daadwerkelijk).

Investeringsprioriteiten: de lidstaten moeten in hun operationele programma's voor elke prioritaire as de investeringsprioriteiten en bijbehorende specifieke doelstellingen vaststellen. Deze zijn opgenomen in de specifieke verordeningen voor het EFRO, het ESF en het CF.

Monitoring: het regelmatige onderzoek van uitgaven, output en resultaten dat leidt tot actuele informatie over de vraag of de voortgang van projecten en programma's zo loopt als gepland.

Operationeel programma (OP): een verklaring met de prioriteiten en specifieke doelstellingen van een lidstaat waarin de benutting van de middelen (EU- en nationale openbare en particuliere cofinanciering) gedurende een bepaalde periode (momenteel zeven jaar) wordt beschreven voor de financiering van projecten. De projecten in het kader van een OP moeten bijdragen tot de verwezenlijking van een bepaald aantal doelstellingen die zijn gespecificeerd op het niveau van de prioritaire as van het OP. De financiering van het OP kan afkomstig zijn uit het EFRO, het CF en/of het ESF. Het OP wordt opgesteld door de lidstaat en moet door de Commissie worden goedgekeurd voordat er betalingen uit de EU-begroting kunnen worden gedaan. OP's kunnen alleen worden gewijzigd tijdens de programmeringsperiode indien beide partijen daarmee instemmen.

Output: iets dat wordt geproduceerd of bereikt met de aan een maatregel toegewezen middelen (bijv. opleidingscursussen voor werkloze jongeren, het aantal afvalwaterzuiveringsinstallaties of de lengte van een aangelegde weg).

Outputindicatoren: waarden die worden gebruikt om de output van de ondersteunde acties of de output op het niveau van het operationele programma te meten.

Prestatiekader: een reeks mijlpalen en streefdoelen die voor elke prioritaire as is vastgesteld in een operationeel programma en die een belangrijke pijler vormt van de prestatiegerichte benadering.

Prestatiereserve: 6 % van de aan het EFRO, ESF en CF of het Elfpo en EFMZV toegewezen middelen, die na de evaluatie van de prestaties in 2019 beschikbaar moet worden gemaakt wanneer aan bepaalde vereisten is voldaan of deze zijn overtroffen.

Prioritaire as: een of meer investeringsprioriteiten die verband houden met een thematische doelstelling. De financiering in het kader van een operationeel programma wordt per prioritaire as georganiseerd.

Resultaatindicatoren: waarden die worden gebruikt om de behaalde resultaten van de ondersteunde projecten of de behaalde resultaten op het niveau van het operationele programma te meten.

Resultaten: onmiddellijke veranderingen die begunstigden ondervinden na deelname aan een maatregel (bijvoorbeeld betere toegankelijkheid van een gebied door de aanleg van een weg, stagiairs die een baan hebben gevonden).

Selectie-/gunningscriteria: vooraf vastgestelde criteria die in het kader van selectieprocedures worden gebruikt om te beoordelen of de aanvrager de voorgestelde actie of het voorgestelde werkprogramma tot een goede einde kan brengen.

Specifieke doelstelling: het beoogde resultaat waaraan een EU-actie moet bijdragen.

Toezichtcomité: een comité dat de uitvoering van een OP monitort. Het comité bestaat uit “vertegenwoordigers van de bevoegde lidstaatautoriteiten” (bijv. vertegenwoordigers van de beheersautoriteiten, certificerende instantie,- auditautoriteiten, uitvoerende organen, werkgevers- of werknemersorganisaties en het maatschappelijk middenveld). De Commissie heeft ook de rol van waarnemer.

Lijst van afkortingen

AA: Auditautoriteit

BA: Beheersautoriteit (Managing Authority)

CF: Cohesiefonds

CI: Certificerende instantie

EC: Europese Commissie

EFRO: Europees Fonds voor regionale ontwikkeling

ESF: Europees Sociaal Fonds

ESI-fondsen/ESIF: Europese structuur- en investeringsfondsen

GBA: Gedelegeerde beheersautoriteit

GB-verordening: Verordening houdende gemeenschappelijke bepalingen

GSK: Gemeenschappelijk strategisch kader

II: Intermediaire instantie

IP: Investeringsprioriteit

JUV: Jaarlijks uitvoeringsverslag

Kmo's: Kleine en middelgrote ondernemingen

LS: Lidstaat

OP: Operationeel programma

PA: Prioritaire as

SD: Specifieke doelstelling

TD: Thematische doelstelling

Controleteam

In de speciale verslagen van de ERK worden de resultaten van haar controles van EU-beleid en -programma’s of beheersthema’s met betrekking tot specifieke begrotingsterreinen uiteengezet. Bij haar selectie en opzet van deze controletaken zorgt de ERK ervoor dat deze een maximale impact hebben door rekening te houden met de risico’s voor de doelmatigheid of de naleving, de omvang van de betrokken inkomsten of uitgaven, de verwachte ontwikkelingen en de politieke en publieke belangstelling.

Deze doelmatigheidscontrole werd verricht door controlekamer II “Investeringen ten behoeve van cohesie, groei en inclusie”, die onder leiding staat van ERK-lid Iliana Ivanova. De controle werd geleid door ERK-lid Ladislav Balko, ondersteund door Branislav Urbanič, kabinetschef, en Zuzana Franková, kabinetsattaché; Myriam Cazzaniga, hoofdmanager; Pekka Ulander, taakleider; Michaela Binder, gedetacheerde nationale deskundige.

Contact

EUROPESE REKENKAMER
12, rue Alcide De Gasperi
L-1615 Luxemburg
LUXEMBURG

Tel. +352 4398-1
Inlichtingen: eca.europa.eu/nl/Pages/ContactForm.aspx
Website: eca.europa.eu
Twitter: @EUAuditors

Meer gegevens over de Europese Unie vindt u op internet via de Europaserver (http://europa.eu).

Luxemburg: Bureau voor publicaties van de Europese Unie, 2018

PDF	ISBN 978-92-847-0524-5	ISSN 1977-575X	doi:10.2865/056063	QJ-AB-18-018-NL-N
HTML	ISBN 978-92-847-0539-9	ISSN 1977-575X	doi:10.2865/100977	QJ-AB-18-018-NL-Q

© Europese Unie, 2018.

Voor iedere vorm van gebruik of reproductie van (beeld)materiaal dat niet onder het auteursrecht van de Europese Unie valt, dient rechtstreeks toestemming aan de auteursrechthebbende te worden gevraagd.

HOE NEEMT U CONTACT OP MET DE EU?

Kom langs
Er zijn honderden Europe Direct-informatiecentra overal in de Europese Unie. U vindt het adres van het dichtstbijzijnde informatiecentrum op: https://europa.eu/european-union/contact_nl

Bel of mail
Europe Direct is een dienst die uw vragen over de Europese Unie beantwoordt. U kunt met deze dienst contact opnemen door:

• te bellen naar het gratis nummer: 00 800 6 7 8 9 10 11 (bepaalde telecomaanbieders kunnen wel kosten in rekening brengen)
• te bellen naar het gewone nummer: +32 22999696, of
• een e-mail te sturen via: https://europa.eu/european-union/contact/write-to-us_nl

Waar vindt u informatie over de EU?

Online
Informatie over de Europese Unie in alle officiële talen van de EU is beschikbaar op de Europa-website op: https://europa.eu/european-union/index_nl

EU-publicaties
U kunt publicaties van de EU downloaden of bestellen bij EU Bookshop op: https://op.europa.eu/nl/publications (sommige zijn gratis, andere niet). Als u meerdere exemplaren van gratis publicaties wenst, neem dan contact op met Europe Direct of uw plaatselijke informatiecentrum (zie https://europa.eu/european-union/contact_nl).

EU-wetgeving en aanverwante documenten
Toegang tot juridische informatie van de EU, waaronder alle EU-wetgeving sinds 1951 in alle officiële talen, krijgt u op EUR-Lex op: http://eur-lex.europa.eu

Open data van de EU
Het opendataportaal van de EU (http://data.europa.eu/euodp/nl/home?) biedt toegang tot datasets uit de EU. Deze gegevens kunnen gratis worden gedownload en hergebruikt, zowel voor commerciële als voor niet-commerciële doeleinden.