La sélection et le suivi des projets relevant du FEDER et du FSE pour la période 2014-2020 continuent à être principalement axés sur les réalisations

Synthèse

I

Pour la période de programmation 2014-2020, l’UE a consacré près de 349,4 milliards d’euros à la réalisation de ses objectifs en matière de politique de cohésion. Cette politique vise à soutenir la création d’emplois, la compétitivité des entreprises, la croissance économique, le développement durable et l’amélioration de la qualité de vie. Pour atteindre ces objectifs, des fonds sont octroyés à des projets menés à bien par des bénéficiaires dans les États membres. Les autorités nationales sélectionnent les projets à financer et assurent le suivi de leur mise en œuvre. Il est essentiel que ces fonds soient alloués de manière efficace, notamment en produisant les résultats escomptés.

II

Dans cette perspective, la Commission a mis en œuvre différentes mesures visant à mettre davantage l’accent sur les résultats pour la période 2014-2020. Dans les précédents rapports, nous avons salué les améliorations apportées par ces mesures. Toutefois, nous avons également mis en évidence des faiblesses substantielles portant atteinte à leur efficacité, ainsi qu’à la qualité des informations de suivi liées aux dépenses de la politique de cohésion. Le présent rapport consolide et étoffe ces précédentes constatations.

III

Nous avons cherché à déterminer si l’attention accrue portée aux résultats était bien intégrée au mode de sélection des projets et dans quelle mesure la Commission et les États membres pouvaient démontrer la bonne utilisation du budget de l’UE. Nous avons donc examiné les modalités de sélection et de suivi des projets bénéficiant de financements au titre de la politique de cohésion.

IV

Nous estimons, en conclusion, que pour la conception des procédures de sélection et les processus de sélection eux-mêmes, l’accent continue à être mis sur les réalisations et l’absorption, malgré l’intention affichée de longue date de le mettre davantage sur les résultats. En outre, en raison de lacunes au niveau des dispositifs de suivi des projets, il a été difficile de déterminer dans quelle mesure le financement de l’UE a contribué à la réalisation des objectifs de l’Union et des États membres. Plus précisément, dans le cas des PO ayant fait l’objet de notre visite, nous avons effectué les constatations ci-après.

• En ce qui concerne la sélection des projets, les bénéficiaires potentiels étaient bien informés et avaient obtenu un soutien approprié pour accéder au financement de l’UE. Même si les procédures que nous avons examinées ont été conçues de manière à promouvoir la sélection de projets pertinents eu égard aux objectifs des PO, les critères de sélection imposaient rarement aux demandeurs de définir des indicateurs de résultat quantifiés au niveau des projets. De surcroît, la sélection des projets était opérée généralement selon le principe du «premier arrivé, premier servi». Les propositions (ou demandes de financement) de projets n’ont été notées et classées les unes par rapport aux autres que dans une seule procédure de sélection.
• En ce qui concerne les systèmes de suivi, nous avons constaté qu’ils n’étaient devenus opérationnels que tardivement, principalement en raison de retards dans l’adoption du cadre législatif. Il subsiste des faiblesses dans certains systèmes informatiques utilisés pour la collecte et l’agrégation des données de suivi. En outre, en raison de lenteurs dans la réalisation des audits des différents systèmes de suivi, le temps risque à présent de manquer pour prendre les mesures correctrices nécessaires avant l’examen de la performance en 2019.
• Les informations relatives au suivi demeurent essentiellement axées sur les réalisations. Le principal rapport de la Commission consacré aux réalisations fait état de progrès en ce qui concerne les principaux indicateurs de réalisation ainsi que la mise en œuvre des financements. Toutefois, les informations relatives à l’obtention de résultats sont limitées.

V

En conséquence, nous formulons les recommandations ci-après.

• Afin de garantir une approche cohérente et réellement axée sur les résultats en matière de sélection des projets, les États membres devraient veiller à ce qu’une comparaison soit établie entre les propositions de projets, demander aux bénéficiaires de définir au moins un indicateur de résultat réel pour chaque projet et effectuer une évaluation des résultats escomptés et des indicateurs dans le rapport d’évaluation des propositions.
• Afin de garantir un suivi axé sur les résultats, les États membres devraient inclure dans la convention de subvention un ou plusieurs indicateurs de résultat réels et quantifiés, qui contribuent aux indicateurs de résultat définis au niveau du PO, et la Commission devrait fixer des indicateurs communs de résultat pour le FEDER, sur la base d’une définition commune de la notion de «résultat».
• La Commission devrait améliorer la communication relative à la performance et veiller à ce qu’un véritable examen de la performance soit effectué en 2019.

Introduction

La politique de cohésion est la principale politique d’investissement de l’UE

01

La politique de cohésion est la principale politique d’investissement de l’UE. Elle vise à soutenir la création d’emplois, la compétitivité des entreprises, la croissance économique, le développement durable et l’amélioration de la qualité de vie. Un tiers environ du budget de l’Union lui est consacré. En prix courants, les crédits alloués se sont élevés approximativement à 230 milliards d’euros pour la période de programmation 2000-2006, 346,5 milliards d’euros pour la période 2007-2013 et 349,4 milliards d’euros pour la période 2014-2020.

02

La politique de cohésion est menée à bien par l’intermédiaire du Fonds européen de développement régional (FEDER), du Fonds social européen (FSE) et du Fonds de cohésion (FC). Avec le Fonds européen agricole pour le développement rural (Feader) et le Fonds européen pour les affaires maritimes et la pêche (FEAMP), ils constituent les «Fonds structurels et d’investissement européens» (Fonds ESI). Ils sont mis en œuvre dans le cadre de programmes opérationnels (PO) qui déterminent les priorités d’investissement et les objectifs spécifiques¹. Les PO décrivent également la manière dont les fonds seront utilisés au cours de la période de programmation pour financer les projets. Ils sont mis en œuvre par les États membres et leurs régions. En d’autres termes, les États membres et leurs régions sélectionnent les projets et en assurent le suivi et l’évaluation.

L’orientation sur la performance est une priorité majeure de la Commission et des États membres pour la période 2014-2020

03

Europe 2020 est la stratégie décennale de l’UE pour l’emploi et la croissance. Elle a été lancée en 2010 et vise à mettre en place les conditions d’une croissance intelligente, durable et inclusive. En vue d’atteindre les objectifs et les valeurs cibles définis dans la stratégie Europe 2020, la Commission a souligné, en 2010, la nécessité d’améliorer l’efficacité de la politique de cohésion en mettant l’accent sur les résultats².

04

En conséquence, le paquet législatif relatif à la politique de cohésion de la période de programmation 2014-2020 a introduit des changements substantiels censés renforcer l’accent sur la performance³. Les principales mesures sont les suivantes:

• l’introduction de conditions ex ante⁴ selon lesquelles l’État membre, afin de garantir l’utilisation efficace des Fonds ESI, est tenu de satisfaire à certaines conditions (par exemple, l’existence de cadres stratégiques) au plus tard fin 2016. L’une d’elles, la condition ex ante générale 7⁵, prévoit «l’existence d’un système d’indicateurs de résultat requis pour sélectionner les actions qui contribuent le plus efficacement aux résultats souhaités, pour suivre l’avancement vers la production des résultats»;
• l’introduction d’une réserve de performance consistant à retenir une partie des financements de l’UE alloués aux PO, laquelle ne peut être libérée que si un sous-ensemble d’indicateurs (essentiellement les indicateurs de dépenses/réalisation) atteint certaines valeurs intermédiaires prédéfinies. La libération de cette réserve en 2019 sera fondée sur un examen de la performance effectué en 2019⁶;
• une logique d’intervention renforcée pendant l’exercice de programmation⁷, imposant aux États membres d’évaluer leurs besoins et de s’engager sur un ensemble de résultats avant d’examiner où et comment dépenser les fonds relevant de la politique de cohésion;
• un recours plus cohérent aux indicateurs de performance pour mesurer les progrès accomplis en vue d’obtenir ces résultats⁸.

L’importance de la sélection et du suivi des projets pour la performance

05

En 2017, nous sommes arrivés à la conclusion⁹ que la Commission et les États membres étaient parvenus à élaborer des PO reposant sur une logique d’intervention plus rigoureuse. Cela signifie que les PO définissent de manière cohérente les buts des interventions (objectifs spécifiques et/ou résultats) et la manière dont ils seront atteints (financement requis, actions à entreprendre et réalisations attendues).

06

Néanmoins, pour parvenir à une politique efficace, il importe non seulement de fixer des objectifs clairs et d’examiner les résultats pendant l’exercice de programmation, mais aussi d’appliquer une approche axée sur les résultats tout au long de la phase de mise en œuvre du PO, dans la mesure où ce seront surtout la qualité des projets financés et leur valeur ajoutée en termes de résultats tangibles qui détermineront l’efficacité d’une politique. La sélection des projets, leur suivi et l’établissement des rapports sont donc essentiels pour la performance. La figure 1 donne une vue d’ensemble du cycle de mise en œuvre d’un PO, ainsi que des organismes concernés. Les processus pertinents pour notre audit sont surlignés en jaune.

Les principaux acteurs et leur rôle dans la sélection et le suivi des projets

07

Les autorités nationales et régionales responsables de la gestion des PO opèrent la sélection des projets. Ces autorités de gestion, ou les organismes intermédiaires auxquels elles délèguent des pouvoirs, définissent les critères de sélection, mettent en place les comités de sélection et décident des projets qui bénéficieront d’un financement de l’UE. La Commission n’intervient pas dans la sélection des projets, alors qu’elle joue un rôle fondamental dans la négociation des PO. Elle participe cependant avec voix consultative aux comités de suivi des PO¹⁰, où sont approuvés la méthodologie et les critères utilisés pour la sélection des projets. Elle fournit également des orientations fondées sur les bonnes pratiques et l’expérience partagée avec les États membres.

08

La responsabilité du suivi des projets incombe aux États membres. Les autorités de gestion assurent le suivi de la mise en œuvre des PO et des projets, regroupent les informations de suivi et présentent à la Commission les rapports annuels de mise en œuvre. Les comités de suivi procèdent également à l’examen de la mise en œuvre des PO et approuvent lesdits rapports. Ici encore, le rôle de la Commission se limite à la diffusion d’orientations, à l’analyse de la performance des PO en collaboration avec les autorités de gestion et à la formulation d’observations concernant les rapports annuels de mise en œuvre.

09

Néanmoins, en tant que rapporteur, la Commission présente chaque année à l’autorité de décharge (Parlement européen), au Comité économique et social européen et au Comité des régions sa synthèse des rapports annuels de mise en œuvre soumis par les États membres et, en 2017 et 2019, son rapport stratégique¹¹.

Étendue et approche de l’audit

10

Le présent audit a visé à déterminer si la sélection et les systèmes de suivi des projets relevant du FEDER et du FSE pour la période de programmation 2014-2020 étaient axés sur les résultats. Compte tenu de l’état d’avancement de la mise en œuvre des PO ainsi que des audits déjà réalisés, le présent audit nous a permis de suivre pour la première fois l’«approche axée sur les résultats» tout au long de la phase d’exécution, les premiers résultats commençant à être disponibles. Il revêt également une importance capitale pour l’examen de la performance prévu pour 2019.

11

Dans la première partie, nous rendons compte de notre analyse des procédures de sélection mises en place pour les programmes opérationnels audités. Nous étudions la conception de ces procédures de sélection, en particulier la détermination des critères de sélection et leur orientation sur les résultats, ainsi que la phase d’évaluation des propositions. Dans la deuxième partie, nous examinons les systèmes de gestion et de contrôle en place ainsi que le suivi réalisé à ce jour par les autorités de gestion/organismes intermédiaires chargés des PO ayant fait l’objet de visites afin de mesurer la performance opérationnelle au niveau des programmes et au niveau national. Nous analysons la fiabilité des données, leur disponibilité, ainsi que leur capacité à produire des informations pertinentes pour la gestion et pour la présentation de rapports à la Commission.

12

Au total, nous avons examiné 34 projets (voir la liste des projets à l’annexe I). Nous avons porté notre attention sur le FEDER et le FSE, et plus spécifiquement sur trois objectifs thématiques (OT)¹² (voir une description des 11 objectifs thématiques à l’annexe II):

• OT 3 – renforcer la compétitivité des PME (16 projets);
• OT 8 – promouvoir un emploi durable et de qualité et soutenir la mobilité de la main-d’œuvre (12 projets);
• OT 9 – promouvoir l’inclusion sociale et lutter contre la pauvreté et toute forme de discrimination (6 projets).

13

Nous nous sommes intéressés à des projets sélectionnés par l’autorité de gestion elle-même (ou l’organisme intermédiaire) dans le cadre de 20 procédures de sélection (voir liste à l’annexe III) parmi sept PO de quatre États membres: la République tchèque, la France, l’Italie et la Finlande (voir liste à l’annexe IV). Ces PO et États membres ont été sélectionnés en fonction de l’importance relative des fonds alloués et du stade de mise en œuvre des projets. Nous avons sélectionné les projets sur la base du montant des subventions reçues ainsi que de leur état d’avancement au moment de l’audit. L’axe prioritaire, les priorités d’investissement et les objectifs spécifiques auxquels correspondent les projets sélectionnés sont présentés à l’annexe V. Les indicateurs de réalisation et de résultat y afférents sont énumérés à l’annexe VI pour le FEDER et à l’annexe VII pour le FSE.

14

Nous avons également examiné les mesures prises par la Commission en ce qui concerne la sélection des projets et le suivi des programmes opérationnels relevant du FSE et du FEDER en général.

Observations

La sélection des projets n’est pas suffisamment axée sur les résultats

15

Les procédures de sélection mises en place par les autorités de gestion devraient, d’une part, donner la priorité à la sélection des projets qui sont les plus pertinents par rapport aux objectifs poursuivis et les plus susceptibles de produire des résultats et, d’autre part, garantir que les fonds disponibles sont dépensés conformément aux règles. Nous avons apprécié dans quelle mesure les résultats avaient été pris en considération dans la conception des procédures de sélection (par exemple, les critères de sélection utilisés pour évaluer une proposition, la méthode retenue pour évaluer les projets ou la documentation mise à la disposition des candidats potentiels), ainsi que dans la mise en œuvre des procédures de sélection et donc dans le type de projets retenus.

16

Les travaux d’audit précédemment réalisés par la Cour¹³ ont montré que la Commission et les États membres avaient réussi à élaborer des PO reposant sur une logique d’intervention plus rigoureuse, c’est-à-dire présentant un lien clairement établi entre les besoins en matière de développement, les objectifs spécifiques et les indicateurs de résultat. Les procédures de sélection des projets devraient refléter cette logique d’intervention. Nous estimons qu’il existe un certain nombre de critères fondamentaux qui devraient être pris en compte par les autorités de gestion lorsqu’elles conçoivent les procédures afin d’en garantir l’orientation sur les résultats:

• les critères de sélection appliqués devraient permettre d’assurer la conformité des projets avec les objectifs des PO;
• les critères de sélection devraient promouvoir la sélection de projets assortis d’indicateurs quantifiés non seulement en termes de réalisation mais aussi de résultat grâce auxquels mesurer ce que les projets ont permis d’obtenir;
• les bénéficiaires devraient être encouragés à présenter des propositions de manière à garantir un large éventail de projets parmi lesquels opérer un choix;
• enfin, la sélection des projets devrait être fondée sur une comparaison directe des propositions afin de déterminer et de classer par ordre de priorité les projets se prêtant le mieux à un financement.

17

La mesure dans laquelle les autorités de gestion ont appliqué ces variables lors du traitement des propositions reçues et la manière dont celles-ci ont influencé la sélection de projets axés sur les résultats sont décrites aux points suivants (points 18 à 38).

Les procédures de sélection favorisent la sélection de projets pertinents eu égard aux objectifs des PO

18

Deux mesures censées garantir la sélection de projets pertinents par rapport aux objectifs des PO ont été introduites dans le cadre législatif de la période de programmation 2014-2020:

• les PO doivent établir, pour chaque axe prioritaire, les principes (dits «principes directeurs») régissant la sélection des projets¹⁴;
• les autorités de gestion sont tenues de concevoir des procédures et des critères de sélection «garantissant que les opérations contribuent à la réalisation des objectifs et résultats spécifiques des axes prioritaires correspondants»¹⁵.

19

En outre, les exigences ci-après ont également été introduites pour la période 2014-2020 afin de favoriser la sélection de projets davantage axés sur les résultats:

• la condition ex ante générale 7 (voir aussi point 4) prévoit «l’existence d’un système d’indicateurs de résultat requis pour sélectionner les actions qui contribuent le plus efficacement aux résultats souhaités»;
• les autorités de gestion sont également tenues d’établir des procédures et des critères de sélection «garantissant que les opérations contribuent à la réalisation des objectifs et résultats spécifiques des axes prioritaires correspondants»¹⁶.

20

Les «principes directeurs» servent à guider le choix des projets en précisant les principaux critères de sélection à utiliser. Associés à la description des projets auxquels des fonds doivent être alloués, ils donnent, à l’aide d’exemples de projets et de bénéficiaires, un bon aperçu du type de projets à financer dans le cadre de chaque objectif spécifique. Ces principes servent de base à l’élaboration des critères de sélection et il peut y être fait directement référence dans l’énoncé de ces derniers.

21

Nous avons constaté que même si, dans certains cas, les principes revêtaient un caractère général, ils évoquaient tous la nécessité que les projets sélectionnés soient conformes aux objectifs spécifiques du PO tels que décrits pour chaque axe prioritaire. Les critères de sélection utilisés lors des procédures de sélection que nous avons examinées étaient conformes aux principes directeurs. Chaque procédure comportait au moins un critère concernant la pertinence des projets et leur contribution à la réalisation de l’objectif spécifique.

22

Dans l’ensemble, les propositions de projets ayant fait l’objet de notre examen ont été évaluées à l’aune des critères définis dans la procédure de sélection. Nous avons constaté que les 34 projets examinés dans le cadre du présent audit étaient pertinents eu égard aux objectifs spécifiques des PO.

Lors de l’évaluation des propositions de projets, l’accent n’était guère mis sur les résultats, et ceux-ci étaient rarement quantifiés

23

Nous avons examiné comment les autorités de gestion procédaient à leur sélection de projets dans la pratique, et en particulier si la proposition (ou demande de financement) de projet faisait état de résultats et d’objectifs précis escomptés, accompagnés d’indicateurs de réalisation et de résultat clairement définis et quantifiés (liés aux objectifs spécifiques). Nous avons également cherché à déterminer si les autorités de gestion avaient évalué la capacité de chaque demandeur à obtenir les résultats escomptés.

24

Nous avons noté que 18 des 20 procédures de sélection étudiées comportaient des critères imposant aux bénéficiaires de décrire les résultats escomptés du projet présenté (voir annexe VIII). Toutefois, seules 4 des 20 procédures prévoyaient des critères requérant la quantification des indicateurs de résultat au niveau des projets (procédures de sélection n^os 17, 18, 19 et 20). En outre, dans trois cas, ces indicateurs de résultat ne correspondaient pas directement à ceux définis au niveau des PO (voir l’exemple de l’encadré 1).

25

Notre examen des 34 propositions de projets de notre échantillon corrobore ces constatations. Toutes ces propositions fournissaient des informations quantifiées concernant les indicateurs de réalisation qui correspondaient à ceux déterminés au niveau du PO, ou ces données pouvaient être obtenues directement à partir du système informatique (par exemple, en ce qui concerne des indicateurs tels que le nombre d’entreprises bénéficiant d’un soutien). Néanmoins, seules 14 propositions prévoyaient des indicateurs de résultat quantifiés. Pour six d’entre elles, les indicateurs de résultat ne correspondaient pas directement aux indicateurs du PO. Dans les autres propositions, la description était essentiellement narrative (voir figure 2 et annexe VIII).

26

En ce qui concerne l’évaluation des propositions, nous avons constaté que les autorités de gestion avaient apprécié la faisabilité globale des projets ainsi que leurs chances d’aboutir. Cependant, alors que la possibilité d’obtenir les résultats escomptés a été analysée pour l’ensemble des 18 projets relevant du FEDER, elle ne l’a été que pour 2 des 16 projets du FSE que nous avons examinés. Nous avons aussi relevé que cette analyse était présentée en termes vagues dans les rapports d’évaluation, sauf dans sept cas¹⁷ où plus de précisions étaient apportées quant à la pertinence des indicateurs et à la probabilité d’atteindre les valeurs cibles.

27

Pour ce qui est de la notation des propositions, nous avons observé que l’obtention des résultats escomptés faisait partie du processus de notation dans 11 cas seulement. Cela montre que, tant que les projets envisagés correspondaient au type d’actions prévues dans la procédure de sélection, les autorités de gestion présupposaient qu’ils contribueraient aux objectifs du PO, sans toutefois accorder d’attention à l’ampleur de cette contribution.

Les bénéficiaires ont été encouragés à demander un financement

28

Pour garantir l’absorption en temps utile des fonds sur l’ensemble de la période de programmation tout en veillant à ce que l’accent soit mis sur les résultats, il faut un nombre suffisant de candidats capables de présenter des propositions de qualité. La promotion d’un appel à propositions et les orientations y afférentes fournies aux potentiels demandeurs par les autorités de gestion représentent une variable importante qui détermine l’efficacité globale des procédures de sélection. Une population de demandeurs plus grande est susceptible de garantir la sélection des meilleurs projets.

29

Les autorités de gestion ont élaboré les mesures visant à promouvoir les appels à propositions auprès de candidats potentiels sur la base d’exigences précises définies dans la réglementation de l’UE. Ces mesures ont été soumises au comité de suivi pour approbation dans le cadre de la stratégie de communication définie pour chaque PO, comme l’exige le règlement¹⁸.

30

Nous avons constaté que les autorités de gestion avaient encouragé les bénéficiaires à participer aux procédures de sélection. Tout d’abord, elles ont utilisé plusieurs sources pour promouvoir les appels auprès de candidats potentiels, faisant intervenir notamment des chambres de commerce, des associations d’entreprises locales et des outils en ligne. Elles se sont également appuyées sur des partenaires pour faire circuler les informations relatives aux appels à venir au sein de leurs réseaux, en se fondant sur les connaissances acquises dans le cadre des comités de suivi.

31

En outre, les guides sur le financement fournis aux demandeurs par les autorités de gestion étaient accessibles au public et, sauf dans le cas d’une autorité de gestion au moment de l’audit, elles fixaient des conditions claires pour l’obtention de l’aide, fournissaient des informations détaillées sur la procédure de demande et les modalités de financement, et faisaient explicitement référence aux critères de sélection applicables.

Les procédures de sélection ne prévoyaient généralement pas de comparaison entre les différentes propositions de projets, ce qui induisait le risque que les meilleurs projets ne soient pas retenus

32

Lors de notre examen des procédures, nous avons vérifié si les projets proposés en vue d’un financement étaient évalués les uns par rapport aux autres. Il s’agit là d’une autre mesure importante pour garantir la sélection des projets les plus axés sur les résultats.

33

Dans le cadre de la gestion partagée, les procédures de sélection ont été définies par les autorités de gestion et approuvées par le comité de suivi, conformément aux exigences visées dans la réglementation de l’UE¹⁹ et aux orientations de la Commission²⁰. Toutefois, ni la réglementation relative aux Fonds ESI ni les orientations de la Commission ne précisent le type de procédure de sélection à mettre en œuvre, ce choix étant laissé à l’appréciation des autorités de gestion.

34

Sur les 20 procédures que nous avons examinées, 10 étaient des appels à propositions temporaires, six des appels permanents, trois des procédures d’attribution par entente directe et une concernait un appel réitéré (voir également annexe III pour plus de précisions). Nous avons constaté que dans toutes les procédures de sélection, à une exception près (Italie, PO Piémont, n° 13), aucune comparaison n’avait été établie entre les propositions de projets. En conséquence, les fonds n’ont peut-être pas été alloués aux meilleurs projets. Ce constat doit quelque peu être nuancé en ce qui concerne certains des PO ayant fait l’objet d’une visite dans la mesure où une présélection informelle (PO de France et de Finlande) ou formelle (Italie, PO Pouilles) avait été opérée, permettant aux autorités de gestion de circonscrire la présentation des demandes de financement aux projets les plus adaptés. Nous avons constaté ce qui suit:

• 15 des 20 procédures étaient fondées sur le principe du «premier arrivé, premier servi», la demande étant retenue à condition qu’elle remplisse les critères et qu’un financement suffisant soit disponible. Dans le cas de 13 de ces procédures, les demandes avaient fait l’objet d’une présélection formelle ou informelle. Nous avons relevé que, dans certains cas, pour être sélectionnés, les projets avaient dû obtenir une note minimale (voir procédures de sélection n^os 4 et 5 pour l’OPEIC de la République tchèque, et n^os 16, 17, 18, 19 et 20 pour le PO de Finlande);
• pour ce qui est des trois attributions par entente directe, il n’y avait, par définition, pas de concurrence (voir procédures de sélection n^os 1, 3 et 12);
• dans un cas (Italie, PO Piémont, procédure de sélection n° 8)²¹, les fonds avaient été alloués à des projets déjà sélectionnés lors de la précédente période de programmation 2007-2013, simplement en en prolongeant la durée. Cela a permis à l’organisme intermédiaire d’éviter des interruptions au niveau des formations destinées aux jeunes et de commencer à absorber les fonds. Toutefois, cela a également empêché la participation éventuelle de nouveaux candidats.

Les données de suivi sont essentiellement axées sur les réalisations, et leur qualité est compromise

35

Nous avons vérifié si les systèmes de suivi permettaient la collecte systématique de données relatives à des indicateurs choisis et, par suite, l’évaluation des progrès accomplis aux niveaux des projets, des programmes et de l’UE. Nous avons aussi examiné s’il en avait été rendu compte de manière à ce que le succès des projets financés et, par là même, l’utilisation efficace et efficiente du budget de l’UE puissent être démontrés.

36

Dans la section ci-après, nous présentons notre évaluation des conditions nécessaires pour permettre le suivi et l’établissement de rapports sur la réalisation des objectifs. Nous avons d’abord vérifié si les autorités de gestion avaient mis en place des systèmes de suivi fonctionnels avant de commencer à utiliser les fonds. Nous avons ensuite examiné si les informations relatives à la performance communiquées par les bénéficiaires étaient fiables, complètes et disponibles en temps opportun. Nous nous sommes également intéressés au rôle des autorités de gestion et à celui de la Commission.

37

Enfin, nous avons cherché à savoir si les systèmes en place produisaient des informations relatives à la performance axées sur les résultats, notamment s’ils permettaient d’obtenir des données agrégées pertinentes, un élément essentiel pour pouvoir établir des rapports sur l’utilisation efficace des fonds au niveau des États membres et à celui de l’UE sur la base d’un suivi et d’une communication annuels.

Il se peut que l’assurance quant à la qualité des données de suivi ne soit pas obtenue en temps utile pour l’examen de la performance de 2019

38

Le suivi des progrès accomplis en vue de la réalisation des objectifs d’un PO est effectué sur la base des données recueillies auprès de diverses sources. Ces données sont regroupées aux niveaux du PO et de l’État membre et constituent la base des rapports transmis au comité de suivi du PO et à la Commission. Afin de présenter une vue correcte de la situation au niveau du PO ou au niveau national, il est essentiel que les données collectées soient fiables, complètes et disponibles en temps opportun. Pour ce faire, les autorités de gestion sont tenues de mettre en place un système de suivi qui englobe la collecte des données et le contrôle de leurs sources. Afin d’obtenir une assurance sur la qualité des données, la Commission se fonde sur les travaux d’audit effectués par les autorités d’audit au niveau de l’État membre ainsi que sur ses propres travaux d’audit.

39

Dans le contexte spécifique de l’examen de la performance, il est également essentiel que les données et les systèmes utilisés pour les produire soient contrôlés le plus tôt possible afin de permettre aux autorités des États membres de corriger toute faiblesse décelée en ce qui concerne leur qualité, et ce bien avant la fin du mois de juin 2019, date à laquelle les rapports annuels de mise en œuvre 2018, sur lesquels sont fondés l’examen de la performance et l’affectation de la réserve de performance, seront transmis à la Commission.

Au niveau de l’UE, des règles détaillées établissent les modalités de la mise en place, par les États membres, de leurs systèmes de suivi pour la période 2014-2020

40

Afin que la collecte et le suivi systématiques des données produites au niveau des PO puissent être assurés, le cadre réglementaire pour la période de programmation 2014-2020 a introduit plusieurs modifications à cet égard:

• les autorités de gestion sont tenues de mettre en place un système de gestion et de contrôle prévoyant un suivi et une communication des informations adéquats²²;
• les autorités de gestion sont chargées d’établir un système informatisé permettant d’enregistrer toutes les données relatives aux indicateurs des PO²³, à des fins de suivi et de communication des informations;
• conformément à la condition ex ante 7, les autorités de gestion sont tenues de mettre en place «un système d’indicateurs de résultat requis pour sélectionner les actions qui contribuent le plus efficacement aux résultats souhaités [et] pour suivre l’avancement vers la production [de ces] résultats»²⁴. En ce qui concerne les PO, il devait être démontré qu’ils remplissaient toutes les conditions ex ante pour le 31 décembre 2016²⁵ (voir point 4);
• les États membres doivent faire en sorte que, au plus tard le 31 décembre 2015²⁶, tous les échanges d’information entre les bénéficiaires et l’autorité de gestion, l’autorité de certification, l’autorité d’audit et les organismes intermédiaires puissent être effectués au moyen de systèmes d’échange électronique de données²⁷.

41

La Commission a également établi des orientations spécifiques²⁸, à l’intention de son personnel et des autorités nationales compétentes, concernant une méthodologie commune permettant d’évaluer les systèmes de gestion et de contrôle dans les États membres, notamment l’existence de systèmes de suivi et de communication d’informations adéquats.

Les informations relatives à la performance ne sont pas toujours fiables, complètes et disponibles en temps opportun, ce qui a une incidence sur les rapports de mise en œuvre présentés par les États membres

Informations communiquées par les bénéficiaires

42

En ce qui concerne le FEDER, une grande partie des données relatives aux indicateurs de résultat sont collectées auprès des instituts nationaux de statistique (voir exemples à l’annexe VI). Le reste émane des bénéficiaires. Pour ce qui est du FSE, la plupart des données communiquées reposent sur des données recueillies auprès des bénéficiaires (voir annexe VII). Les autorités de gestion vérifient si les données recueillies auprès des bénéficiaires sont correctes à l’achèvement du projet, lorsqu’elles reçoivent leur rapport final. Pendant la mise en œuvre du projet, des contrôles peuvent également être effectués sur place, sur la base d’un échantillon.

43

Les systèmes en place prévoient la réalisation automatique d’un certain nombre de contrôles de vraisemblance et de cohérence sur les données fournies par les bénéficiaires, en particulier pour le FSE. Les autorités de gestion disposent également d’outils pour s’assurer de l’exhaustivité des données transmises concernant les participants, ce qui leur permet de relancer les bénéficiaires n’ayant pas fourni de données complètes.

44

Notre audit a révélé des problèmes concernant la qualité des données collectées. Nous avons décelé un problème général ayant trait à l’exhaustivité et à l’exactitude des données relatives aux participants à des actions cofinancées par le FSE. Ces données sont classées comme sensibles dans la législation nationale²⁹, il appartient donc aux participants de décider s’il y a lieu de les communiquer. Il est également difficile pour les États membres et la Commission d’en vérifier l’exactitude. L’encadré 2 présente un autre exemple de faiblesse concernant la collecte de données.

45

Dans le cadre de son audit concernant la fiabilité des données relatives à la performance (2014-2020), la Commission a signalé d’autres problèmes à cet égard, notamment:

• le défaut de collecte de certaines données, qui s’est traduit par le défaut d’enregistrement de certaines réalisations et, en conséquence, par l’impossibilité d’en tenir compte pour déterminer l’état d’avancement d’un PO, d’où une mauvaise compréhension de la situation;
• une interprétation erronée, de la part de l’autorité de gestion, de la définition de certains indicateurs communs (par exemple, l’indicateur commun de réalisation n° 26, «entreprises coopérant avec des organismes de recherche»), ce qui a entraîné une surestimation du nombre d’entreprises prises en compte pour cet indicateur;
• le double comptage/l’incapacité de limiter la valeur de l’indicateur «population concernée» au nombre de résidents de la zone, ce qui se traduit par des valeurs incohérentes.

Disponibilité et fiabilité des informations relatives à la performance

46

L’existence de systèmes de suivi opérationnels au moment où les autorités de gestion commencent à mettre en œuvre les programmes est un élément essentiel pour garantir que les données relatives à la performance sont générées en temps utile et, partant, que le suivi peut avoir lieu.

47

L’approbation tardive, en décembre 2013, du cadre législatif pour la période 2014-2020 au niveau de l’UE a retardé le développement des systèmes informatiques utilisés pour le suivi. Dans le cas des indicateurs du FSE, la complexité accrue liée au caractère sensible des données et à la définition des indicateurs a nécessité des discussions supplémentaires qui se sont poursuivies pendant une bonne partie de l’année 2014. Cela a retardé encore davantage la mise au point définitive des systèmes informatiques. Dans deux cas, d’autres facteurs ont provoqué des retards: la réorganisation des régions (France, PO Lorraine et Vosges), et la conception d’un nouveau système informatique unique pour tous les Fonds ESI de 2014-2020 en République tchèque.

48

Ce retard a eu des conséquences sur le degré de mise en œuvre de la condition ex ante 7 concernant l’existence d’un système d’indicateurs de résultat. Fin 2016, délai fixé pour l’achèvement des plans d’action, 50 d’entre eux étaient encore inachevés, ce qui signifie que 11 % environ de l’ensemble des PO ne satisfaisaient pas encore à cette exigence. Toutefois, fin février 2018, tous les plans d’action relatifs à la condition ex ante 7 avaient été finalisés.

49

Au cours du premier semestre de 2017, la quatrième année de la période de programmation, nous avons constaté que certains systèmes informatiques n’étaient toujours pas pleinement opérationnels, ce qui induit des risques pour l’exhaustivité et l’exactitude des données collectées (voir les exemples à l’encadré 3). Dans le cadre de son audit concernant la fiabilité des données relatives à la performance (2014-2020)³⁰, la Commission a attiré l’attention sur l’absence de systèmes d’échange électronique de données avec les bénéficiaires. Par conséquent, l’autorité de gestion a dû saisir manuellement dans le système les données relatives aux indicateurs, ce qui constitue une source potentielle d’erreurs d’écriture.

Rapports de mise en œuvre présentés par les États membres

50

Les autorités de gestion doivent soumettre à la Commission, pour chaque PO, un rapport annuel de mise en œuvre (RAMO) approuvé par le comité de suivi. Ce rapport contient des informations clés sur la réalisation du PO, en particulier des données quantitatives et qualitatives sur les indicateurs communs et les indicateurs spécifiques au programme³². Les RAMO 2016, soumis à la Commission en juin 2017, étaient les premiers à rendre compte «des progrès accomplis sur la voie des objectifs du programme»³³. La Commission procède à une revue de la qualité de ces rapports (en examinant par exemple la cohérence entre le nombre de participants et la population des zones couvertes).

51

Fin 2017, 26 RAMO n’avaient pas encore été acceptés par la Commission en raison de l’absence de données concernant les indicateurs utilisés dans le cadre de la performance, d’incohérences entre les données communiquées et les informations fournies sur la mise en œuvre du PO, ou d’un manque d’explication à propos de certaines données transmises. Pour 40 % environ des PO relevant du FEDER, aucune valeur relative aux indicateurs du cadre de performance n’avait été communiquée en 2017, et aucune analyse n’avait été réalisée par la Commission à cet égard au moment de l’audit.

52

Les insuffisances relevées dans les rapports annuels de mise en œuvre remettent en question la fiabilité des informations fournies et l’état d’avancement atteint à ce jour, tels qu’ils sont présentés dans les documents émis par la Commission sur la base desdits RAMO³⁴: le rapport de synthèse soumis chaque année au Parlement européen, au Conseil, au Comité économique et social européen et au Comité des régions ainsi que, en 2017 et 2019 uniquement, le rapport stratégique d’avancement qui résume les progrès accomplis.

Les audits des systèmes de gestion et de contrôle ainsi que de la fiabilité des données collectées ont commencé tard, limitant le degré d’assurance quant aux systèmes de suivi et réduisant le temps disponible pour remédier aux faiblesses décelées

53

Des mécanismes appropriés de vérification et de correction des informations relatives à la performance sont nécessaires pour garantir la qualité de ces dernières et, partant, leur utilisation dans le cadre du suivi et de l’établissement de rapports. Les bonnes pratiques exigent que des audits des systèmes qui produisent les données soient réalisés et menés à terme – et que les mesures correctrices correspondantes aient été mises en œuvre – avant l’inclusion des données dans les RAMO et les rapports stratégiques.

54

Conformément au cadre législatif, les autorités d’audit des États membres et la Commission³⁵ procèdent à des audits du fonctionnement des systèmes de suivi. Ces audits doivent permettre, en particulier, de s’assurer de l’existence de systèmes fiables pour collecter, enregistrer et stocker les données sur la performance, et d’évaluer la fiabilité de ces dernières.

Évaluation, par les autorités d’audit, du fonctionnement des systèmes de gestion et de contrôle

55

Une évaluation des systèmes en place au niveau des autorités de gestion, qui s’inscrivait dans la procédure de désignation³⁶, a été réalisée lors des premières étapes de la mise en œuvre des PO. Dans le cadre de cette procédure, un organisme d’audit indépendant (souvent l’autorité d’audit) était tenu de produire un rapport et un avis évaluant le respect par les autorités de gestion des critères relatifs à l’environnement de contrôle interne, à la gestion des risques, aux activités de gestion et de contrôle et au suivi³⁷. La désignation devait avoir lieu avant la présentation de la première demande de paiement intermédiaire en faveur des PO. Sans cette désignation, les coûts supportés par les PO ne peuvent pas faire l’objet d’un remboursement. À ce stade, l’audit porte sur l’existence de systèmes et de procédures, et ne couvre pas la bonne mise en œuvre. Cette dernière est contrôlée dans le cadre des audits des systèmes, réalisés par les autorités d’audit sur les systèmes de gestion et de contrôle.

56

En raison des retards enregistrés dans l’approbation des programmes opérationnels et dans la finalisation des systèmes informatiques (voir point 47), le processus de désignation a lui aussi été retardé. Des facteurs nationaux ont également eu une incidence, notamment la réorganisation des régions en France en 2015 ou encore la complexité des structures de gestion (le PO national français relevant du FSE, par exemple, fait intervenir 13 autorités de gestion déléguées et 120 organismes intermédiaires). Pour les PO examinés dans le cadre de cet audit, les autorités de gestion ont été désignées entre septembre 2016 et février 2018, soit respectivement plus de deux et quatre ans après le début de la période de programmation (voir annexe IV).

57

En raison de la mise en œuvre tardive des programmes opérationnels et, par conséquent, de la quantité limitée de données recueillies, les audits des systèmes ne faisaient que commencer au moment de nos visites d’audit, c’est-à-dire au premier semestre de 2017. Les éventuels problèmes liés à la qualité des données ne se sont donc manifestés qu’à partir du second semestre de 2017, soit près de quatre ans après le début de la période de programmation septennale et un an et demi avant la transmission à la Commission des RAMO 2018, dont dépend l’affectation de la réserve de performance.

Audits de la Commission

58

La Commission, non contente de s’appuyer sur les travaux d’audit et les systèmes en place dans les États membres, effectue également ses propres audits. Il en existe deux types: les «audits des systèmes de prévention précoce», visant à obtenir, à un stade précoce de la mise en œuvre, une assurance raisonnable quant au bon fonctionnement des systèmes de gestion et de contrôle, et les «audits de la fiabilité des données relatives à la performance». Toutefois, compte tenu des retards évoqués plus haut et, partant, de la finalisation tardive des systèmes de suivi ainsi que de la communication minimale de données pertinentes, ces audits ont été effectués plus tard que prévu. Pour ce qui est du FEDER en particulier, les audits n’ont pu commencer qu’après réception des RAMO 2016. Fin 2017, la Commission avait réussi à effectuer 23 audits au total dans 12 États membres: 12 audits de la fiabilité des données relatives à la performance et 11 audits des systèmes de prévention précoce.

59

Pour la plupart de ces audits, l’établissement de rapports était en cours au début de 2018. La Commission estime que les résultats préliminaires de l’audit des systèmes étaient plutôt positifs, même si des faiblesses ont été mises en évidence. Dans le même temps, cependant, pour 40 % environ des PO relevant du FEDER, aucune valeur relative aux indicateurs du cadre de performance³⁸ n’avait été communiquée dans les RAMO 2016 présentés en 2017. Dans le cas de ces PO, la Commission n’avait réalisé, en février 2018, aucun audit pour déterminer si le défaut de communication d’informations était dû à des retards dans la mise en œuvre ou à l’absence d’un système de communication des données opérationnel.

60

La réalisation tardive des audits des systèmes signifie que la vue d’ensemble de l’état des systèmes de suivi n’est pas complète. Les faiblesses, seront très probablement décelées tardivement, et il se peut que le temps vienne à manquer pour procéder aux ajustements nécessaires. Cela compromet la mise en œuvre de l’examen de la performance en 2019, lequel sera fondé sur les données communiquées par les États membres dans les RAMO 2018 pour le 30 juin 2019.

L’examen de la performance peut ne pas reposer sur des valeurs intermédiaires réalistes

61

En ce qui concerne les PO qui ont fait l’objet de nos visites et sur la base des RAMO 2015 ou des informations de suivi disponibles au moment de l’audit, nous avons constaté qu’ils avaient déjà atteint, dans certains cas, les valeurs cibles fixées pour 2023, mais qu’il existait aussi des risques de performance insuffisante. Pour ces PO, il n’y avait pas eu de demandes de modification en vue d’adapter les valeurs cibles à un niveau plus réaliste. Dans le cas d’un seul PO (République tchèque, OPEIC), des changements avaient déjà été demandés et obtenus, essentiellement pour modifier l’affectation des fonds au sein des axes prioritaires. Par ailleurs, selon la Commission, en février 2018, sur les 17 480 indicateurs utilisés dans les 430 PO existants, la valeur cible correspondante pour 2023 avait été modifiée à la hausse dans 1 445 cas, et à la baisse dans 941 cas.

62

Cela indique que certaines valeurs intermédiaires³⁹ du cadre de performance ne sont plus réalistes. Lorsqu’une révision des valeurs intermédiaires s’impose, des modifications doivent être apportées au PO, ce qui ne peut être réalisé qu’à l’initiative des États membres⁴⁰. Compte tenu de la durée de la procédure de modification (fixée dans le règlement à trois mois), le risque existe que les valeurs atteintes fin 2018 par les indicateurs du cadre de performance ne soient pas comparées avec des valeurs intermédiaires réalistes.

Les informations générées à partir des données collectées sont encore principalement axées sur les réalisations

63

Les informations relatives à la performance sont collectées afin que les États membres et la Commission puissent les exploiter dans leurs rapports et rendre compte de ce qui a été réalisé à l’aide du financement.

64

Les indicateurs de résultat et les valeurs cibles fixées dans les conventions de subvention signées entre les bénéficiaires et les autorités de gestion sont essentiels pour mesurer les résultats obtenus. Néanmoins, plusieurs problèmes fondamentaux concernant la conception des systèmes de suivi ont une incidence négative sur la mesure et le suivi de la contribution des projets à la réalisation des objectifs des PO.

Un mécanisme qui repose principalement sur des indicateurs de réalisation, notamment pendant les premières années de mise en œuvre en ce qui concerne le FEDER, et un manque d’indicateurs de résultat quantifiés définis au niveau des projets

65

Le mécanisme actuel permet une collecte plus systématique des données pour un certain nombre d’indicateurs bien définis, même si ce nombre est très élevé. L’existence d’indicateurs communs permet également d’agréger ces données aux niveaux du PO, de l’État membre et de l’UE. Toutefois, dans la conception du cadre logique pour le FEDER, un grand nombre d’indicateurs de résultat au niveau des PO ne sont pas directement liés aux interventions financées. Ces indicateurs sont souvent des indicateurs nationaux qui tiennent compte de l’influence de facteurs externes, et ils proviennent principalement des instituts de statistique nationaux (voir exemples à l’encadré 4 ainsi que l’annexe VI). Ces indicateurs de résultat ne permettant pas d’isoler l’impact attribuable aux interventions du FEDER, ils ne peuvent pas être considérés comme présentant les résultats immédiats des PO.

66

Pour compenser le fait que les résultats générés par les projets relevant du FEDER se concrétisent souvent (bien) après l’achèvement du projet, à un moment où il n’y a pas de suivi des projets en tant que tel, les autorités de gestion doivent effectuer des évaluations au niveau de l’axe prioritaire⁴¹. Celles-ci portent, au moins une fois pendant la période de programmation, sur la manière dont le soutien accordé par les Fonds ESI a contribué à la réalisation des objectifs pour chaque priorité. Cependant, compte tenu du démarrage tardif de la mise en œuvre, le nombre d’évaluations déjà menées est encore limité. En conséquence, pour le moment, l’état d’avancement du PO est principalement mesuré à l’aide des indicateurs de réalisation.

67

Au niveau des projets, nous avons constaté que les indicateurs de résultat n’étaient pas systématiquement mentionnés dans les conventions de subvention (voir point 25). Seuls 6⁴² des 18 projets relevant du FEDER examinés dans le cadre de cet audit présentaient des indicateurs de résultat dans les propositions de projets et donc dans la convention de subvention. Néanmoins, ces indicateurs étaient différents de ceux utilisés au niveau du PO. Cela signifie qu’ils ne peuvent pas être utilisés dans les rapports ou pour mesurer les progrès accomplis dans la réalisation des objectifs du PO. Dans quatre autres cas⁴³, les indicateurs de résultat n’étaient pas quantifiés (c’est-à-dire qu’aucune valeur cible n’était indiquée), ce qui empêchait d’apprécier leur contribution aux objectifs du PO et limitait la mesure de l’accomplissement du projet à ses réalisations.

68

Pour les projets relevant du FSE, les indicateurs de résultat ont été mentionnés dans 7 des 16 projets. Pour les projets restants, les résultats décrits étaient soit sans lien avec les indicateurs du PO, soit non quantifiés. Quel que soit le projet, il est impossible dans ces conditions de comparer la valeur atteinte avec une valeur cible estimée. Néanmoins, dans le cas du FSE, même si les résultats et les indicateurs de résultat ne sont pas définis au niveau du projet ou quantifiés, les valeurs des indicateurs communs de résultat sont quand même mesurées étant donné que les bénéficiaires des projets sont tenus de verser ces données dans les systèmes informatiques de l’autorité de gestion.

69

Nous avons déjà signalé dans nos rapports annuels le manque d’indicateurs de résultat définis au niveau des projets⁴⁴. Il est de ce fait difficile de mesurer et de déterminer l’ampleur de la contribution des projets à la réalisation des objectifs du PO.

La libération de la réserve de performance est conditionnée par des indicateurs qui sont, pour la plupart, axés sur les intrants et les réalisations

70

Les valeurs intermédiaires (à atteindre pour 2018) et les valeurs cibles (à atteindre pour 2023) fixées pour trois types d’indicateurs (les indicateurs financiers, les indicateurs de réalisation et les indicateurs de résultat) permettent aux États membres de démontrer les progrès accomplis dans la mise en œuvre des programmes. Elles peuvent être complétées par des étapes clés de mise en œuvre permettant d’évaluer les projets en cours ou dont le lancement est prévu, mais qui ne produiront probablement aucune réalisation d’ici à décembre 2018. Globalement, les indicateurs formant le cadre de performance doivent être représentatifs des actions relevant de l’axe prioritaire concerné. Afin d’enclencher la libération de la réserve de performance, les valeurs atteintes à la fin de 2018 pour ces indicateurs doivent être comprises entre 75 % et 85 % de la valeur intermédiaire.

71

Comme le montre un précédent rapport de la Cour⁴⁵, la grande majorité des indicateurs formant le cadre de performance pour la politique de cohésion étaient des indicateurs de réalisation (57 %), des étapes clés de mise en œuvre (9 %) et des indicateurs financiers (33 %), la proportion des indicateurs de résultat utilisés demeurant, quant à elle, marginale. En conséquence, la libération de la réserve restera dans une large mesure axée sur les intrants et les réalisations, et non sur les résultats (voir aussi point 62).

La plupart des rapports établis au niveau de l’UE concernent les indicateurs de réalisation

72

Le principal objectif du rapport stratégique 2017 de la Commission⁴⁶, qui englobe le rapport de synthèse annuel 2017 établi sur la base des RAMO 2016, est de rendre compte de la contribution des Fonds ESI à la réalisation des objectifs de la stratégie Europe 2020. Toutefois, le rapport présente principalement le niveau de la mise en œuvre ainsi que les valeurs atteintes pour les principaux indicateurs de réalisation à la fin de l’année 2016. Il ne contient aucune information sur l’obtention de résultats, hormis pour les indicateurs de résultat suivants, qui relèvent du FSE: le nombre de participants ayant trouvé un emploi immédiatement après la formation et le nombre de participants ayant acquis une qualification immédiatement après la formation. Pour le FEDER, cela s’explique aussi par le fait qu’il n’existe aucun indicateur commun de résultat; ceux utilisés au niveau des États membres ne peuvent donc pas être agrégés.

73

Comme nous l’avons signalé précédemment, il existe un problème fondamental qui concerne plus particulièrement les indicateurs de résultat. En fait, les indicateurs du FEDER et ceux du FSE portent sur des éléments différents, qu’ils mesurent de manière différente⁴⁷. De plus, la notion de «résultat» est interprétée de manière distincte dans les règlements régissant chacun des Fonds. Les indicateurs de résultat du FEDER ne peuvent pas servir à mesurer les résultats immédiats des PO. En outre, le nombre élevé d’indicateurs de performance différents pose un réel défi pour la collecte et la communication des informations relatives à la performance⁴⁸.

Conclusions et recommandations

74

Même si la conception des PO est désormais plus axée sur les résultats, avec une logique d’intervention plus rigoureuse et un vaste ensemble d’indicateurs, nous concluons, de manière générale, que la sélection des projets relevant du FEDER et du FSE n’est pas totalement orientée sur les résultats et que le suivi actuel continue à être davantage axé sur les réalisations.

Pour certains aspects importants, les procédures de sélection n’étaient pas axées sur les résultats

75

En ce qui concerne les PO qui ont fait l’objet de nos visites, les procédures de sélection ont servi à favoriser la sélection de projets pertinents pour les objectifs des PO. Cependant, elles ne prévoient pas systématiquement des critères de sélection exigeant que soient définis au niveau du projet des indicateurs de résultat quantifiés qui correspondent à ceux établis au niveau du PO. Par conséquent, les indicateurs de résultat n’ont été que rarement intégrés dans les propositions de projets et, lorsqu’ils l’ont été, ils ne correspondaient pas nécessairement aux indicateurs du PO ou n’avaient pas été quantifiés. En outre, seul un tiers des rapports d’évaluation contenait une évaluation spécifique des résultats escomptés par rapport aux objectifs du PO (voir points 18 à 27).

76

Nous avons constaté que les autorités de gestion avaient fourni des informations complètes sur les PO, sur l’accès au financement de l’UE, ainsi que sur les procédures de sélection, et ce par différents canaux. Les bénéficiaires étaient généralement bien informés, ou pouvaient compter sur le soutien d’organisations spécialisées (voir points 28 à 31).

77

Néanmoins, les propositions de projets n’ont été notées et classées les unes par rapport aux autres que dans une seule des 20 procédures examinées. Les projets ont généralement été approuvés selon le principe du «premier arrivé, premier servi». En conséquence, les fonds n’ont peut-être pas été alloués aux meilleurs projets (voir points 32 à 34).

Des risques pèsent sur la qualité des données de suivi, qui restent plus axées sur les réalisations que sur les résultats

78

À la suite de l’adoption tardive du cadre législatif, nous avons constaté que certains systèmes de suivi des PO n’étaient pas opérationnels au moment du lancement du programme ni pleinement opérationnels au moment de l’audit. Des données ont donc été saisies manuellement et à un stade ultérieur. La collecte de données s’est également déroulée en dehors des systèmes informatiques, engendrant des erreurs qui ont eu, dans certains cas, une incidence sur les données présentées dans les RAMO (voir points 35 à 52).

79

Pour la plupart des PO, l’adoption tardive du cadre réglementaire a entraîné un démarrage tardif de la mise en œuvre. Jusqu’à la fin de 2016, seule une quantité limitée de données a été recueillie dans les systèmes informatiques. En conséquence, les audits nécessaires pour pouvoir fournir une assurance en ce qui concerne les systèmes de suivi ainsi que la fiabilité et la disponibilité des données ont commencé pour la plupart en 2017. Les résultats de ces audits n’ont été disponibles qu’à la fin de l’année 2017, soit quatre ans après le début de la période de programmation septennale. Cela signifie que l’assurance obtenue quant aux données de suivi n’est, jusqu’à présent, que partielle. La Commission ne dispose donc pas d’une vue d’ensemble du fonctionnement des systèmes de suivi, y compris les systèmes informatiques. L’examen de la performance devant se dérouler en 2019, les éventuelles mesures correctrices risquent de ne pas aboutir à temps et l’examen de la performance, de reposer sur des informations incorrectes (voir points 53 à 60).

80

Nous avons constaté que certaines valeurs intermédiaires du cadre de performance ne sont plus réalistes. Lorsqu’une révision des valeurs intermédiaires s’impose, il n’est pas certain que les modifications requises puissent être apportées aux PO à temps pour l’examen de la performance (voir points 61 et 62).

81

En ce qui concerne les indicateurs de résultat, ceux du FEDER et du FSE portent sur des éléments différents, qu’ils mesurent de manière différente. En fait, la notion de «résultat» est interprétée de manière distincte dans les règlements régissant chacun des Fonds. Pour les deux Fonds, nous avons observé qu’une agrégation pertinente des données relatives à la performance (notamment en ce qui concerne les résultats) risquait de ne pas être réalisable au niveau de l’Union européenne⁴⁹. En outre, nous avons recommandé⁵⁰ à la Commission d’établir une définition commune des notions de «réalisation» et de «résultat» (voir point 73).

82

En ce qui concerne le FEDER, de nombreux indicateurs de résultat ont souvent recours à d’autres sources, telles que des données provenant des instituts de statistique nationaux. Les évaluations devraient mesurer ce qui a été réalisé par rapport aux objectifs des PO. Cependant, compte tenu du démarrage tardif de la mise en œuvre, peu d’évaluations étaient disponibles au moment de notre audit. Par conséquent, il est difficile, dans le cas du FEDER, de déterminer dans quelle mesure les projets contribuent à la réalisation des objectifs du PO (voir points 63 à 69). Ce problème concerne également le FSE, étant donné que de nombreuses conventions de subvention ne comprennent pas d’indicateurs de résultat quantifiés.

83

De même, le cadre de performance est principalement constitué des indicateurs financiers et de réalisation. Cela signifie que la libération de la réserve de performance dépendra essentiellement de ces types d’indicateurs plutôt que des résultats obtenus et des progrès effectivement réalisés en vue d’atteindre les objectifs du PO. En outre, les informations publiées dans les rapports de la Commission sont principalement liées aux réalisations, hormis dans le cas du FSE où la valeur agrégée est fournie pour certains indicateurs de résultat (voir points 70 à 72).

Recommandation n° 1 – Sélection axée sur les résultats

Afin de garantir une approche cohérente et réellement axée sur les résultats en matière de sélection des projets, les États membres devraient:

1. appliquer des critères de sélection imposant aux bénéficiaires de définir au moins un véritable indicateur de résultat, fondé sur une définition commune de ce qui constitue un «résultat» dans le cadre de leur projet et assorti d’une valeur de référence et d’une valeur cible. Cet indicateur de résultat devrait contribuer aux indicateurs de résultat définis au niveau du PO;
2. inclure une évaluation de ces indicateurs et des résultats escomptés dans le rapport d’évaluation des propositions de projets;
3. veiller, lors du choix des procédures de sélection, à ce qu’elles prévoient une comparaison des propositions de projets.

Délai de mise en œuvre: démarrage en 2019 pour les futurs appels à propositions.

Recommandation n° 2 – Suivi axé sur les résultats

1. Afin de permettre le suivi des contributions des projets aux objectifs du PO, les États membres devraient inclure dans la convention de subvention des indicateurs de résultat quantifiés, qui contribuent aux indicateurs de résultat définis au niveau du PO.

   Délai de mise en œuvre: démarrage en 2019 pour les futurs appels à propositions.

2. Pour axer davantage le cadre de suivi du FEDER sur les résultats, et permettre en particulier l’agrégation des informations relatives à la performance, la Commission devrait définir des indicateurs communs de résultat pour ce Fonds, sur la base d’une définition commune de la notion de «résultat».

   Délai de mise en œuvre: pour l’élaboration du prochain CFP.

Recommandation n° 3 – Communication d’informations sur la performance et préparatifs en vue de l’examen de la performance de 2019

Afin d’améliorer sa communication d’informations sur la performance et de procéder à un examen de la performance pertinent, avec des données fiables et des valeurs intermédiaires réalistes, la Commission devrait:

1. avoir une vue d’ensemble des principales faiblesses et incertitudes relevées au niveau des systèmes de suivi des PO en se fondant sur ses propres audits et sur ceux réalisés par les autorités d’audit (les nécessaires audits des systèmes/de la fiabilité des données relatives à la performance);
2. veiller à ce que les modifications aux PO demandées par les États membres dans le contexte de révisions justifiées des valeurs intermédiaires du cadre de performance soient traitées à temps pour l’examen de la performance.

Délai de mise en œuvre: avant l’achèvement de l’examen de la performance.

Le présent rapport a été adopté par la Chambre II, présidée par M^me Iliana IVANOVA, Membre de la Cour des comptes, à Luxembourg en sa réunion du 27 juin 2018.

Glossaire

Autorité de gestion (AG): organisme public ou privé désigné par un État membre pour gérer un programme opérationnel. Elle a, entre autres, pour tâche de sélectionner les projets à subventionner, d’assurer le suivi de leur mise en œuvre et de faire rapport à la Commission sur les aspects financiers et sur les résultats obtenus.

Axe prioritaire: une ou plusieurs priorités d’investissement associées à un objectif thématique. Un programme opérationnel est financé par axe prioritaire.

Cadre de performance: cadre définissant les valeurs intermédiaires et les valeurs cibles pour chacun des axes prioritaires d’un programme opérationnel et constituant un pilier important de l’approche axée sur les résultats.

Code de conduite européen sur le partenariat: ensemble de principes définis par le règlement délégué (UE) n° 240/2014 de la Commission en vue de soutenir les États membres dans l’organisation de partenariats pour l’élaboration et la mise en œuvre des accords de partenariat et des programmes opérationnels.

Comité de suivi: comité qui assure le suivi de la mise en œuvre d’un PO. Il est composé de «représentants des autorités nationales compétentes» (par exemple des représentants des autorités de gestion, des autorités de certification et des autorités d’audit, des organismes chargés de la mise en œuvre, des organisations d’employeurs et de travailleurs, et de la société civile). La Commission tient également un rôle d’observateur.

Conditions ex ante: conditions qu’un État membre doit remplir pour pouvoir bénéficier de financements au titre des Fonds structurels et d’investissement européens. Lors de l’élaboration des programmes opérationnels relevant de la période de programmation 2014-2020, les États membres étaient tenus d’évaluer si ces conditions étaient respectées. Si tel n’était pas le cas, ils devaient établir des plans d’action permettant d’y satisfaire pour le 31 décembre 2016.

Critères de sélection/d’attribution: critères préalablement définis, appliqués dans les procédures de sélection pour évaluer la capacité des demandeurs à mener à son terme l’action ou le programme de travail proposé.

Fonds structurels et d’investissement européens (Fonds ESI): il s’agit de cinq Fonds distincts qui visent à réduire les déséquilibres régionaux dans l’Union en fixant des cadres stratégiques pour la période budgétaire couverte par le cadre financier pluriannuel (CFP) septennal. Ils comprennent: le Fonds européen de développement régional (FEDER), le Fonds social européen (FSE), le Fonds de cohésion (FC), le Fonds européen agricole pour le développement rural (Feader) et le Fonds européen pour les affaires maritimes et la pêche (FEAMP).

Indicateur: variable indicative qui donne des informations permettant de déterminer le degré de réalisation d’un objectif.

Indicateurs de réalisation: valeurs utilisées pour mesurer les réalisations des opérations financées ou les réalisations au niveau des programmes opérationnels.

Indicateurs de résultat: valeurs utilisées pour mesurer les résultats des projets subventionnés ou les résultats obtenus au niveau des programmes opérationnels.

Indicateurs financiers: valeurs utilisées pour assurer le suivi des progrès accomplis en matière d’engagement (annuel) et de versement des fonds disponibles pour un projet, une mesure ou un programme, quels qu’ils soient, par rapport à leur coût éligible.

Logique d’intervention: logique définissant le lien entre les besoins évalués, les objectifs, les intrants (prévus et affectés), les réalisations (visées et obtenues) et les résultats (escomptés et réels).

Objectif spécifique: résultat escompté auquel l’action de l’UE vise à contribuer.

Priorités d’investissement: pour chaque axe prioritaire, les États membres sont tenus de définir dans leurs programmes opérationnels les priorités d’investissement et les objectifs spécifiques correspondants. Ils sont énumérés dans la réglementation spécifique applicable au FEDER, au FSE et au Fonds de cohésion.

Programme opérationnel (PO): déclaration concernant les priorités et les objectifs spécifiques d’un État membre dans laquelle sont établies les modalités d’utilisation des fonds (cofinancement public et privé par l’UE et l’État membre) au cours d’une période déterminée (actuellement sept ans) pour financer des projets. Les projets relevant d’un PO doivent contribuer à la réalisation d’un certain nombre d’objectifs définis au niveau des axes prioritaires du PO. Les PO sont financés au titre du FEDER, du FC et/ou du FSE. Ils sont élaborés par les États membres et doivent être approuvés par la Commission préalablement à tout paiement sur le budget de l’UE. Pendant la période de programmation, ils ne peuvent être modifiés que par accord entre les deux parties.

Réalisations: ce qui est produit ou accompli avec les moyens affectés à une intervention (par exemple, formations dispensées aux jeunes chômeurs, nombre d’installations de traitement des eaux usées ou de kilomètres de routes construites, etc.).

Réserve de performance: moyens constituant 6 % des ressources allouées au FEDER, au FSE et au Fonds de cohésion ou au Feader et au FEAMP, qui seront mis à disposition à l’issue de l’examen 2019 de la performance, à condition que certaines exigences aient été remplies, voire dépassées.

Résultat: changement immédiat pour les bénéficiaires dès la fin de leur participation à une intervention (par exemple, amélioration de l’accessibilité à une zone grâce à la construction d’une route ou, pour un stagiaire, obtention d’un emploi).

Stratégie Europe 2020: stratégie de croissance adoptée par l’UE pour la période 2010-2020 et visant à faire sortir l’Union de la crise. La stratégie s’articule autour des cinq grands objectifs suivants: l’emploi, la recherche et le développement, le climat et l’énergie, l’éducation, l’inclusion sociale et la réduction de la pauvreté.

Suivi: il s’agit de l’examen régulier des dépenses, des réalisations et des résultats, ce qui permet d’obtenir des informations actualisées sur le bon déroulement des projets ou programmes.

Liste des abréviations et acronymes

AC: Autorité de certification

AG: Autorité de gestion

AGC: Autorité de gestion déléguée

CE: Commission européenne

CSC: Cadre stratégique commun

FC: Fonds de cohésion

FEDER: Fonds européen de développement régional

Fonds ESI: Fonds structurels et d’investissement européens

FSE: Fonds social européen

OS: Objectif spécifique

OT: Objectif thématique

PI: Priorité d’investissement

PME: Petites et moyennes entreprises

PO: Programme opérationnel

RAMO: Rapport annuel de mise en œuvre

RDC: Règlement portant dispositions communes

Équipe d’audit

Les rapports spéciaux de la Cour présentent les résultats de ses audits relatifs aux politiques et programmes de l’UE ou à des questions de gestion concernant des domaines budgétaires spécifiques. La Cour sélectionne et conçoit ces activités d’audit de manière à maximiser leur incidence en tenant compte des risques pour la performance ou la conformité, du niveau des recettes ou des dépenses concernées, des évolutions escomptées ainsi que de l’importance politique et de l’intérêt du public.

Le présent audit de la performance a été réalisé par la Chambre II (Investissements en faveur de la cohésion, de la croissance et de l’inclusion), présidée par M^me Iliana Ivanova, Membre de la Cour. L’audit a été effectué sous la responsabilité de M. Ladislav Balko, Membre de la Cour, assisté de: M. Branislav Urbanič, chef de cabinet; M^me Zuzana Franková, attachée de cabinet; M^me Myriam Cazzaniga, manager principal; M. Pekka Ulander, chef de mission; M^me Michaela Binder, expert national détaché.

Contact

COUR DES COMPTES EUROPÉENNE
12, rue Alcide De Gasperi
1615 Luxembourg
LUXEMBOURG

Tél. +352 4398-1
Contact: eca.europa.eu/fr/Pages/ContactForm.aspx
Site web: eca.europa.eu
Twitter: @EUAuditors

De nombreuses autres informations sur l’Union européenne sont disponibles sur l’internet via le serveur Europa (http://europa.eu).

Luxembourg: Office des publications de l’Union européenne, 2018

PDF	ISBN 978-92-847-0518-4	ISSN 1977-5695	doi:10.2865/4194	QJ-AB-18-018-FR-N
HTML	ISBN 978-92-847-0538-2	ISSN 1977-5695	doi:10.2865/713738	QJ-AB-18-018-FR-Q

© Union européenne, 2018

Toute utilisation ou reproduction de photos ou d’autres éléments non protégés par le droit d’auteur de l’Union européenne nécessite l’autorisation expresse du titulaire du droit d’auteur.

COMMENT PRENDRE CONTACT AVEC L’UNION EUROPÉENNE?

En personne
Dans toute l’Union européenne, des centaines de centres d’information Europe Direct sont à votre disposition. Pour connaître l’adresse du centre le plus proche, visitez la page suivante: https://europa.eu/european-union/contact_fr

Par téléphone ou courrier électronique
Europe Direct est un service qui répond à vos questions sur l’Union européenne. Vous pouvez prendre contact avec ce service:

• par téléphone: via un numéro gratuit: 00 800 6 7 8 9 10 11 (certains opérateurs facturent cependant ces appels),
• au numéro de standard suivant: +32 22999696;
• par courrier électronique via la page https://europa.eu/european-union/contact/write-to-us_fr

COMMENT TROUVER DES INFORMATIONS SUR L’UNION EUROPÉENNE?

En ligne
Des informations sur l’Union européenne sont disponibles, dans toutes les langues officielles de l’UE, sur le site internet Europa à l’adresse https://europa.eu/european-union/index_fr

Publications de l’Union européenne
Vous pouvez télécharger ou commander des publications gratuites et payantes sur le site EU Bookshop à l’adresse suivante: https://op.europa.eu/fr/publications. Vous pouvez obtenir plusieurs exemplaires de publications gratuites en contactant Europe Direct ou votre centre d’information local (https://europa.eu/european-union/contact_fr).

Droit de l’Union européenne et documents connexes
Pour accéder aux informations juridiques de l’Union, y compris à l’ensemble du droit de l’UE depuis 1951 dans toutes les versions linguistiques officielles, consultez EUR-Lex à l’adresse suivante: http://eur-lex.europa.eu

Données ouvertes de l’Union européenne
Le portail des données ouvertes de l’Union européenne (http://data.europa.eu/euodp/fr/home?) donne accès à des ensembles de données provenant de l’UE. Les données peuvent être téléchargées et réutilisées gratuitement, à des fins commerciales ou non commerciales.