Qualité des données dans le domaine de l'appui budgétaire: faiblesses de certains indicateurs et des vérifications effectuées concernant le versement des tranches variables
À propos du rapport
L'appui budgétaire est une forme d'aide fournie par l'UE, qui consiste à transférer des fonds vers le Trésor national d'un pays partenaire si celui-ci remplit des conditions de paiement convenues. Les paiements au titre de l'appui budgétaire sont effectués sous la forme de tranches fixes ou variables. Les montants versés pour les tranches variables dépendent de la performance des pays partenaires, qui est mesurée en fonction d'indicateurs de performance préalablement définis. Nous avons examiné si la Commission avait utilisé des données pertinentes et fiables sur la performance pour procéder au décaissement des tranches variables de l'appui budgétaire. Nous concluons qu'un tiers des indicateurs de performance examinés présentaient des faiblesses en raison de la manière dont ils sont conçus, ce qui pouvait donner lieu à des interprétations différentes concernant la question de savoir si les valeurs cibles avaient été atteintes. Par ailleurs, l'évaluation, par la Commission, du respect des valeurs associées aux indicateurs de tranche variable n'était pas toujours fiable. Nous émettons des recommandations destinées à améliorer la formulation des indicateurs, à augmenter le recours aux indicateurs de résultat et à améliorer la vérification des données sur la performance utilisées pour décider du décaissement des tranches variables.
Rapport spécial de la Cour des comptes européenne présenté en vertu de l'article 287, paragraphe 4, deuxième alinéa, du TFUE.
Synthèse
IL'appui budgétaire est une forme d'aide fournie par l'UE, qui consiste à transférer des fonds vers le Trésor national d'un pays partenaire si celui-ci remplit des conditions de paiement convenues. L'UE est le plus grand pourvoyeur d'appui budgétaire, avec une moyenne de 1,69 milliard d'euros de paiements annuels. Les paiements au titre de l'appui budgétaire sont effectués sous la forme de tranches fixes ou variables. Environ 44 % des paiements de l'UE au titre de l'appui budgétaire concernaient des tranches variables. Dans certains pays du voisinage de l'UE, ces dernières représentaient 90 % des paiements. Les montants versés pour les tranches variables dépendent de la performance des pays partenaires, qui est mesurée en fonction d'indicateurs de performance définis au préalable.
IINous avons examiné si la Commission avait utilisé des données pertinentes et fiables sur la performance pour procéder au décaissement des tranches variables de l'appui budgétaire. Pour un tiers des indicateurs de performance examinés, nous arrivons à la conclusion que la manière dont ils sont conçus leur fait perdre de leur pertinence et qu'ils ne permettent pas de mesurer objectivement les résultats. Par ailleurs, l'évaluation, par la Commission, du respect des valeurs associées aux indicateurs de tranche variable n'était pas toujours fiable, ce qui a donné lieu à des versements sans justification suffisante.
IIILes indicateurs de performance des tranches variables étaient alignés sur les stratégies de développement sectoriel des pays partenaires, mais étaient, pour la plupart, axés sur des actions à court terme plutôt que sur des résultats à plus long terme, y compris sur les progrès accomplis au fil du temps dans la réalisation des objectifs de développement durable. En outre, plus d'un tiers des indicateurs étaient définis en termes vagues ou comprenaient des valeurs de départ incorrectes, voire aucune. Cela a donné lieu à des interprétations différentes concernant la question de savoir si les valeurs cibles avaient été atteintes, ce qui a contribué à rendre l'analyse des demandes de décaissement plus complexe et moins objective.
IVLa plupart des tranches variables examinées comportaient des valeurs cibles suffisamment ambitieuses et ont ainsi produit l'effet voulu en encourageant les pays partenaires à progresser dans leurs programmes de réforme. Les quelques exceptions que nous avons relevées concernaient des indicateurs assortis de valeurs cibles qui étaient faciles à atteindre ou qui avaient été atteintes grâce à des travaux réalisés par d'autres donateurs ou par des experts externes payés par l'UE. Le nombre d'indicateurs utilisés dans chaque tranche variable était trop élevé dans six des 24 contrats, ce qui a encore compliqué le processus de décaissement.
VLes demandes de décaissement pour les tranches variables comportent une analyse du respect des conditions convenues et des résultats obtenus pour les indicateurs de performance fixés d'un commun accord. Ces demandes sont élaborées par les pays partenaires; la fiabilité des données sous-jacentes sur la performance dépend donc de la capacité de ces pays à les produire. Nous avons constaté que la Commission n'avait tiré des conclusions explicites concernant la fiabilité des données sur la performance nécessaires pour calculer les indicateurs de tranche variable que pour cinq des 24 contrats sélectionnés. Lors de l'analyse des demandes de décaissement, les délégations de l'UE ont mis en œuvre diverses procédures pour vérifier la fiabilité de ces données. Certaines de ces procédures ne permettent pas de garantir que les versements de tranches variables sont fondés sur des données fiables; elles ne se justifient donc pas pleinement.
VINous avons réexécuté les évaluations de la Commission visant à établir si les valeurs cibles associées aux indicateurs avaient été atteintes. Nous avons ensuite recalculé les montants des tranches variables versées pour un total de 234 millions d'euros. Sur la base de ces travaux, nous avons relevé des divergences concernant 16,7 millions d'euros, dont 13,3 millions d'euros étaient insuffisamment justifiés ou non conformes aux dispositions contractuelles. Un montant de 3,4 millions d'euros a été payé alors qu'aucun progrès n'avait réellement été accompli. En outre, 26,3 millions d'euros ont été versés à la Moldavie au titre de trois tranches variables sans que les raisons ayant motivé ces paiements soient suffisamment documentées.
VIINous adressons à la Commission six recommandations qui visent à ce qu'elle:
- recoure davantage aux indicateurs de résultat pour les tranches variables;
- améliore la formulation des indicateurs de performance;
- préserve l'effet incitatif des tranches variables;
- simplifie le processus de décaissement pour les tranches variables;
- améliore les évaluations concernant la capacité des pays à produire les données sur la performance utilisées pour les tranches variables;
- améliore la vérification des données sur la performance utilisées pour décider du décaissement des tranches variables.
Introduction
La notion d'appui budgétaire
01L'appui budgétaire est une forme d'aide fournie par l'UE, qui consiste à transférer des fonds vers le Trésor national d'un pays partenaire si celui-ci remplit des conditions de paiement convenues. Les fonds ainsi perçus sont incorporés au budget du pays partenaire, qui peut les utiliser comme il le juge approprié. La Commission décrit l'appui budgétaire comme un moyen de fournir une aide efficace et d'atteindre des résultats durables en soutenant les efforts de réforme des partenaires de l'UE ainsi que les objectifs de développement durable (ODD).
02Outre le transfert de ressources financières, l'appui budgétaire comporte: i) un dialogue avec le pays partenaire sur les réformes ou les objectifs de développement dont l'appui budgétaire peut contribuer à la réalisation, ii) une évaluation des progrès réalisés, iii) une aide au renforcement des capacités. Avec l'appui budgétaire, on passe d'une aide mettant traditionnellement l'accent sur les activités (par exemple des projets) à une aide axée sur les résultats.
03L'UE est le plus grand pourvoyeur d'appui budgétaire dans le monde (aussi bien par l'intermédiaire de son budget que dans le cadre des Fonds européens de développement). Au cours de la période 2014‑2017, l'UE a engagé au titre de l'appui budgétaire quelque 11 % (voir annexe I) de son budget consacré à l'aide bilatérale au développement, soit environ 2,13 milliards d'euros en moyenne par an. En 2017, elle a fourni un appui budgétaire à 90 pays et territoires, qui ont reçu en tout 1,8 milliard d'euros. Le montant total engagé pour tous les contrats d'appui budgétaire en cours s'élève à 12,7 milliards d'euros. La figure 1 montre une ventilation de ces chiffres par zone géographique, tant pour le budget général de l'UE que pour les Fonds européens de développement.
L'appui budgétaire de l'UE exige que des politiques pertinentes et crédibles soient en place et mises en œuvre efficacement par le pays bénéficiaire. En vertu du règlement financier, un pays peut être considéré comme éligible à l'appui budgétaire lorsque les conditions ci-après sont remplies1:
- la gestion des finances publiques du pays partenaire est suffisamment transparente, fiable et efficace;
- le pays partenaire a mis en place des politiques sectorielles ou nationales suffisamment crédibles et pertinentes;
- le pays partenaire a mis en place des politiques macroéconomiques axées sur la stabilité;
- le pays partenaire a mis en place un accès suffisant et rapide à des informations budgétaires exhaustives et fiables.
La Commission européenne utilise trois types de contrats d'appui budgétaire.
- Les contrats Objectifs de développement durable (C-ODD), qui visent à contribuer à ce que les politiques et stratégies nationales permettent de progresser dans la réalisation des objectifs de développement durable.
- Les contrats de performance de réforme sectorielle (CPRS), qui visent à soutenir des réformes sectorielles spécifiques.
- Les contrats d'appui à la consolidation de l'État et à la résilience (CCER), qui sont destinés à des pays en situation de fragilité pour les aider à assurer les fonctions essentielles de l'État ou pour soutenir les processus de passage à une gouvernance démocratique.
La grande majorité des programmes d'appui budgétaire de la Commission européenne sont fondés sur des CPRS (74 % de tous les engagements au titre de l'appui budgétaire en 2017). En ce qui concerne le financement, les quatre plus grands secteurs qui bénéficient d'un soutien au moyen des CPRS sont l'éducation, l'agriculture et le développement rural, la santé, ainsi que l'énergie.
Les tranches variables comme incitation à obtenir des résultats
07Avant chaque décaissement, la Commission vérifie si les conditions générales liées au contrat d'appui budgétaire sont respectées. Dans la plupart des cas, ces conditions sont celles relatives aux critères d'éligibilité à l'appui budgétaire (voir point 04). Les paiements au titre de l'appui budgétaire sont effectués sous la forme de tranches fixes ou variables. Les tranches fixes sont versées dans leur intégralité (si toutes les conditions sont remplies) ou ne sont pas versées du tout (si une ou plusieurs conditions ne sont pas remplies). Les tranches variables sont utilisées pour inciter les pays partenaires à améliorer la mise en œuvre des politiques. Si les conditions générales sont toutes remplies, ces tranches sont versées sur la base de la performance réalisée au regard des valeurs cibles et indicateurs de performance définis. Elles peuvent être payées intégralement ou partiellement. Les indicateurs de performance servant à déterminer les tranches variables peuvent être sélectionnés dans les systèmes de suivi déjà appliqués par le pays partenaire ou dans un cadre commun d'évaluation de la performance convenu avec celui-ci ou avec d'autres donateurs.
08Différents types d'indicateurs de performance peuvent être utilisés pour les politiques publiques (voir encadré 1). En général, la Commission recommande l'utilisation d'indicateurs de résultat, mais d'autres types d'indicateurs peuvent aussi être appropriés en fonction du contexte spécifique du pays partenaire ou du secteur concerné.
Encadré 1
Types d'indicateurs de performance, accompagnés d'exemples
Définition (*) | Exemples d'indicateurs figurant dans les contrats audités (**) | |
Indicateur d'intrants | Moyens financiers, humains et matériels mobilisés pour la mise en œuvre d'un programme |
|
Indicateur de processus | Mesures politiques et réglementaires engagées |
|
Indicateur de produit | Retombées immédiates et concrètes de l'utilisation des ressources et des mesures prises |
|
Indicateur de résultat | Résultats obtenus au niveau des bénéficiaires |
|
Indicateur d'impact | Retombées des résultats en ce qui concerne l'impact dans le cadre d'un objectif plus large |
|
Source: (*) Commission européenne, «Lignes directrices sur l'appui budgétaire», 2017, et (**) Cour des comptes européenne.
Une valeur financière est associée à chaque indicateur de performance. L'une des façons dont la Commission calcule la part de la tranche variable décaissée consiste à additionner les montants liés à chaque indicateur de performance dont le pays a atteint les valeurs cibles. En d'autres termes, le montant de la tranche variable versée sera d'autant plus élevé que le nombre d'indicateurs dont le pays partenaire aura atteint les valeurs cibles sera important.
10En 2017, 44 % des paiements effectués par la Commission pour des contrats d'appui budgétaire concernaient des tranches variables2. Dans certains pays du voisinage de l'UE, ces dernières représentaient 90 % des paiements. La figure 2 présente une ventilation par pays des tranches variables versées pour des CPRS en 2017.
Le décaissement des tranches variables
11Le processus de décaissement d'une tranche variable débute par une demande du pays partenaire. Cette dernière comporte une analyse indiquant dans quelle mesure les valeurs cibles des indicateurs de performance concernés ont été atteintes. Les délégations de l'UE analysent les demandes et établissent une note d'évaluation. Sur la base de celle-ci, et après l'approbation du comité de pilotage de l'appui budgétaire, la Commission fixe le montant de la tranche variable qui devra être versé (voir figure 3).
12L'analyse de la performance du pays partenaire, qui accompagne la demande de décaissement, est fondée sur des données provenant de ses propres systèmes de suivi et d'évaluation. Ces derniers constituent par conséquent la principale source d'information pour le décaissement des tranches variables.
Étendue et approche de l'audit
13Le consensus européen pour le développement adopté en 2017 reconnaît que l'appui budgétaire joue un rôle moteur lorsqu'il s'agit d'encourager les efforts déployés par les pays partenaires pour réaliser les objectifs de développement durable (ODD). Du fait que les tranches variables représentent une part très élevée des paiements au titre de l'appui budgétaire et que les données relatives à la performance sur lesquelles ces paiements sont fondés proviennent des pays bénéficiaires, ces paiements risquent de ne pas récompenser des résultats réels comme prévu si ces données sont inexactes ou non fiables. La réalisation de l'objectif même de l'appui budgétaire serait fortement compromise. Le présent audit visait donc essentiellement à examiner la quantité et la qualité (à savoir la pertinence et la fiabilité) des indicateurs de performance utilisés pour les tranches variables, ainsi que l'analyse de la Commission concernant les demandes de décaissement.
14La principale question d'audit était la suivante: «La Commission a-t-elle utilisé des données pertinentes et fiables sur la performance pour procéder au décaissement des tranches variables de l'appui budgétaire?» Pour y apporter une réponse, nous l'avons scindée en deux sous-questions:
- Les contrats d'appui budgétaire comportaient-ils des indicateurs permettant de suivre efficacement les résultats obtenus dans les secteurs soutenus?
- La Commission a-t-elle vérifié de façon efficace la fiabilité des données sur la performance présentées dans les demandes de décaissement des tranches variables?
L'audit a porté sur un échantillon de 24 contrats de performance de réforme sectorielle (voir annexe II) passés avec les huit pays partenaires bénéficiaires des montants les plus élevés de tranches variables versés en 20173. Ces pays ont perçu 43,29 % de l'ensemble des paiements de tranches variables pour cette année-là. Les tranches variables contrôlées pour les contrats sélectionnés concernaient en tout 248 indicateurs de performance. L'annexe III présente de façon détaillée les paiements effectués en 2017 et les secteurs audités.
16Pour les contrats sélectionnés, nous avons examiné l'évaluation de la Commission concernant la capacité des systèmes des pays à fournir des données fiables sur la performance. Nous avons aussi vérifié les dispositions des contrats d'appui budgétaire, notamment la qualité des indicateurs de performance utilisés pour les tranches variables. Enfin, nous avons examiné les vérifications effectuées par la Commission concernant les données présentées dans les demandes de décaissement des tranches variables. En l'occurrence, nous avons procédé à un contrôle documentaire des dossiers de paiement élaborés par la Commission et avons réexaminé si les valeurs cibles avaient été atteintes et si le calcul des montants de la tranche variable versés était correct. Nous avons ensuite comparé nos conclusions à celles de la Commission.
17L'audit a comporté des visites dans trois pays: la Jordanie, la Géorgie et la Bolivie. Au cours de celles-ci, qui ont eu lieu en février et en mars 2019, nous nous sommes entretenus avec des agents de la Commission, des représentants des autorités nationales et d'autres donateurs/parties prenantes. En plus des procédures appliquées pour les autres pays sélectionnés, nous avons réexécuté dans ces trois pays les vérifications effectuées par la Commission concernant les demandes de décaissement des tranches variables et les paiements correspondants. Nous avons ensuite comparé nos résultats à ceux de l'analyse de la Commission. De plus, nous avons réalisé des contrôles croisés entre les données sur la performance déclarées par les pays partenaires et d'autres sources d'éléments probants provenant d'experts externes et d'autres donateurs pour en évaluer la fiabilité.
Observations
La manière dont les indicateurs de tranche variable sont conçus en réduit la pertinence
18Nous avons examiné: i) si les indicateurs de performance étaient pertinents pour réaliser les objectifs visés par les contrats d'appui budgétaire et s'ils étaient alignés sur les politiques du pays; ii) s'ils constituaient une base solide pour assurer le suivi des résultats significatifs.
Les indicateurs concordent avec les stratégies sectorielles des pays, mais sont essentiellement axés sur des mesures à court terme plutôt que sur des résultats à plus long terme
19La Commission considère l'appui budgétaire comme une forme d'aide axée sur les résultats. Alors que les aides octroyées à des projets sont décaissées en remboursement de dépenses éligibles, les tranches variables de l'appui budgétaire le sont lorsque les pays partenaires remplissent les conditions générales et obtiennent des résultats convenus au préalable, mesurés au moyen d'indicateurs de performance sélectionnés. L'importance des tranches variables dépend donc de la mesure dans laquelle ces indicateurs de performance mesurent des résultats significatifs.
20Il existe cinq types d'indicateurs, qui sont présentés dans l'encadré 1. Les indicateurs d'intrants, de processus et de produits sont les plus pertinents pour la gestion quotidienne des programmes de dépenses publiques. Les indicateurs de résultat et d'impact mesurent les effets à plus long terme, tels que l'état d'avancement des réformes et des programmes au regard des objectifs fixés, par exemple les ODD. La figure 4 présente l'exemple des différents types d'indicateurs utilisés pour l'un des programmes d'appui budgétaire en Bolivie.
Les lignes directrices sur l'appui budgétaire autorisent l'utilisation de tous les types d'indicateur susmentionnés. Selon la Commission, une préférence devrait toutefois être accordée aux indicateurs de résultat, car ils encouragent l'élaboration de politiques fondées sur des éléments concrets, ils protègent l'espace politique permettant à certains pays partenaires de choisir les politiques et les stratégies qui leur sont propres pour obtenir ces résultats, et ils stimulent la demande en faveur d'informations statistiques de haute qualité. Plus le gouvernement du pays partenaire suscite la confiance dans sa capacité à fournir des données fiables, plus l'accent devra être placé sur les indicateurs de résultat. Nous estimons que les indicateurs d'impact sont aussi utiles pour mesurer les résultats, notamment en ce qui concerne la réalisation des ODD.
22Notre analyse des 248 indicateurs figurant dans les contrats audités montre qu'ils sont alignés sur les stratégies sectorielles des pays partenaires. Toutefois, les décaissements de tranches variables sont essentiellement fondés sur des indicateurs d'intrants, de processus et de résultat, qui représentent ensemble 87 % de tous les indicateurs. Seuls 33 indicateurs (13 %) servaient à mesurer les résultats et l'impact (voir figure 5).
Nous avons constaté que la plupart des indicateurs de résultat et d'impact étaient utilisés dans des pays à faible revenu et à revenu intermédiaire de la tranche inférieure. En revanche, dans les pays à revenu intermédiaire de la tranche supérieure, tels que la Jordanie et la Géorgie, qui étaient dotés de meilleures capacités à produire des données sur la performance, quatre indicateurs de résultat seulement ont été utilisés et aucun indicateur d'impact ne l'a été. Cela montre que le choix des indicateurs n'est pas nécessairement lié au niveau de développement des pays.
24Les indicateurs d'intrants utilisés pour les tranches variables auditées concernaient essentiellement des marchés publics pour l'acquisition de biens (18 cas) et des augmentations de dotations budgétaires (neuf cas). Des budgets revus à la hausse ou des marchés publics pour l'achat d'équipements sont susceptibles d'entraîner des changements dans un domaine d'intérêt donné, mais cela ne signifie pas automatiquement que des progrès significatifs seront accomplis.
25Les indicateurs de processus peuvent être utiles, en particulier lorsque la politique menée vise à modifier le cadre réglementaire. Cependant, comme cela est indiqué dans les lignes directrices, ils ne devraient pas cibler uniquement les processus, mais aussi mesurer des aspects qualitatifs, par exemple les éléments qu'une entité à créer est censée couvrir, etc.4 Or ce n'était pas toujours le cas. L'encadré 2 présente quelques exemples d'indicateurs qui ne mentionnaient aucune exigence minimale quant à la qualité du contenu ou de la structure des informations à communiquer. Dès lors, il est difficile de s'assurer que les tranches variables récompensent des processus de bonne qualité.
Encadré 2
Exemples d'indicateurs de processus dépourvus de spécifications qualitatives
Dans le contrat relatif au plan d'action concernant la libéralisation du régime des visas de la Moldavie (contrat n° 15), un indicateur porte sur l'approbation d'un cadre réglementaire pour l'enregistrement obligatoire des infractions signalées, sans la moindre référence à la qualité/au contenu de ce cadre.
Dans le contrat sur l'énergie pour la Jordanie (contrat n° 4), la valeur cible d'un indicateur était énoncée comme suit: une structure pour le dialogue politique entre plusieurs parties prenantes, dirigée par le ministère de l'énergie et des ressources minérales est opérationnelle et se réunit régulièrement. Aucune précision supplémentaire n'était apportée concernant le nombre de réunions à tenir.
Un tiers des indicateurs ne permettent pas de mesurer objectivement les résultats
26Les indicateurs utilisés pour mesurer l'état d'avancement de la mise en œuvre d'une politique publique doivent être spécifiques et assortis de valeurs cibles quantifiées et mesurables et, le cas échéant, d'une valeur de départ fiable. Si ce n'est pas le cas, il est impossible de mesurer objectivement les progrès accomplis. Les indicateurs, les valeurs de départ et les valeurs cibles doivent être convenus lors de l'établissement des contrats d'appui budgétaire et précisés dans la convention de financement. Bien que les lignes directrices préconisent d'éviter toute modification des indicateurs, il se peut que les valeurs cibles doivent être changées au cours de l'exécution du contrat afin de tenir compte de nouvelles circonstances ou de corriger des erreurs dans la définition des valeurs de départ ou dans le calcul des indicateurs.
27Notre analyse montre que 72 indicateurs (à savoir 29 % de notre échantillon) n'étaient pas suffisamment spécifiques. Des indicateurs non spécifiques sont particulièrement problématiques lors de l'analyse des demandes de décaissement, car il existe un risque d'aboutir à des appréciations contradictoires lorsqu'il s'agit de déterminer si les valeurs cibles ont été atteintes. Par suite, le calcul du montant de tranche variable à payer risque d'aboutir à des résultats différents.
28Parmi les indicateurs, 29 % étaient formulés en termes vagues, sans valeurs cibles quantifiées, et comportaient des mots tels que «améliorer», «mettre davantage l'accent sur» et «fournir des éléments probants». Nous avons observé que les contrats dans le secteur agricole contenaient le plus grand nombre d'indicateurs spécifiques (86,5 %), tandis que 60 % seulement des indicateurs étaient spécifiques dans le cas de la gestion des finances publiques (GFP). L'encadré 3 présente des exemples d'indicateurs non spécifiques et des conséquences sur le calcul des montants de tranches variables à décaisser.
Encadré 3
Exemples d'indicateurs/de valeurs cibles non spécifiques
- Dans le contrat sur l'aide en faveur de la deuxième phase de la réforme de l'enseignement en Jordanie (contrat n° 1), la valeur cible pour l'indicateur n° 5 était la suivante: six nouvelles écoles équipées et opérationnelles, dotées de moyens/d'un environnement d'apprentissage et de ressources humaines qui soient appropriés. La convention de financement ne précisait pas suffisamment comment le terme «appropriés» devait être respecté et comment cela devait être quantifié pour calculer le paiement, avec le risque que cela donne lieu à différentes interprétations. Dès lors, l'expert externe chargé par la Commission de vérifier si les valeurs cibles avaient été atteintes a dû élaborer sa propre méthodologie pour évaluer ces critères. Cela signifie que ces critères n'avaient pas été définis au préalable dans la convention de financement et qu'ils n'avaient donc pas été convenus avec le pays partenaire.
- L'indicateur n° 2.1 du contrat sur le soutien à la réforme de la politique des finances publiques en Géorgie (contrat n° 8) est énoncé comme suit: Le ministère des finances organise une série de débats publics sur la gouvernance budgétaire […]. Cet indicateur ne précise ni le nombre ni la nature de ces réunions.
Nous avons aussi relevé de bons exemples où la Commission s'était efforcée de mesurer les progrès accomplis pour des indicateurs qui n'étaient pas faciles à analyser. Pour ce qui est du cas illustré dans l'encadré 4, la Commission avait montré la voie pour l'ensemble de la communauté des donateurs dans le domaine de l'éducation.
Encadré 4
Mesurer la qualité de l'éducation: un bon exemple
Dans le contrat sur l'«Appui budgétaire destiné à permettre au ministère jordanien de l'éducation de faire face à la crise des réfugiés syriens», la Commission a utilisé l'indicateur suivant: Fournir aux élèves syriens dans les communautés d'accueil et dans les camps une éducation de qualité, qui soit comparable aux standards jordaniens et à celle préconisée dans le pays, dans des écoles à double vacation et à vacation unique.
Il s'agissait d'un indicateur de résultat qui servait à mesurer la qualité de l'éducation fournie aux étudiants syriens. Une enquête sur un échantillon d'établissements scolaires a été réalisée pour apprécier la valeur de l'indicateur. Dans chaque école, la qualité de l'enseignement a été mesurée moyennant l'évaluation de dix facteurs différents (tels que les observations des leçons, l'implication des parents et des étudiants, la représentation à parts égales des garçons, des filles, des réfugiés et des Jordaniens) sur une échelle allant de un à quatre points. Les notes obtenues (à savoir celles relatives à la performance en matière de qualité) ont été utilisées pour classer les établissements scolaires du niveau A+ (bons) à C- (ceux qui nécessitent des améliorations).
Cet indicateur était le premier servant à mesurer la qualité de l'enseignement en Jordanie. Par la suite, il a été utilisé par d'autres donateurs et introduit dans le cadre commun des résultats de ce pays.
Cependant, nous avons constaté que la vérification des résultats obtenus pour les différents indicateurs présentait des faiblesses (voir encadré 10).
Les valeurs de départ faisaient défaut ou étaient incorrectes pour 41 % des indicateurs sur l'état d'avancement
30Pour mesurer efficacement les résultats, il faut, entre autres, disposer au départ d'indicateurs clairs et précis. Les progrès ne sont mesurables que si les valeurs cibles fixées peuvent être comparées à la situation préalable à l'intervention, en d'autres termes à des valeurs de départ. Pour 35 des 85 indicateurs analysés nécessitant des valeurs de départ (à savoir ceux sur l'état d'avancement5), nous avons relevé des problèmes liés à: i) l'absence de telles valeurs (15 indicateurs), ii) des valeurs de départ incorrectes ou obsolètes (20 indicateurs).
31Pour 15 indicateurs, aucune valeur de départ n'avait été définie. Ils figuraient dans quatre des 24 contrats d'appui budgétaire sélectionnés (à savoir les contrats nos 6, 7, 8 et 17). Cette absence de valeurs de départ tenait principalement au fait que les pays partenaires n'avaient assuré aucun suivi de la situation avant que le contrat d'appui budgétaire prenne effet. Or nous avons relevé des exemples où, dans une situation similaire, la Commission avait conditionné le versement de la première tranche variable du contrat d'appui budgétaire au calcul d'une valeur de départ par le pays partenaire. Dans d'autres cas, la Commission a réalisé les travaux nécessaires (à savoir des enquêtes) pour calculer les valeurs de départ manquantes. Nous considérons qu'il s'agit de bonnes pratiques. L'encadré 5 donne un exemple des travaux que la Commission a dû effectuer pour que l'indicateur concerné permette d'évaluer précisément les progrès accomplis en vue des tranches suivantes.
Encadré 5
Établissement de valeurs de départ
L'indicateur n° 3 du contrat sur la réforme du secteur de l'énergie, qui visait à accroître la performance de ce dernier au Rwanda (contrat n° 19), constitue un exemple de bonne pratique dans l'établissement de valeurs de départ moyennant le remplacement de données manquantes par d'autres sources d'information. Cet indicateur est mesuré dans le cadre d'une enquête annuelle pendant toute la durée du contrat. Or les résultats de cette enquête n'étaient pas connus au moment où la convention de financement a été établie, de sorte qu'aucune valeur de départ n'était disponible. Pour fixer la valeur de départ, la délégation de l'UE a réalisé une analyse approfondie et des vérifications croisées d'autres sources de données telles que la stratégie dans le domaine de l'énergie de biomasse à compter de 2009, l'évaluation de l'alliance mondiale pour les réchauds écologiques propres à compter de 2012, et le rapport de la carte globale intégrée de l'offre et de la demande de bois de feu. Sur la base de ces travaux, la délégation de l'UE a été en mesure de définir une valeur de base pertinente.
En outre, 20 indicateurs étaient assortis de valeurs de départ incorrectes ou obsolètes. Dans 11 de ces cas, de nouvelles données pertinentes pour calculer correctement la valeur de départ ont été disponibles après la signature du contrat d'appui budgétaire. Alors qu'il était en l'occurrence possible de modifier la convention de financement pour tenir compte de la valeur de départ correcte, la Commission ne l'a pas fait. En outre, du fait de l'utilisation de valeurs de départ incorrectes ou obsolètes, des indicateurs comportaient des valeurs cibles inférieures aux valeurs de départ réelles. L'encadré 6 donne plusieurs exemples.
Encadré 6
Exemples d'indicateurs pour lesquels les valeurs de départ faisaient défaut ou étaient incorrectes
Absence de valeurs de départ
Pour le contrat intitulé «Emploi, ainsi qu'enseignement et formation professionnels» en Géorgie (contrat n° 7), aucune valeur de départ n'était définie lors de la signature de la convention de financement en 2014, et ce pour les cinq indicateurs mesurant l'état d'avancement. Dès lors, la valeur de départ par rapport à laquelle mesurer toute augmentation était égale à zéro. En d'autres termes, tout progrès signalé pouvait être considéré comme suffisant pour atteindre la valeur cible. À titre d'exemple, le contrat comportait des valeurs cibles dont l'objectif sous-jacent était l'augmentation du nombre relatif d'enseignants recevant une formation initiale ou continue. Or aucune donnée n'était disponible sur le nombre d'enseignants déjà bénéficiaires du type de formation visé. De plus, les notions de formation «initiale» et «continue» n'ont été introduites qu'en 2016. Il était par conséquent impossible de connaître la situation de départ au moment de l'établissement des valeurs cibles. Étant donné qu'aucune valeur de départ n'était disponible, la Commission a tenu compte des évolutions au sens large dans le secteur de l'éducation, plutôt que des valeurs fixées pour les indicateurs.
Les valeurs de départ ne sont pas désagrégées
Dans certains cas, la valeur de départ était fournie, mais sans être suffisamment désagrégée pour permettre d'apprécier les progrès accomplis. La valeur cible pour l'indicateur n° 1 d'un contrat passé avec la Bolivie (contrat n° 9) imposait à une série d'institutions de former un nombre précis d'agents en 2016. La valeur de départ comportait des informations sur le nombre de formations proposées en 2013. Elle n'était toutefois pas suffisamment désagrégée, car elle ne précisait pas le nombre d'agents formés par chaque institution. D'autres documents qui nous ont été fournis montrent que, dans certains centres de formation, le nombre d'agents formés en 2013 dépassait déjà les deux valeurs cibles fixées pour 2016, de 2 % dans un cas et de 42 % dans l'autre. En l'occurrence, le fait que la valeur de départ n'était pas suffisamment désagrégée a entraîné la fixation de valeurs cibles peu ambitieuses.
Valeurs de départ incorrectes
Dans le contrat intitulé «Programme de soutien au plan relatif au secteur de l'éducation» au Pakistan (contrat n° 24), la valeur de départ pour l'indicateur n° 5 concernait le nombre d'étudiants bénéficiant d'un système de bourses. Or la valeur cible était un pourcentage de filles éligibles recevant le montant de la bourse en temps utile. La valeur de départ n'était donc pas directement liée à la valeur cible.
Les indicateurs produisent généralement l'effet incitatif voulu, mais ils sont trop nombreux
33L'un des principaux objectifs de l'appui budgétaire est d'inciter les pays partenaires à suivre la voie des réformes convenues. À cet effet, il faut que les indicateurs utilisés pour les tranches variables nécessitent un réel effort de la part du pays bénéficiaire. Les valeurs cibles correspondantes devraient aussi trouver le juste équilibre entre ambition et facilité à être atteintes6.
34Nous avons constaté que la plupart des tranches variables examinées avaient eu pour effet d'inciter les pays partenaires à mettre en œuvre certains aspects de leurs stratégies de développement. Cependant, les valeurs cibles utilisées pour 11 des indicateurs sélectionnés étaient très faciles à atteindre. Parmi ceux-ci figurent quatre indicateurs dont les valeurs cibles fixées étaient très faibles en raison de l'utilisation de valeurs de départ incorrectes (voir points 31 et 32). L'encadré 7 présente quelques exemples d'indicateurs ayant eu peu d'effet incitatif. En outre, pour 12 autres indicateurs figurant dans trois contrats passés en Moldavie (contrat n° 16), en Bolivie (contrat n° 10) et au Pakistan (contrat n° 23), la plupart des valeurs cibles ont été atteintes grâce aux aides fournies dans le cadre de l'assistance technique, versées par l'UE ou par d'autres donateurs. Nous sommes d'avis que le degré d'appropriation de ces indicateurs est limité et que leur effet incitatif est faible du fait qu'ils ne nécessitent pas un engagement fort de la part des pays partenaires.
Encadré 7
Exemples d'indicateurs assortis de valeurs cibles faciles à atteindre
Dans un contrat passé avec la Bolivie (contrat n° 9), le versement d'une partie de la tranche variable dépendait de l'organisation de deux réunions plénières en 2015 par une institution responsable de la mise en œuvre de la stratégie de lutte contre le trafic de drogue. L'organisation régulière de réunions plénières pour assurer le suivi de la stratégie fait partie des activités ordinaires et ne devrait pas être encouragée au moyen d'un indicateur de tranche variable.
La valeur cible pour l'indicateur n° 4 du même contrat est l'établissement d'un rapport attestant que le pays partenaire respecte les conditions pour bénéficier de l'appui budgétaire de l'UE. Or l'établissement de ce rapport fait partie du processus normal de décaissement pour l'appui budgétaire et ne devrait dès lors pas être considéré comme un indicateur de tranche variable.
Les lignes directrices suggèrent qu'en règle générale, le nombre d'indicateurs d'une tranche variable devrait se situer dans une fourchette de trois à dix. Si les indicateurs sont trop nombreux, l'effet incitatif est dilué et le suivi plus compliqué. Les contrats audités comportaient de quatre à 34 indicateurs par tranche7. Ces indicateurs étaient ensuite décomposés en sous-indicateurs, souvent assortis de plusieurs valeurs cibles. À titre d'exemple, le contrat prévoyant l'octroi d'une aide pour mettre en œuvre un plan d'action concernant la libéralisation du régime des visas en Moldavie (contrat n° 15) comportait 95 valeurs cibles indépendantes. Un nombre aussi élevé d'indicateurs et de valeurs cibles ne favorise pas la concentration sur les principaux objectifs stratégiques des contrats d'appui budgétaire. Bien que la Commission ait reconnu l'existence de problèmes liés au nombre élevé d'indicateurs dans des documents internes, cela n'a pas eu d'incidence sur le libellé des contrats (voir encadré 8).
Encadré 8
Nombre élevé d'indicateurs
Dans les documents préparatoires au contrat sur le soutien à l'agriculture et au développement rural en Moldavie (contrat n° 17), il est indiqué qu'il est fondamental de concevoir un nombre restreint de conditions ciblées en Moldavie, car l'appui budgétaire sectoriel risque de se solder par un échec si les conditions sont nombreuses et complexes. Cet aspect a été négligé lors de la conception, comme le montrent les 28 conditions/critères/activités composites à respecter/réaliser mentionné(e)s dans le contrat pour le décaissement de la tranche variable de 2017, qui ont été à leur tour subdivisé(e)s en 39 sous-conditions.
La qualité des vérifications de la Commission concernant les résultats obtenus pour les indicateurs était variable, ce qui a conduit à une justification insuffisante de certains paiements
36Les demandes de décaissement présentées par les pays bénéficiaires comportent une analyse de l'état d'avancement dans les secteurs soutenus dans le cadre de leurs contrats d'appui budgétaire ainsi que des informations sur le respect des conditions convenues et sur les résultats obtenus pour les indicateurs de performance fixés d'un commun accord. Le dossier comprend habituellement un rapport d'avancement dans un domaine (secteur) donné, des rapports distincts sur la réalisation de chaque condition et des fiches concernant chaque indicateur, avec des pièces justificatives (par exemple des lettres d'un office statistique, des rapports d'enquête, etc.). La figure 3 décrit le processus de décaissement de l'appui budgétaire.
37Les demandes des pays partenaires sont fondées sur des données provenant de leurs propres systèmes de suivi et d'évaluation. Ces derniers constituent donc l'une des principales sources d'information à l'appui des décisions de décaissement. Or les pays disposent de capacités et de systèmes divers aux fins de la collecte, du stockage, de l'analyse et de l'utilisation des données. Par conséquent, avant de commencer des opérations d'appui budgétaire, la Commission doit évaluer les systèmes mis en place pour élaborer les indicateurs de performance qui seront utilisés par la suite pour le paiement des tranches variables. Les délégations de l'UE doivent en particulier déterminer si les lacunes relevées dans les systèmes statistiques, dans la disponibilité des données ou dans l'analyse de la politique compromettent sensiblement la validité des demandes de décaissement présentées par les pays.
38En ce qui concerne les contrats examinés, nous avons vérifié si la Commission avait rigoureusement évalué la fiabilité des données sur la performance lors du choix des indicateurs de performance pour les tranches variables. Nous avons aussi contrôlé si la Commission avait réalisé un examen approfondi des demandes de décaissement des tranches variables et si elle avait calculé correctement le montant à verser.
La Commission n'a formulé aucune conclusion sur la capacité des pays à produire les données nécessaires pour les indicateurs
39Les délégations de l'UE doivent fournir un aperçu des systèmes de suivi et d'évaluation du pays partenaire (pour le pays en général et pour le secteur particulier dans le cas des CPRS), en évaluant si la politique publique du pays est en adéquation avec les objectifs de l'UE et si sa capacité institutionnelle est jugée suffisante pour la mettre en œuvre. De plus, les lignes directrices requièrent que la fiabilité et la disponibilité des données soient analysées et que les lacunes relevées dans les systèmes statistiques soient appréciées, avant l'établissement des contrats d'appui budgétaire.
40Nous avons analysé les évaluations réalisées par la Commission, en utilisant des critères définis par l'office statistique de l'Union européenne (Eurostat). Eurostat a développé un outil appelé «Snapshot» pour aider les délégations de l'UE à évaluer les points forts et les faiblesses des systèmes statistiques nationaux dans les pays en développement. Nous avons constaté que les lignes directrices de la Commission sur l'appui budgétaire couvrent les principales exigences de cet outil. Néanmoins, l'outil «Snapshot» est plus exhaustif et fournit des explications détaillées sur la façon d'effectuer les mesures dans des domaines particuliers8, qui sont pertinentes pour l'évaluation des systèmes statistiques. Généralement, les agents des délégations ne connaissent pas cet outil.
41Lors de notre examen de l'appréciation des systèmes d'évaluation et de suivi par la Commission, nous avons constaté que, dans la pratique, celle-ci décrivait et évaluait généralement les éléments mentionnés dans les lignes directrices, mais qu'elle le faisait dans plusieurs documents séparés. Cependant, même si certaines lacunes spécifiques à des secteurs étaient mentionnées dans la majorité des contrats (18 sur 24), la Commission n'a explicitement tiré des conclusions quant à la fiabilité des données sur la performance nécessaires pour calculer les indicateurs de tranche variable que dans les cinq contrats passés en Jordanie9. Il importe d'arriver à une conclusion sur la fiabilité des données dans la perspective du choix des indicateurs, du suivi et de l'analyse du décaissement.
La Commission a vérifié la fiabilité des données présentées à l'appui des demandes de décaissement, mais pas toujours de manière approfondie
42Les délégations de l'UE doivent analyser les demandes de décaissement présentées par les pays partenaires (y compris les valeurs des indicateurs de performance correspondants) avant de procéder au paiement des tranches variables. Nous avons recensé diverses procédures de vérification, dont certaines ne fournissaient pas l'assurance nécessaire pour justifier les versements ultérieurs.
43Globalement, la Commission a appliqué trois procédures de vérification différentes: i) un contrôle documentaire complété par un nouveau calcul arithmétique des valeurs des indicateurs au moyen des données fournies par les pays partenaires; ii) la même méthode, avec en plus des visites sur place pour vérifier la fiabilité des données transmises; iii) la sous-traitance à des experts externes chargés de calculer la valeur des indicateurs de performance ou de vérifier les données communiquées par le pays partenaire.
44Pour 14 des 24 contrats audités, les agents des délégations de l'UE ont effectué des visites sur place afin de compléter l'analyse et de vérifier certaines données fournies (voir encadré 9). Dans le cas de 16 contrats, ils ont engagé des experts externes chargés d'analyser le respect des conditions liées aux tranches variables, et ce parfois en plus de leurs visites sur place. Dans les pays du voisinage, le recours à des experts était systématique, tandis que dans les autres pays audités, les délégations n'en ont engagé que pour cinq des 13 contrats.
45Les lignes directrices sur l'appui budgétaire recommandent de faire appel à des experts pour des vérifications si de sérieux doutes sont émis quant à la qualité des données fournies. À défaut de conclusions claires sur la capacité des pays partenaires à produire ces données (voir points 39 à 41), il est cependant difficile de décider si l'assistance d'experts est réellement nécessaire. En ce qui concerne les contrats examinés, le coût moyen des missions de vérification des experts était d'environ 110 000 euros.
Encadré 9
Vérification des demandes de décaissement par la Commission
Pour évaluer la demande de décaissement concernant le contrat relatif à la réforme sectorielle qui visait à augmenter la performance du secteur agricole du Rwanda (contrat n° 18), la délégation de l'UE a réalisé une analyse approfondie des informations fournies par le gouvernement rwandais et l'a complétée par des visites sur place et des demandes d'éclaircissements aux autorités nationales. Dans le cas particulier de l'indicateur n° 5a, la valeur cible pour la première année était 80 000 ha de terres à consacrer à l'agroforesterie dans certaines zones du pays. La délégation a effectué une visite sur place qui a montré que les informations communiquées étaient incorrectes, étant donné que les activités menées dans la zone contrôlée ne se limitaient pas à l'agroforesterie. Par conséquent, la Commission a diminué le paiement de la tranche du montant lié à cet indicateur.
Pour six10 des 24 contrats sélectionnés, nous avons constaté que la Commission n'avait pas procédé à des vérifications supplémentaires efficaces concernant les données utilisées comme base pour le versement des tranches variables. Cela s'explique principalement par le fait que les délégations de l'UE ont considéré comme acquise l'exactitude des données sur la performance fournies par les pays partenaires ou fait pleinement confiance aux travaux de vérification effectués par des experts externes au nom de la Commission, sans procéder à d'autres vérifications des données transmises. Dans ces cas-là, il est plus difficile pour la Commission de repérer les données non fiables sur la performance dans les demandes de décaissement, ce qui accroît le risque de paiements injustifiés des tranches variables. L'encadré 10 présente un exemple de lacunes dans un examen externe qui n'ont pas été détectées par la Commission.
Encadré 10
Exemples de lacunes décelées dans les travaux d'un expert externe
Pour le contrat n° 2, qui vise à aider le ministère jordanien de l'éducation à faire face à la crise des réfugiés syriens, la Commission a engagé un expert pour évaluer les données déclarées par ce dernier pour certains indicateurs de tranche variable. Afin de pouvoir valider les données déclarées par le ministère, l'expert a visité sur place un échantillon de 30 écoles. Se fondant sur le rapport de l'expert, la Commission a versé la tranche variable.
Nous avons examiné les travaux de l'expert, effectué des visites auprès de certaines des écoles de son échantillon et relevé les problèmes ci-après.
- L'échantillonnage des écoles n'était pas aléatoire, mais fondé sur des recommandations émises par une équipe de consultants externes travaillant pour l'Unesco. L'échantillonnage a ensuite été approuvé par le ministère de l'éducation. Il existait donc un risque que l'échantillon ait été biaisé.
- Même si l'expert a effectivement visité les 30 écoles de l'échantillon, il n'a procédé à une comparaison des données que pour 17 d'entre elles, parce que le ministère ne disposait pas des informations nécessaires pour les écoles restantes. Dès lors, les conclusions de l'expert externe sur la fiabilité du système informatique du ministère reposaient sur des éléments probants insuffisants.
- Les vérifications sur place concernant le personnel des écoles ne portaient que sur les enseignants, alors que la valeur cible pour l'indicateur n° 1 traitait aussi du personnel non enseignant. Les conclusions sur cet indicateur étaient donc incomplètes.
- L'expert a conclu que les données recueillies sur place confirmaient celles du ministère. Pour les indicateurs nos 1 (nombre de membres du personnel) et 2 (nombre d'étudiants), il a abouti à cette conclusion en comparant les résultats totaux pour l'échantillon. Cependant, les résultats pour chaque école présentent des différences non négligeables (positives et négatives) compensées par l'expert lors du calcul des totaux.
Pour certaines tranches variables, les données sur la performance fournies par les pays partenaires ne justifiaient pas les paiements effectués
47Nous avons examiné des paiements de tranches variables pour un total de 234 millions d'euros. Pour cinq pays sur huit, notre analyse des éléments probants censés attester que les valeurs cibles des indicateurs de tranche variable ont été atteintes a abouti à des résultats différents de ceux validés par la Commission pour un montant de 13,3 millions d'euros. Dans un pays (le Pakistan), nous avons même relevé une différence de 19 % par rapport aux tranches variables décaissées. Par ailleurs, nous avons également constaté que la Commission avait versé 3,4 millions d'euros en faveur de deux pays sur la base d'indicateurs liés à des valeurs de départ fixées de façon incorrecte. Même s'il existait une obligation contractuelle d'effectuer le paiement, puisque la valeur cible avait été atteinte, aucun progrès réel n'avait été accompli dans le domaine mesuré par l'indicateur. Le tableau 1 présente de façon synthétique ces montants pour chaque pays visité.
Tableau 1 – Divergences par rapport aux évaluations effectuées par la Commission
Pays | Tranche variable examinée (en euros) |
Différences par rapport à notre évaluation (en euros) |
Références du contrat et des indicateurs | Raison des divergences (pour chaque indicateur) |
Montants versés malgré l'absence de progrès réel (en euros) |
Bolivie | 32 800 000 | 0 | 0 | ||
Éthiopie | 29 520 000 | 0 | 2 000 000 (Contrat n° 14: indicateur n° 7) |
||
Géorgie | 19 400 000 | 1 000 000 | Contrat n° 6: indicateurs nos 1.2 et 1.7 |
Indicateur n° 1.2: valeur cible atteinte deux mois après la date limite Indicateur n° 1.7: valeur cible non atteinte |
0 |
Jordanie | 45 750 000 | 6 000 000 | Contrat n° 1: indicateur n° 5 |
Valeur cible atteinte deux ans après la date limite | 0 |
Moldavie | 26 345 111 | 1 000 000 | Contrat n° 16: indicateurs nos 2.1 et 2.2 |
Indicateur n° 2.1: valeur cible atteinte un mois après la date limite Indicateur n° 2.2: valeur cible atteinte trois mois après la date limite |
0 |
Pakistan | 25 665 625 | 4 968 750 | Contrat n° 23: indicateurs nos 5, 6 et 8 Contrat n° 24: indicateurs nos 4, 6.2 et 6.3 |
Indicateurs nos 5, 6 et 8: valeurs cibles non atteintes Indicateurs nos 4 et 6.3: éléments probants incorrects Indicateur n° 6.2: valeurs cibles non atteintes | 0 |
Rwanda | 27 667 500 | 332 500 | Contrat n° 20: indicateur n° 2 |
Valeur cible atteinte un an après la date limite | 1 437 500 (contrat n° 19: indicateur n° 5; contrat n° 20: indicateur n° 4) |
Viêt Nam | 27 000 000 | 0 | 0 | ||
TOTAL | 234 148 236 | 13 301 250 | 3 437 500 |
Source: Cour des comptes européenne.
48Les principaux problèmes que nous avons détectés concernaient: i) des valeurs cibles atteintes tardivement, après la date limite fixée; ii) une mesure des résultats fondée sur des valeurs de départ fixées de façon incorrecte; iii) des éléments probants inexacts ou insuffisants fournis pour attester que les valeurs cibles des indicateurs ont été atteintes; iv) des valeurs cibles jamais atteintes. La figure 6 montre les types de divergences détectées par rapport aux évaluations de la Commission, ainsi que leur proportion.
L'encadré 11 décrit l'un des cas pour lesquels nous avons jugé que les pays partenaires avaient fourni des éléments probants inexacts.
Encadré 11
Éléments probants fondés sur un échantillon biaisé
La valeur cible pour l'indicateur n° 6.3 du contrat relatif à l'éducation au Pakistan (contrat n° 24) était la suivante: le taux de fréquentation scolaire des étudiants bénéficiant de chèques-éducation devait atteindre au moins 80 %. Selon les éléments probants fournis par le pays partenaire, le taux de fréquentation était supérieur à la valeur cible (87 %), de sorte que la Commission a considéré que cette dernière avait été atteinte. Suivant le rapport sur la conformité de l'assistance technique, les éléments probants présentés étaient censés couvrir l'ensemble des étudiants pendant toute l'année. Or il ressort de notre analyse que les autorités nationales n'avaient tenu compte que d'un quart des étudiants recevant des chèques-éducation lors du calcul du taux de fréquentation pour l'ensemble de ceux-ci. En outre, cet échantillon a été constitué au début de l'année scolaire, moment où le taux de fréquentation est le plus élevé. Puisque l'échantillon était biaisé, nous avons conclu que les éléments probants justifiant le paiement n'étaient pas solides.
En l'occurrence, la Commission avait considéré que la valeur cible était atteinte et avait versé l'intégralité du montant dû.
Dans quatre contrats, nous avons relevé cinq cas d'indicateurs11 dont les valeurs cibles avaient été atteintes après la date limite fixée dans les conventions de financement. De plus, pour cinq autres indicateurs12, nous estimons, contrairement à la Commission, que les pays partenaires n'ont pas atteint les valeurs cibles. L'encadré 12 présente des exemples de ces deux cas de figure.
Encadré 12
Valeurs cibles atteintes après la date limite ou partiellement, ou qui ne l'ont jamais été
La valeur cible a été atteinte après la date limite pour l'indicateur n° 5 du contrat sur l'éducation en Jordanie (contrat n° 1). Elle visait la construction de six nouvelles écoles pour 2015. Les écoles n'ont été terminées qu'en 2017 et la tranche variable a été versée en décembre 2017. Ce retard considérable était dû à la lenteur des procédures de marchés publics, qui a entraîné la réalisation tardive des travaux de construction par les autorités nationales.
Pour tenir compte de ces retards, la Commission a prolongé la période d'exécution du contrat jusqu'à décembre 2017, mais sans modifier la date limite pour la construction des écoles (2015).
La valeur cible pour l'indicateur n° 6 du contrat relatif à l'éducation au Pakistan (contrat n° 23) consistait en deux activités: l'élaboration d'un programme d'enseignement de l'anglais et l'approbation de manuels scolaires pour certains niveaux d'enseignement. Nous avons constaté que la moitié seulement des manuels scolaires avaient été approuvés au moment de la demande de décaissement et que, par suite, le second volet de la valeur cible n'aurait pas dû être considéré comme atteint.
La valeur cible pour l'indicateur n° 1.7 du contrat relatif à l'agriculture en Géorgie (contrat n° 6) était l'adoption d'un programme national de systèmes de certification de la production biologique. Le gouvernement a considéré que tout était en ordre pour cet indicateur du fait de l'adoption de son programme national pour la réhabilitation des plantations de thé. Or l'objectif déclaré de ce programme est de soutenir une exploitation efficace des plantations de thé en Géorgie, d'accroître la production de thé, y compris de thé biologique, et de renforcer l'autosuffisance et les exportations. Il ne concerne donc pas les systèmes de certification biologique en tant que tels. Nous estimons que cette valeur cible n'est pas atteinte, puisque le programme ne vise pas spécifiquement la certification de produits biologiques. L'examinateur externe était du même avis.
Dans tous les cas susmentionnés, la Commission a versé l'intégralité du montant dû.
Nous avons relevé trois cas où la Commission avait effectué des décaissements conformément aux dispositions des conventions de financement, les pays partenaires ayant atteint les valeurs cibles convenues. Du fait de l'utilisation de valeurs de départ et de valeurs cibles mal définies, il semblait que des progrès avaient réellement été accomplis dans les secteurs visés; or ce n'était pas le cas. L'encadré 13 comporte d'autres informations sur certains de ces cas.
Encadré 13
Valeurs cibles établies à partir de valeurs de départ incorrectes: absence de progrès réels
L'indicateur n° 7 du contrat relatif aux transports en Éthiopie (contrat n° 14) concerne le pourcentage de camions en surcharge. La valeur cible fixée visait à ramener ce pourcentage à 9 %, en partant d'une valeur de départ de 11 %. Le résultat obtenu à la fin de la période examinée était de 6 %. Par conséquent, la valeur cible était atteinte et le montant correspondant a été versé conformément aux dispositions de la convention de financement. Sur la base des informations fournies par le pays partenaire dans la demande de décaissement, la valeur de départ réelle était toutefois 6 %. En réalité, le nombre de camions en surcharge n'avait pas véritablement diminué.
L'indicateur n° 5 du contrat relatif à l'énergie au Rwanda (contrat n° 19) constitue un deuxième exemple de cas où une valeur de départ incorrecte a entraîné un paiement sans que des progrès suffisants aient été réellement accomplis. Cet indicateur mesure la part que représente l'électricité produite à partir de sources d'énergie renouvelables dans le bouquet énergétique. La valeur de départ inscrite dans le contrat était de 292 GWh produits en 2015. La valeur réelle pour l'année de référence était erronée. Selon les données communiquées par les autorités nationales, elle aurait dû être de 368 GWh. La valeur cible fixée pour la tranche variable auditée était la fourniture de 14,5 GWh supplémentaires à partir de sources d'énergie renouvelables par rapport à la valeur de départ. Le résultat obtenu pour cet indicateur au cours de la période contrôlée était de 361,5 GWh, ce qui a donné lieu au versement du montant correspondant, alors que la part d'électricité produite à partir de sources d'énergie renouvelables avait diminué.
En plus des différences quantifiées dans le tableau 1, nous n'avons pas été en mesure de confirmer l'exactitude de deux autres tranches variables versées, les éléments probants disponibles étant insuffisants pour étayer les valeurs communiquées pour cinq indicateurs13 (voir exemples dans l'encadré 14). Ces indicateurs ont entraîné le décaissement de 3,77 millions d'euros.
Encadré 14
Éléments probants insuffisants
Pour ce qui est du contrat n° 5, qui visait à soutenir la gestion des finances publiques en Jordanie, l'indicateur n° 1.2 portait sur les lacunes dans la formation des agents des unités de contrôle interne dans les différents ministères et organismes nationaux. La valeur cible consistait à former les agents des unités de contrôle interne qui n'avaient pas participé à une formation au cours de l'année précédente (elle n'était pas chiffrée). Un expert externe engagé par la Commission a conclu que plus de 85 % des agents de toutes les unités de contrôle interne avaient suivi une formation supplémentaire. Il a donc estimé que l'objectif était atteint pour cet indicateur. Étant donné que le rapport de l'expert ne précisait pas comment il était parvenu à ces 85 %, nous n'avons pas pu refaire le calcul ou confirmer que les formations avaient permis de combler toutes les lacunes. Aucune information ni aucune donnée sur ce qu'englobaient les 85 % n'étaient disponibles.
L'indicateur n° 3 du contrat relatif au programme de développement des communautés au Pakistan (contrat n° 22) servait à mesurer, dans les estimations de coûts des stratégies de développement des districts, la part que représentaient les dotations budgétaires consacrées aux projets de développement local menés par les communautés. Toutefois, il s'est avéré impossible d'établir un lien entre les estimations de coûts au niveau des districts et les stratégies de développement de ces derniers qui servaient de pièces justificatives. De même, le rapport de l'expert engagé par la Commission pour évaluer cet indicateur ne présente aucun rapprochement entre les estimations des coûts des districts et les stratégies de développement de ceux-ci. C'est pourquoi nous n'avons pas pu confirmer le résultat communiqué.
Paiements en faveur de la Moldavie insuffisamment documentés
53Bien que cela ne soit pas directement lié à la vérification des indicateurs de performance, nous avons observé que la Commission avait versé trois tranches variables à la Moldavie, pour un montant total de 26,3 millions d'euros, sans documenter suffisamment les raisons ayant motivé ces paiements (voir encadré 15).
Encadré 15
Documentation des paiements en faveur de la Moldavie
Les conventions de financement au titre de l'appui budgétaire donnent le droit à la Commission de les suspendre si le pays partenaire manque à une obligation liée au respect des droits de l'homme, des principes démocratiques et de l'état de droit, ainsi que dans des cas graves de corruption (article 236, paragraphe 4, des règles financières applicables au budget général de l'Union, juillet 2018).
En raison de préoccupations concernant l'état de la démocratie dans le pays, la Commission a décidé, en juillet et en octobre 2017, de reporter le paiement de plusieurs tranches variables et a affirmé que le calendrier des versements serait précisé en tenant compte du respect de mécanismes démocratiques effectifs, de l'état de droit et des droits de l'homme en Moldavie. La principale raison de cette décision était l'adoption prochaine d'une nouvelle loi électorale en Moldavie, qui ne cadrait pas avec les recommandations de la Commission de Venise, un organe consultatif du Conseil de l'Europe en matière de droit constitutionnel.
Cependant, un paiement a été ordonnancé le 11 décembre 2017. L'ordonnancement ne reposait sur aucune évaluation prouvant l'amélioration des mécanismes démocratiques et des droits de l'homme en Moldavie, alors que la détérioration de la situation à cet égard était la principale raison pour laquelle le versement avait été refusé dans un premier temps.
Conclusions et recommandations
54Nous avons examiné si la Commission avait utilisé des données pertinentes et fiables sur la performance pour procéder au décaissement des tranches variables de l'appui budgétaire. Pour un tiers des indicateurs de performance examinés, nous arrivons à la conclusion que la manière dont ils sont conçus leur fait perdre de leur pertinence et qu'ils ne permettent pas de mesurer objectivement les résultats. Par ailleurs, l'évaluation, par la Commission, du respect des valeurs associées aux indicateurs de tranche variable n'était pas toujours fiable, ce qui a donné lieu à des versements sans justification suffisante.
55Nous avons constaté que les indicateurs de performance des tranches variables étaient bien alignés sur les stratégies de développement sectoriel des pays partenaires. Toutefois, la plupart d'entre eux étaient axés sur des actions à court terme plutôt que sur des résultats à plus à long terme, notamment les progrès accomplis dans la réalisation des objectifs de développement durable. Seulement 13 % des 248 indicateurs que nous avons examinés servaient à mesurer les résultats ou les impacts dans les secteurs soutenus (voir points 22 à 25). Le recours à des indicateurs de résultat permettrait à la Commission de mieux mesurer les résultats à plus long terme dans les secteurs soutenus, en particulier les progrès accomplis dans la réalisation des objectifs de développement durable.
Recommandation n° 1 — Recourir davantage aux indicateurs de résultat pour les tranches variablesLa Commission devrait augmenter la proportion de tranches variables versées uniquement si les valeurs cibles correspondant à des indicateurs de résultat sont atteintes.
Quand? Fin 2021.
56Plus d'un tiers des indicateurs étaient définis en termes vagues ou comprenaient des valeurs de départ incorrectes, voire aucune. Cela a donné lieu à des interprétations différentes concernant la question de savoir si les valeurs cibles avaient été atteintes, ce qui a contribué à rendre l'analyse des demandes de décaissement plus complexe et moins objective (voir points 26 à 32).
Recommandation n° 2 – Améliorer la formulation des indicateurs de performanceLa Commission devrait renforcer les dispositifs de contrôle qualité, afin de veiller à ce que les indicateurs de performance des tranches variables servent à mesurer objectivement les résultats obtenus par les pays partenaires. Il convient d'accorder une attention particulière aux éléments suivants:
- le recours à des indicateurs de performance spécifiques qui ne permettent pas des interprétations différentes;
- l'utilisation de valeurs de départ et de valeurs cibles.
Quand? Fin 2021.
57L'un des objectifs importants des tranches variables de l'appui budgétaire est d'encourager les pays partenaires à progresser dans leurs programmes de réforme. La plupart des tranches variables examinées comportaient des indicateurs dont les valeurs cibles trouvaient un juste équilibre entre ambition et facilité à être atteintes, et nous estimons qu'ils ont produit l'effet incitatif voulu. Les quelques exceptions que nous avons relevées concernaient des indicateurs assortis de valeurs cibles qui étaient faciles à atteindre, souvent en raison de valeurs de départ incorrectes, ou qui l'avaient été grâce à des travaux réalisés par d'autres donateurs ou par des experts externes payés par l'UE (voir points 33 et 34).
Recommandation n° 3 – Préserver l'effet incitatif des tranches variablesLa Commission devrait:
- actualiser les informations de référence avant la signature du contrat d'appui budgétaire ou, au besoin, apporter des modifications à ce dernier en corrigeant les valeurs de départ pendant sa mise en œuvre;
- éviter les situations où le pays partenaire atteint les valeurs cibles exclusivement grâce à l'assistance technique financée par l'UE.
Quand? Fin 2021.
58Le nombre d'indicateurs utilisés pour chaque tranche variable était souvent trop élevé, supérieur à celui recommandé dans les lignes directrices de la Commission. Cela complique encore le processus de décaissement (voir point 35).
Recommandation n° 4 – Simplifier le processus de décaissement pour les tranches variablesLa Commission devrait éviter d'utiliser des sous-indicateurs, afin de limiter le nombre réel d'indicateurs au maximum préconisé dans les lignes directrices.
Quand? Fin 2021.
59Les demandes de décaissement de tranches variables comportent des données sur la performance qui montrent dans quelle mesure les conditions convenues ont été respectées et les valeurs cibles associées aux indicateurs de performance fixés d'un commun accord ont été atteintes. Étant donné que ces demandes sont établies par les pays partenaires, la fiabilité des données sous-jacentes sur la performance dépend de leur capacité à les produire. Nous avons constaté que la Commission évaluait généralement la capacité des pays partenaires en examinant les principaux éléments de leurs systèmes de suivi et d'évaluation, comme l'exigent ses lignes directrices sur l'appui budgétaire. Cependant, la Commission n'a tiré des conclusions concernant la fiabilité des données sur la performance nécessaires pour calculer les indicateurs de tranche variable que pour cinq des 24 contrats sélectionnés (voir points 36 à 41). Il importe d'arriver à une conclusion sur la fiabilité des données dans la perspective du choix des indicateurs, du suivi et de l'analyse du décaissement.
Recommandation n° 5 – Améliorer les évaluations concernant la capacité des pays à produire les données sur la performance utilisées pour les tranches variablesLorsqu'elle conçoit une opération d'appui budgétaire, la Commission devrait évaluer la fiabilité des données sur la performance, celles-ci devant servir de base au décaissement d'une tranche variable. L'évaluation devrait aboutir à une conclusion explicite quant à la question de savoir si les systèmes utilisés pour élaborer ces données sont suffisamment fiables et s'ils pourraient reposer sur des évaluations déjà effectuées par d'autres organismes reconnus.
Quand? Fin 2021.
60Nous avons constaté que les délégations de l'UE avaient mis en œuvre diverses procédures de vérification pour analyser les demandes de décaissement. Dans certains cas, les agents des délégations de l'UE ont effectué des visites sur place pour vérifier les données fournies par les pays partenaires, tandis que dans d'autres, ils se sont totalement fiés à ces données ou à des évaluations externes réalisées par des experts au nom de la Commission, sans réaliser d'autres travaux de vérification. Cela ne fournit pas l'assurance nécessaire pour justifier les versements ultérieurs de tranches variables (voir points 42 à 46).
Recommandation n° 6 – Améliorer la vérification des données sur la performance utilisées pour décider du décaissement des tranches variablesLa Commission devrait:
- examiner les éléments probants sous-jacents qui étayent les données sur la performance fournies par les pays partenaires dans la demande de décaissement, sauf si elle a déjà explicitement conclu que ces données sont fiables;
- lorsqu'elle recourt à des examens externes, exiger que les termes de référence comprennent la vérification de la fiabilité des principales données sur la performance fournies par les pays partenaires. Elle devrait aussi vérifier, avant le décaissement de la tranche variable, si les experts ont respecté cette exigence.
Quand? Fin 2021.
61Lorsque nous avons réexécuté les évaluations de la Commission visant à établir si les valeurs cibles associées aux indicateurs avaient été atteintes, de même que lorsque nous avons recalculé les montants des tranches variables versés, nous avons constaté des divergences par rapport aux paiements effectués par la Commission. Sur la base des informations disponibles sur la performance, nous estimons globalement avoir décelé des divergences concernant 16,7 millions d'euros sur un total de 234 millions d'euros de paiements de tranches variables examinés, dont 13,3 millions d'euros étaient insuffisamment justifiés ou non conformes aux dispositions contractuelles. Un montant de 3,4 millions d'euros a été payé alors qu'aucun progrès n'avait réellement été accompli. En outre, 26,3 millions d'euros ont été versés à la Moldavie au titre de trois tranches variables sans documenter suffisamment les raisons sous-jacentes à ces paiements (voir points 47 à 53).
Le présent rapport a été adopté par la Chambre III, présidée par Mme Bettina JAKOBSEN, Membre de la Cour des comptes, à Luxembourg en sa réunion du 12 novembre 2019.
Par la Cour des comptes,
Klaus-Heiner Lehne
Président
Annexes
Annexe I - Part de l'appui budgétaire dans les engagements bilatéraux en matière d'aide publique au développement
Pays | 2014 | 2015 | 2016 | 2017 | Moyenne |
Autriche | 0,69 % | 1,01 % | 0,10 % | 1,24 % | 0,76 % |
Belgique | 2,50 % | 1,85 % | 1,41 % | 0,15 % | 1,48 % |
Tchéquie | 1,52 % | 0,00 % | 0,00 % | 0,44 % | 0,49 % |
Danemark | 3,83 % | 0,00 % | 0,73 % | 0,91 % | 1,36 % |
Finlande | 3,75 % | 3,89 % | 0,00 % | 2,98 % | 2,65 % |
France | 2,86 % | 1,86 % | 6,11 % | 9,30 % | 5,03 % |
Allemagne | 1,29 % | 4,55 % | 2,12 % | 3,42 % | 2,84 % |
Grèce | 1,04 % | 0,00 % | 0,00 % | 0,00 % | 0,26 % |
Hongrie | n.d. | 0,65 % | 0,00 % | 0,00 % | 0,22 % |
Irlande | 2,30 % | 3,76 % | 0,00 % | 0,00 % | 1,52 % |
Italie | 1,28 % | 0,40 % | 0,24 % | 0,56 % | 0,62 % |
Luxembourg | 3,21 % | 0,81 % | 2,93 % | 1,98 % | 2,23 % |
Pays-Bas | 0,67 % | 0,00 % | 0,00 % | 0,00 % | 0,17 % |
Pologne | 0,00 % | 0,00 % | 0,00 % | 0,00 % | 0,00 % |
Portugal | 0,55 % | 0,71 % | 0,52 % | 0,58 % | 0,59 % |
Slovaquie | 0,00 % | 0,00 % | 0,00 % | 0,00 % | 0,00 % |
Slovénie | 0,00 % | 0,00 % | 0,00 % | 0,00 % | 0,00 % |
Espagne | 1,33 % | 1,29 % | 0,17 % | 0,30 % | 0,77 % |
Suède | 2,39 % | 0,13 % | 0,00 % | 1,96 % | 1,12 % |
Royaume-Uni | 2,09 % | 1,21 % | 0,18 % | 0,01 % | 0,87 % |
Commission européenne | 9,31 % | 12,71 % | 14,67 % | 9,08 % | 11,45 % |
Moyenne de l'UE | 2,03 % | 1,66 % | 1,39 % | 1,57 % | 1,66 % |
Moyenne de l'UE hors institutions | 1,65 % | 1,11 % | 0,73 % | 1,19 % | 1,17 % |
Source: Cour des comptes européenne, sur la base de données figurant sur la page https://stats.oecd.org/
Annexe II - Contrats audités
Numéro du contrat | Pays | Secteur soutenu | |
Contrat n° 1 | 282 613 | Jordanie | Éducation |
Contrat n° 2 | 365 198 | Éducation | |
Contrat n° 3 | 377 271 | Énergie | |
Contrat n° 4 | 389 306 | Énergie | |
Contrat n° 5 | 357 967 | Gestion des finances publiques | |
Contrat n° 6 | 387 662 | Géorgie | Agriculture |
Contrat n° 7 | 344 313 | Enseignement professionnel | |
Contrat n° 8 | 361 908 | Réforme de la politique des finances publiques | |
Contrat n° 9 | 363 227 | Bolivie | Lutte contre la drogue |
Contrat n° 10 | 368 977 | Eau | |
Contrat n° 11 | 337 591 | Agriculture | |
Contrat n° 12 | 377 182 | Agriculture | |
Contrat n° 13 | 383 001 | Éthiopie | Santé |
Contrat n° 14 | 367 551 | Transports | |
Contrat n° 15 | 348 701 | Moldavie | Plan d'action concernant la libéralisation du régime des visas |
Contrat n° 16 | 353 323 | Réforme de la politique des finances publiques | |
Contrat n° 17 | 371 907 | Agriculture | |
Contrat n° 18 | 376 376 | Rwanda | Agriculture |
Contrat n° 19 | 375 269 | Énergie | |
Contrat n° 20 | 364 033 | Environnement | |
Contrat n° 21 | 357 701 | Viêt Nam | Santé |
Contrat n° 22 | 337 112 | Pakistan | Agriculture |
Contrat n° 23 | 289 807 | Éducation | |
Contrat n° 24 | 356 359 | Éducation |
Annexe III - Décaissements des tranches variables en 2017 pour des contrats de performance de réforme sectorielle
Pays | Tranche variable totale de 2017 (en euros) |
% | Secteurs audités | Montants audités (en euros) |
Maroc | 120 984 995 | 18,75 % | ||
Jordanie | 69 506 667 | 10,77 % | Éducation, énergie et réforme de l'administration publique | 45 750 000 |
Géorgie | 37 900 000 | 5,87 % | Agriculture, emploi et finances publiques | 19 400 000 |
Bolivie | 32 800 000 | 5,08 % | Agriculture, lutte contre la drogue, eau et assainissement | 32 800 000 |
Éthiopie | 29 520 000 | 4,57 % | Santé et transports | 29 520 000 |
Moldavie | 29 345 111 | 4,55 % | Agriculture, justice et finances publiques | 26 345 111 |
Rwanda | 27 667 500 | 4,29 % | Agriculture, énergie et environnement | 27 667 500 |
Viêt Nam | 27 000 000 | 4,18 % | Santé | 27 000 000 |
Pakistan | 25 665 625 | 3,98 % | Agriculture et éducation | 25 665 625 |
Tunisie | 25 000 000 | 3,87 % | ||
Albanie | 20 775 000 | 3,22 % | ||
Niger | 17 850 000 | 2,77 % | ||
Bangladesh | 16 500 000 | 2,56 % | ||
Colombie | 15 000 000 | 2,32 % | ||
Botswana | 14 510 000 | 2,25 % | ||
Honduras | 12 030 000 | 1,86 % | ||
Afrique du Sud | 10 466 458 | 1,62 % | ||
Sénégal | 10 450 000 | 1,62 % | ||
Burkina Faso | 9 700 000 | 1,50 % | ||
Kirghizstan | 9 500 000 | 1,47 % | ||
Algérie | 9 000 000 | 1,39 % | ||
Bénin | 8 000 000 | 1,24 % | ||
Indonésie | 7 500 000 | 1,16 % | ||
Ukraine | 7 500 000 | 1,16 % | ||
Cambodge | 7 200 000 | 1,12 % | ||
Arménie | 7 000 000 | 1,08 % | ||
Ghana | 6 200 000 | 0,96 % | ||
Népal | 6 000 000 | 0,93 % | ||
Pérou | 5 880 000 | 0,91 % | ||
Groenland | 4 634 634 | 0,72 % | ||
Laos | 4 000 000 | 0,62 % | ||
Guyana | 3 800 000 | 0,59 % | ||
République dominicaine | 2 687 500 | 0,42 % | ||
Samoa | 2 360 238 | 0,37 % | ||
Îles Falkland | 1 000 000 | 0,15 % | ||
Tonga | 375 000 | 0,06 % | ||
TOTAL | 645 308 728 | 100 % |
Source: Cour des comptes européenne (les pays en gras sont ceux sélectionnés pour l'audit)
Annexe IV - Évaluation succincte
BOLIVIE | ÉTHIOPIE | PAKISTAN | RWANDA | VIÊT NAM | |||||||||
Contrat n° 9 | Contrat n° 10 | Contrat n° 11 | Contrat n° 12 | Contrat n° 13 | Contrat n° 14 | Contrat n° 22 | Contrat n° 23 | Contrat n° 24 | Contrat n° 18 | Contrat n° 19 | Contrat n° 20 | Contrat n° 21 | |
Évaluation approfondie des capacités? | N | N | N | P | N | P | N | N | N | P | P | N | P |
Nombre d'indicateurs (par tranche annuelle de 2017) | 8 | 10 | 8 | 6 | 6 | 10 | 6 | 8 | 8 | 8 | 7 | 4 | 8 |
Nombre d'indicateurs des années précédentes pour lesquels un paiement a été effectué en 2017 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 4 | 0 | 0 |
Valeurs cibles indépendantes | 24 | 10 | 12 | 12 | 6 | 10 | 6 | 8 | 15 | 8 | 11 | 4 | 12 |
Indicateurs non spécifiques | 1 | 1 | 2 | 2 | 1 | 1 | 1 | 1 | 2 | 0 | 0 | 0 | 0 |
Absence de valeur de départ (alors que Cour des comptes européenne estime qu'il devrait y en avoir une) | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
Valeur de départ incorrecte | 1 | 0 | 0 | 0 | 1 | 10 | 0 | 0 | 1 | 0 | 1 | 2 | 0 |
Valeur cible trop peu ambitieuse | 1 | 1 | 0 | 0 | 0 | 1 | 0 | 0 | 2 | 0 | 0 | 1 | 0 |
Mission sur place réalisée par les délégations de l'UE pour évaluer le respect des conditions? | N | N | O | O | N | O | N | N | N | O | N | O | N |
Recours à des experts externes pour évaluer le respect des conditions? | N | N | N | N | N | N | O | O | O | O | N | N | O |
Erreurs de calcul dans les décaissements? | N | N | N | N | N | N | N | N | N | N | N | N | N |
La méthode de calcul du montant à payer a-t-elle été correctement appliquée? | O | O | O | O | N | O | O | N | N | O | O | O | O |
Divergences avec l'évaluation de la Cour des comptes européenne en ce qui concerne les valeurs cibles/valeurs cibles secondaires atteintes. | Indicateurs nos 2.2 et 3.3 | Indicateurs nos 3.1 et 5 | N | N | N | 7 | N | Indicateurs nos 5, 6 et 8 | Indicateurs nos 4, 6.2 et 6.3 | N | 5 | Indicateurs nos 2 et 4 | N |
Divergences avec l'évaluation de la Cour des comptes européenne en ce qui concerne le montant à verser | Impact uniquement sur un prochain décaissement | Absence d'impact sur le paiement Performance supérieure à 80 % | N | N | N | 2 millions d'euros | N | 1,50 million d'euros | 3,47 millions d'euros | N | 1,2 million d'euros | 0,57 million d'euros | N |
GÉORGIE | JORDANIE | MOLDAVIE | ||||||||
Contrat n° 6 | Contrat n° 7 | Contrat n° 8 | Contrat n° 1 | Contrat n° 2 | Contrats nos 3 et 4 | Contrat n° 5 | Contrat n° 15 | Contrat n° 16 | Contrat n° 17 | |
Évaluation approfondie des capacités? | N | O | O | N | N | O | P | O | O | P |
Nombre d'indicateurs (par tranche annuelle de 2017) | 11 | 15 | 14 | 0 | 5 | 9 | 10 | 34 | 12 | 28 |
Nombre d'indicateurs des années précédentes pour lesquels un paiement a été effectué en 2017 | 0 | 3 | 0 | 2 | 0 | 0 | 0 | 3 | 0 | 0 |
Valeurs cibles indépendantes | 12 | 34 | 21 | 2 | 6 | 10 | 20 | 95 | 22 | 39 |
Indicateur non spécifique | 0 | 7 | 3 | 2 | 0 | 1 | 5 | 35 | 4 | 4 |
Absence de valeur de départ (alors que Cour des comptes européenne estime qu'il devrait y en avoir une) | 1 | 5 | 3 | 0 | 0 | 0 | 0 | 0 | 0 | 6 |
Valeur de départ incorrecte | 1 | 0 | 0 | 1 | 1 | 0 | 1 | 0 | 0 | 0 |
Valeurs cibles trop peu ambitieuses | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 3 | 0 |
Mission(s) sur place réalisée(s) par les délégations de l'UE pour évaluer le respect des conditions? | O | O | O | O | O | N | O | O | O | O |
Recours à des experts externes pour évaluer le respect des conditions? | O | O | O | O | O | O | O | O | O | O |
Erreurs de calcul dans les décaissements? | N | N | N | O | N | N | N | O | N | N |
La méthode de calcul du montant à payer a-t-elle été correctement appliquée? | O | O | O | O | N | O | N | N | O | O |
Divergences avec l'évaluation de la Cour des comptes européenne en ce qui concerne les valeurs cibles/valeurs cibles secondaires atteintes. | Indicateurs nos 1.2 et 1.7 | N | N | Indicateur n° 5 | N | N | N | Oui (tous les indicateurs) | N | N |
Divergences avec l'évaluation de la Cour des comptes européenne en ce qui concerne le montant à verser | 1 million d'euros | N | N | 6 millions d'euros | N | N | N | 5,1 millions d'euros | 6,4 millions d'euros | 14,8 millions d'euros |
REMARQUE: O = Oui; N = Non; P = Partiellement.
Équipe d'audit
Les rapports spéciaux de la Cour présentent les résultats de ses audits relatifs aux politiques et programmes de l'UE ou à des questions de gestion concernant des domaines budgétaires spécifiques. La Cour sélectionne et conçoit ces activités d'audit de manière à maximiser leur incidence en tenant compte des risques pour la performance ou la conformité, du niveau des recettes ou des dépenses concernées, des évolutions escomptées ainsi que de l'importance politique et de l'intérêt du public.
L'audit de la performance objet du présent rapport a été réalisé par la Chambre III (Action extérieure/Sécurité et justice), présidée par M. Hannu Takkula, Membre de la Cour, assisté de: M. Turo Hentila, chef de cabinet; Mme Helka Nykaenen, attachée de cabinet; M. Alejandro Ballester Gallardo, manager principal; M. Piotr Zych, chef de mission; ainsi que Mmes Eva Coria Paramas, Erika Söveges et Nita Tennila, et M. Roberto Ruiz Ruiz, auditeurs. L'assistance linguistique a été assurée par M. Richard Moore.
De gauche à droite:
Notes
1 Article 236, paragraphe 1, des règles financières applicables au budget général de l'Union, juillet 2018.
2 Voir document intitulé EC Budget Support – Trends and Results, 2018, p. 61.
3 À l'exception du Maroc, auquel la Cour des comptes européenne consacre un rapport spécial qui sera publié en 2020.
4 Lignes directrices sur l'appui budgétaire, 2017, p. 157.
5 Notre échantillon comporte 163 indicateurs assortis de valeurs cibles qui ne nécessitent pas de valeur de départ parce qu'ils ne servent pas à mesurer l'évolution d'une variable donnée (par exemple «l'adoption d'un texte législatif» ou «le nombre de réunions organisées»). Ces indicateurs ne sont pas pris en considération pour la présente évaluation.
6 Lignes directrices sur l'appui budgétaire, 2017, p. 158.
7 Ce nombre n'inclut pas les indicateurs pour les tranches des années précédentes.
8 L'outil «Snapshot» fournit des méthodes d'analyse pour les principaux domaines suivants nécessaires à l'évaluation des systèmes statistiques: i) les cadres juridique, institutionnel et stratégique qui supportent la production de statistiques et le suivi au niveau national ou sectoriel; ii) l'adéquation des ressources (à savoir la quantité et la qualité des ressources humaines, les équipements et le financement); iii) les déterminants de la qualité des données (à savoir l'engagement vis-à-vis de la qualité, l'indépendance professionnelle, l'impartialité, l'objectivité, la méthodologie et les procédures statistiques appropriées); iv) les relations avec les utilisateurs (à savoir la pertinence et l'accessibilité).
9 À savoir les contrats nos 1, 2, 3, 4 et 5.
10 À savoir les contrats nos 2, 5, 13, 14, 23 et 24.
11 À savoir l'indicateur n° 2 du contrat n° 20, l'indicateur n° 1.2 du contrat n° 6, l'indicateur n° 5 du contrat n° 1 ainsi que les indicateurs nos 2.1 et 2.2 du contrat n° 16.
12 À savoir les indicateurs nos 5, 6 et 8 du contrat n° 23, l'indicateur n° 6.2 du contrat n° 24 et l'indicateur n° 1.7 du contrat n ° 6.
13 À savoir les indicateurs nos 3 et 6 du contrat n° 22, ainsi que les indicateurs nos 1.2 et 3 du contrat n ° 5.
Calendrier
Étape | Date |
---|---|
Adoption du plan d'enquête / Début de l'audit | 20.11.2018 |
Envoi officiel du projet de rapport à la Commission (ou à toute autre entité auditée) | 20.9.2019 |
Adoption du rapport définitif après la procédure contradictoire | 12.11.2019 |
Réception des réponses officielles de la Commission (ou de toute autre entité auditée) dans toutes les langues | 5.12.2019 |
Contact
COUR DES COMPTES EUROPÉENNE
12, rue Alcide De Gasperi
1615 Luxembourg
LUXEMBOURG
Tél. +352 4398-1
Contact: eca.europa.eu/fr/Pages/ContactForm.aspx
Site internet: eca.europa.eu
Twitter: @EUAuditors
De nombreuses autres informations sur l’Union européenne sont disponibles sur l’internet via le serveur Europa (http://europa.eu).
Luxembourg: Office des publications de l’Union européenne, 2019
ISBN 978-92-847-4055-0 | ISSN 1977-5695 | doi:10.2865/892624 | QJ-AB-19-023-FR-N | |
HTML | ISBN 978-92-847-4074-1 | ISSN 1977-5695 | doi:10.2865/129044 | QJ-AB-19-023-FR-Q |
© Union européenne, 2019
Reproduction autorisée, moyennant mention de la source
Toute utilisation ou reproduction de photos ou de tout autre matériel dont Union européenne ne possède pas les droits d’auteur requiert l’autorisation préalable des titulaires des droits en question.
Comment prendre contact avec l’Union européenne?
En personne
Dans toute l’Union européenne, des centaines de centres d’information Europe Direct sont à votre disposition. Pour connaître l’adresse du centre le plus proche, visitez la page suivante: https://europa.eu/european-union/contact_fr
Par téléphone ou courrier électronique
Europe Direct est un service qui répond à vos questions sur l’Union européenne. Vous pouvez prendre contact avec ce service:
- par téléphone:
- via un numéro gratuit: 00 800 6 7 8 9 10 11 (certains opérateurs facturent cependant ces appels),
- au numéro de standard suivant: +32 22999696;
- par courrier électronique via la page https://europa.eu/european-union/contact_fr
Comment trouver des informations sur l’Union européenne?
En ligne
Des informations sur l’Union européenne sont disponibles, dans toutes les langues officielles de l’UE, sur le site internet Europa à l’adresse https://europa.eu/european-union/index_fr
Publications de l’Union européenne
Vous pouvez télécharger ou commander des publications gratuites et payantes à l’adresse https://op.europa.eu/fr/publications. Vous pouvez obtenir plusieurs exemplaires de publications gratuites en contactant Europe Direct ou votre centre d’information local (https://europa.eu/european-union/contact_fr).
Droit de l’Union européenne et documents connexes
Pour accéder aux informations juridiques de l’Union, y compris à l’ensemble du droit de l’UE depuis 1952 dans toutes les versions linguistiques officielles, consultez EUR-Lex à l’adresse suivante: http://eur-lex.europa.eu
Données ouvertes de l’Union européenne
Le portail des données ouvertes de l’Union européenne (http://data.europa.eu/euodp/fr) donne accès à des ensembles de données provenant de l’UE. Les données peuvent être téléchargées et réutilisées gratuitement, à des fins commerciales ou non commerciales.