Rapport spécial
25 2019

Qualité des données dans le domaine de l'appui budgétaire: faiblesses de certains indicateurs et des vérifications effectuées concernant le versement des tranches variables

À propos du rapport L'appui budgétaire est une forme d'aide fournie par l'UE, qui consiste à transférer des fonds vers le Trésor national d'un pays partenaire si celui-ci remplit des conditions de paiement convenues. Les paiements au titre de l'appui budgétaire sont effectués sous la forme de tranches fixes ou variables. Les montants versés pour les tranches variables dépendent de la performance des pays partenaires, qui est mesurée en fonction d'indicateurs de performance préalablement définis. Nous avons examiné si la Commission avait utilisé des données pertinentes et fiables sur la performance pour procéder au décaissement des tranches variables de l'appui budgétaire. Nous concluons qu'un tiers des indicateurs de performance examinés présentaient des faiblesses en raison de la manière dont ils sont conçus, ce qui pouvait donner lieu à des interprétations différentes concernant la question de savoir si les valeurs cibles avaient été atteintes. Par ailleurs, l'évaluation, par la Commission, du respect des valeurs associées aux indicateurs de tranche variable n'était pas toujours fiable. Nous émettons des recommandations destinées à améliorer la formulation des indicateurs, à augmenter le recours aux indicateurs de résultat et à améliorer la vérification des données sur la performance utilisées pour décider du décaissement des tranches variables.
Rapport spécial de la Cour des comptes européenne présenté en vertu de l'article 287, paragraphe 4, deuxième alinéa, du TFUE.

Cette publication est disponible, au format ci-après, dans 23 langues de l'UE:
PDF
PDF General Report

Synthèse

I

L'appui budgétaire est une forme d'aide fournie par l'UE, qui consiste à transférer des fonds vers le Trésor national d'un pays partenaire si celui-ci remplit des conditions de paiement convenues. L'UE est le plus grand pourvoyeur d'appui budgétaire, avec une moyenne de 1,69 milliard d'euros de paiements annuels. Les paiements au titre de l'appui budgétaire sont effectués sous la forme de tranches fixes ou variables. Environ 44 % des paiements de l'UE au titre de l'appui budgétaire concernaient des tranches variables. Dans certains pays du voisinage de l'UE, ces dernières représentaient 90 % des paiements. Les montants versés pour les tranches variables dépendent de la performance des pays partenaires, qui est mesurée en fonction d'indicateurs de performance définis au préalable.

II

Nous avons examiné si la Commission avait utilisé des données pertinentes et fiables sur la performance pour procéder au décaissement des tranches variables de l'appui budgétaire. Pour un tiers des indicateurs de performance examinés, nous arrivons à la conclusion que la manière dont ils sont conçus leur fait perdre de leur pertinence et qu'ils ne permettent pas de mesurer objectivement les résultats. Par ailleurs, l'évaluation, par la Commission, du respect des valeurs associées aux indicateurs de tranche variable n'était pas toujours fiable, ce qui a donné lieu à des versements sans justification suffisante.

III

Les indicateurs de performance des tranches variables étaient alignés sur les stratégies de développement sectoriel des pays partenaires, mais étaient, pour la plupart, axés sur des actions à court terme plutôt que sur des résultats à plus long terme, y compris sur les progrès accomplis au fil du temps dans la réalisation des objectifs de développement durable. En outre, plus d'un tiers des indicateurs étaient définis en termes vagues ou comprenaient des valeurs de départ incorrectes, voire aucune. Cela a donné lieu à des interprétations différentes concernant la question de savoir si les valeurs cibles avaient été atteintes, ce qui a contribué à rendre l'analyse des demandes de décaissement plus complexe et moins objective.

IV

La plupart des tranches variables examinées comportaient des valeurs cibles suffisamment ambitieuses et ont ainsi produit l'effet voulu en encourageant les pays partenaires à progresser dans leurs programmes de réforme. Les quelques exceptions que nous avons relevées concernaient des indicateurs assortis de valeurs cibles qui étaient faciles à atteindre ou qui avaient été atteintes grâce à des travaux réalisés par d'autres donateurs ou par des experts externes payés par l'UE. Le nombre d'indicateurs utilisés dans chaque tranche variable était trop élevé dans six des 24 contrats, ce qui a encore compliqué le processus de décaissement.

V

Les demandes de décaissement pour les tranches variables comportent une analyse du respect des conditions convenues et des résultats obtenus pour les indicateurs de performance fixés d'un commun accord. Ces demandes sont élaborées par les pays partenaires; la fiabilité des données sous-jacentes sur la performance dépend donc de la capacité de ces pays à les produire. Nous avons constaté que la Commission n'avait tiré des conclusions explicites concernant la fiabilité des données sur la performance nécessaires pour calculer les indicateurs de tranche variable que pour cinq des 24 contrats sélectionnés. Lors de l'analyse des demandes de décaissement, les délégations de l'UE ont mis en œuvre diverses procédures pour vérifier la fiabilité de ces données. Certaines de ces procédures ne permettent pas de garantir que les versements de tranches variables sont fondés sur des données fiables; elles ne se justifient donc pas pleinement.

VI

Nous avons réexécuté les évaluations de la Commission visant à établir si les valeurs cibles associées aux indicateurs avaient été atteintes. Nous avons ensuite recalculé les montants des tranches variables versées pour un total de 234 millions d'euros. Sur la base de ces travaux, nous avons relevé des divergences concernant 16,7 millions d'euros, dont 13,3 millions d'euros étaient insuffisamment justifiés ou non conformes aux dispositions contractuelles. Un montant de 3,4 millions d'euros a été payé alors qu'aucun progrès n'avait réellement été accompli. En outre, 26,3 millions d'euros ont été versés à la Moldavie au titre de trois tranches variables sans que les raisons ayant motivé ces paiements soient suffisamment documentées.

VII

Nous adressons à la Commission six recommandations qui visent à ce qu'elle:

  • recoure davantage aux indicateurs de résultat pour les tranches variables;
  • améliore la formulation des indicateurs de performance;
  • préserve l'effet incitatif des tranches variables;
  • simplifie le processus de décaissement pour les tranches variables;
  • améliore les évaluations concernant la capacité des pays à produire les données sur la performance utilisées pour les tranches variables;
  • améliore la vérification des données sur la performance utilisées pour décider du décaissement des tranches variables.

Introduction

La notion d'appui budgétaire

01

L'appui budgétaire est une forme d'aide fournie par l'UE, qui consiste à transférer des fonds vers le Trésor national d'un pays partenaire si celui-ci remplit des conditions de paiement convenues. Les fonds ainsi perçus sont incorporés au budget du pays partenaire, qui peut les utiliser comme il le juge approprié. La Commission décrit l'appui budgétaire comme un moyen de fournir une aide efficace et d'atteindre des résultats durables en soutenant les efforts de réforme des partenaires de l'UE ainsi que les objectifs de développement durable (ODD).

02

Outre le transfert de ressources financières, l'appui budgétaire comporte: i) un dialogue avec le pays partenaire sur les réformes ou les objectifs de développement dont l'appui budgétaire peut contribuer à la réalisation, ii) une évaluation des progrès réalisés, iii) une aide au renforcement des capacités. Avec l'appui budgétaire, on passe d'une aide mettant traditionnellement l'accent sur les activités (par exemple des projets) à une aide axée sur les résultats.

03

L'UE est le plus grand pourvoyeur d'appui budgétaire dans le monde (aussi bien par l'intermédiaire de son budget que dans le cadre des Fonds européens de développement). Au cours de la période 2014‑2017, l'UE a engagé au titre de l'appui budgétaire quelque 11 % (voir annexe I) de son budget consacré à l'aide bilatérale au développement, soit environ 2,13 milliards d'euros en moyenne par an. En 2017, elle a fourni un appui budgétaire à 90 pays et territoires, qui ont reçu en tout 1,8 milliard d'euros. Le montant total engagé pour tous les contrats d'appui budgétaire en cours s'élève à 12,7 milliards d'euros. La figure 1 montre une ventilation de ces chiffres par zone géographique, tant pour le budget général de l'UE que pour les Fonds européens de développement.

Figure 1

Engagements et décaissements en cours au titre de l'appui budgétaire à la fin de 2017, ventilés par zone géographique

(en millions d'euros)

Source: Cour des comptes européenne, sur la base du document intitulé EC Budget Support – Trends & Results 2018.

04

L'appui budgétaire de l'UE exige que des politiques pertinentes et crédibles soient en place et mises en œuvre efficacement par le pays bénéficiaire. En vertu du règlement financier, un pays peut être considéré comme éligible à l'appui budgétaire lorsque les conditions ci-après sont remplies1:

  • la gestion des finances publiques du pays partenaire est suffisamment transparente, fiable et efficace;
  • le pays partenaire a mis en place des politiques sectorielles ou nationales suffisamment crédibles et pertinentes;
  • le pays partenaire a mis en place des politiques macroéconomiques axées sur la stabilité;
  • le pays partenaire a mis en place un accès suffisant et rapide à des informations budgétaires exhaustives et fiables.
05

La Commission européenne utilise trois types de contrats d'appui budgétaire.

  1. Les contrats Objectifs de développement durable (C-ODD), qui visent à contribuer à ce que les politiques et stratégies nationales permettent de progresser dans la réalisation des objectifs de développement durable.
  2. Les contrats de performance de réforme sectorielle (CPRS), qui visent à soutenir des réformes sectorielles spécifiques.
  3. Les contrats d'appui à la consolidation de l'État et à la résilience (CCER), qui sont destinés à des pays en situation de fragilité pour les aider à assurer les fonctions essentielles de l'État ou pour soutenir les processus de passage à une gouvernance démocratique.
06

La grande majorité des programmes d'appui budgétaire de la Commission européenne sont fondés sur des CPRS (74 % de tous les engagements au titre de l'appui budgétaire en 2017). En ce qui concerne le financement, les quatre plus grands secteurs qui bénéficient d'un soutien au moyen des CPRS sont l'éducation, l'agriculture et le développement rural, la santé, ainsi que l'énergie.

Les tranches variables comme incitation à obtenir des résultats

07

Avant chaque décaissement, la Commission vérifie si les conditions générales liées au contrat d'appui budgétaire sont respectées. Dans la plupart des cas, ces conditions sont celles relatives aux critères d'éligibilité à l'appui budgétaire (voir point 04). Les paiements au titre de l'appui budgétaire sont effectués sous la forme de tranches fixes ou variables. Les tranches fixes sont versées dans leur intégralité (si toutes les conditions sont remplies) ou ne sont pas versées du tout (si une ou plusieurs conditions ne sont pas remplies). Les tranches variables sont utilisées pour inciter les pays partenaires à améliorer la mise en œuvre des politiques. Si les conditions générales sont toutes remplies, ces tranches sont versées sur la base de la performance réalisée au regard des valeurs cibles et indicateurs de performance définis. Elles peuvent être payées intégralement ou partiellement. Les indicateurs de performance servant à déterminer les tranches variables peuvent être sélectionnés dans les systèmes de suivi déjà appliqués par le pays partenaire ou dans un cadre commun d'évaluation de la performance convenu avec celui-ci ou avec d'autres donateurs.

08

Différents types d'indicateurs de performance peuvent être utilisés pour les politiques publiques (voir encadré 1). En général, la Commission recommande l'utilisation d'indicateurs de résultat, mais d'autres types d'indicateurs peuvent aussi être appropriés en fonction du contexte spécifique du pays partenaire ou du secteur concerné.

Encadré 1

Types d'indicateurs de performance, accompagnés d'exemples

Définition (*) Exemples d'indicateurs figurant dans les contrats audités (**)
Indicateur d'intrants Moyens financiers, humains et matériels mobilisés pour la mise en œuvre d'un programme
  • Budget alloué à des projets spécifiques aux femmes
Indicateur de processus Mesures politiques et réglementaires engagées
  • Adoption de règlements conformes à la législation de l'UE sur le contrôle des denrées alimentaires aux frontières
Indicateur de produit Retombées immédiates et concrètes de l'utilisation des ressources et des mesures prises
  • Rénovation de bâtiments publics
  • Nouveaux mécanismes commerciaux au niveau local
  • Conception d'un système d'information de gestion pour les enseignants
Indicateur de résultat Résultats obtenus au niveau des bénéficiaires
  • Éducation de qualité dispensée à des élèves syriens dans les communautés d'accueil et dans les camps
  • Augmentation du pourcentage de communautés bénéficiant de services réguliers de transports de passagers
  • Couverture d'assurance-maladie pour les personnes au seuil de la pauvreté
Indicateur d'impact Retombées des résultats en ce qui concerne l'impact dans le cadre d'un objectif plus large
  • Réduction du taux de mortalité infantile
  • Réduction des surfaces de culture de la coca
  • Amélioration du contrôle et des comptes rendus sur les dépenses

Source: (*) Commission européenne, «Lignes directrices sur l'appui budgétaire», 2017, et (**) Cour des comptes européenne.

09

Une valeur financière est associée à chaque indicateur de performance. L'une des façons dont la Commission calcule la part de la tranche variable décaissée consiste à additionner les montants liés à chaque indicateur de performance dont le pays a atteint les valeurs cibles. En d'autres termes, le montant de la tranche variable versée sera d'autant plus élevé que le nombre d'indicateurs dont le pays partenaire aura atteint les valeurs cibles sera important.

10

En 2017, 44 % des paiements effectués par la Commission pour des contrats d'appui budgétaire concernaient des tranches variables2. Dans certains pays du voisinage de l'UE, ces dernières représentaient 90 % des paiements. La figure 2 présente une ventilation par pays des tranches variables versées pour des CPRS en 2017.

Figure 2

Décaissements des tranches variables pour les contrats de performance de réforme sectorielle, en 2017

Source: Cour des comptes européenne, sur la base de données de la Commission européenne.

Le décaissement des tranches variables

11

Le processus de décaissement d'une tranche variable débute par une demande du pays partenaire. Cette dernière comporte une analyse indiquant dans quelle mesure les valeurs cibles des indicateurs de performance concernés ont été atteintes. Les délégations de l'UE analysent les demandes et établissent une note d'évaluation. Sur la base de celle-ci, et après l'approbation du comité de pilotage de l'appui budgétaire, la Commission fixe le montant de la tranche variable qui devra être versé (voir figure 3).

12

L'analyse de la performance du pays partenaire, qui accompagne la demande de décaissement, est fondée sur des données provenant de ses propres systèmes de suivi et d'évaluation. Ces derniers constituent par conséquent la principale source d'information pour le décaissement des tranches variables.

Figure 3

Processus de décaissement

Source: Cour des comptes européenne, sur la base des lignes directrices de la Commission européenne sur l'appui budgétaire.

Étendue et approche de l'audit

13

Le consensus européen pour le développement adopté en 2017 reconnaît que l'appui budgétaire joue un rôle moteur lorsqu'il s'agit d'encourager les efforts déployés par les pays partenaires pour réaliser les objectifs de développement durable (ODD). Du fait que les tranches variables représentent une part très élevée des paiements au titre de l'appui budgétaire et que les données relatives à la performance sur lesquelles ces paiements sont fondés proviennent des pays bénéficiaires, ces paiements risquent de ne pas récompenser des résultats réels comme prévu si ces données sont inexactes ou non fiables. La réalisation de l'objectif même de l'appui budgétaire serait fortement compromise. Le présent audit visait donc essentiellement à examiner la quantité et la qualité (à savoir la pertinence et la fiabilité) des indicateurs de performance utilisés pour les tranches variables, ainsi que l'analyse de la Commission concernant les demandes de décaissement.

14

La principale question d'audit était la suivante: «La Commission a-t-elle utilisé des données pertinentes et fiables sur la performance pour procéder au décaissement des tranches variables de l'appui budgétaire?» Pour y apporter une réponse, nous l'avons scindée en deux sous-questions:

  1. Les contrats d'appui budgétaire comportaient-ils des indicateurs permettant de suivre efficacement les résultats obtenus dans les secteurs soutenus?
  2. La Commission a-t-elle vérifié de façon efficace la fiabilité des données sur la performance présentées dans les demandes de décaissement des tranches variables?
15

L'audit a porté sur un échantillon de 24 contrats de performance de réforme sectorielle (voir annexe II) passés avec les huit pays partenaires bénéficiaires des montants les plus élevés de tranches variables versés en 20173. Ces pays ont perçu 43,29 % de l'ensemble des paiements de tranches variables pour cette année-là. Les tranches variables contrôlées pour les contrats sélectionnés concernaient en tout 248 indicateurs de performance. L'annexe III présente de façon détaillée les paiements effectués en 2017 et les secteurs audités.

16

Pour les contrats sélectionnés, nous avons examiné l'évaluation de la Commission concernant la capacité des systèmes des pays à fournir des données fiables sur la performance. Nous avons aussi vérifié les dispositions des contrats d'appui budgétaire, notamment la qualité des indicateurs de performance utilisés pour les tranches variables. Enfin, nous avons examiné les vérifications effectuées par la Commission concernant les données présentées dans les demandes de décaissement des tranches variables. En l'occurrence, nous avons procédé à un contrôle documentaire des dossiers de paiement élaborés par la Commission et avons réexaminé si les valeurs cibles avaient été atteintes et si le calcul des montants de la tranche variable versés était correct. Nous avons ensuite comparé nos conclusions à celles de la Commission.

17

L'audit a comporté des visites dans trois pays: la Jordanie, la Géorgie et la Bolivie. Au cours de celles-ci, qui ont eu lieu en février et en mars 2019, nous nous sommes entretenus avec des agents de la Commission, des représentants des autorités nationales et d'autres donateurs/parties prenantes. En plus des procédures appliquées pour les autres pays sélectionnés, nous avons réexécuté dans ces trois pays les vérifications effectuées par la Commission concernant les demandes de décaissement des tranches variables et les paiements correspondants. Nous avons ensuite comparé nos résultats à ceux de l'analyse de la Commission. De plus, nous avons réalisé des contrôles croisés entre les données sur la performance déclarées par les pays partenaires et d'autres sources d'éléments probants provenant d'experts externes et d'autres donateurs pour en évaluer la fiabilité.

Observations

La manière dont les indicateurs de tranche variable sont conçus en réduit la pertinence

18

Nous avons examiné: i) si les indicateurs de performance étaient pertinents pour réaliser les objectifs visés par les contrats d'appui budgétaire et s'ils étaient alignés sur les politiques du pays; ii) s'ils constituaient une base solide pour assurer le suivi des résultats significatifs.

Les indicateurs concordent avec les stratégies sectorielles des pays, mais sont essentiellement axés sur des mesures à court terme plutôt que sur des résultats à plus long terme

19

La Commission considère l'appui budgétaire comme une forme d'aide axée sur les résultats. Alors que les aides octroyées à des projets sont décaissées en remboursement de dépenses éligibles, les tranches variables de l'appui budgétaire le sont lorsque les pays partenaires remplissent les conditions générales et obtiennent des résultats convenus au préalable, mesurés au moyen d'indicateurs de performance sélectionnés. L'importance des tranches variables dépend donc de la mesure dans laquelle ces indicateurs de performance mesurent des résultats significatifs.

20

Il existe cinq types d'indicateurs, qui sont présentés dans l'encadré 1. Les indicateurs d'intrants, de processus et de produits sont les plus pertinents pour la gestion quotidienne des programmes de dépenses publiques. Les indicateurs de résultat et d'impact mesurent les effets à plus long terme, tels que l'état d'avancement des réformes et des programmes au regard des objectifs fixés, par exemple les ODD. La figure 4 présente l'exemple des différents types d'indicateurs utilisés pour l'un des programmes d'appui budgétaire en Bolivie.

Figure 4

Chaîne de résultats et différents types d'indicateurs de performance

Source: Chaîne de résultats du Comité d'aide au développement (CAD) de l'OCDE, utilisée dans le cadre des actions extérieures de l'UE.

21

Les lignes directrices sur l'appui budgétaire autorisent l'utilisation de tous les types d'indicateur susmentionnés. Selon la Commission, une préférence devrait toutefois être accordée aux indicateurs de résultat, car ils encouragent l'élaboration de politiques fondées sur des éléments concrets, ils protègent l'espace politique permettant à certains pays partenaires de choisir les politiques et les stratégies qui leur sont propres pour obtenir ces résultats, et ils stimulent la demande en faveur d'informations statistiques de haute qualité. Plus le gouvernement du pays partenaire suscite la confiance dans sa capacité à fournir des données fiables, plus l'accent devra être placé sur les indicateurs de résultat. Nous estimons que les indicateurs d'impact sont aussi utiles pour mesurer les résultats, notamment en ce qui concerne la réalisation des ODD.

22

Notre analyse des 248 indicateurs figurant dans les contrats audités montre qu'ils sont alignés sur les stratégies sectorielles des pays partenaires. Toutefois, les décaissements de tranches variables sont essentiellement fondés sur des indicateurs d'intrants, de processus et de résultat, qui représentent ensemble 87 % de tous les indicateurs. Seuls 33 indicateurs (13 %) servaient à mesurer les résultats et l'impact (voir figure 5).

Figure 5

Types d'indicateur utilisés pour les tranches variables dans les programmes audités

Source: Cour des comptes européenne.

23

Nous avons constaté que la plupart des indicateurs de résultat et d'impact étaient utilisés dans des pays à faible revenu et à revenu intermédiaire de la tranche inférieure. En revanche, dans les pays à revenu intermédiaire de la tranche supérieure, tels que la Jordanie et la Géorgie, qui étaient dotés de meilleures capacités à produire des données sur la performance, quatre indicateurs de résultat seulement ont été utilisés et aucun indicateur d'impact ne l'a été. Cela montre que le choix des indicateurs n'est pas nécessairement lié au niveau de développement des pays.

24

Les indicateurs d'intrants utilisés pour les tranches variables auditées concernaient essentiellement des marchés publics pour l'acquisition de biens (18 cas) et des augmentations de dotations budgétaires (neuf cas). Des budgets revus à la hausse ou des marchés publics pour l'achat d'équipements sont susceptibles d'entraîner des changements dans un domaine d'intérêt donné, mais cela ne signifie pas automatiquement que des progrès significatifs seront accomplis.

25

Les indicateurs de processus peuvent être utiles, en particulier lorsque la politique menée vise à modifier le cadre réglementaire. Cependant, comme cela est indiqué dans les lignes directrices, ils ne devraient pas cibler uniquement les processus, mais aussi mesurer des aspects qualitatifs, par exemple les éléments qu'une entité à créer est censée couvrir, etc.4 Or ce n'était pas toujours le cas. L'encadré 2 présente quelques exemples d'indicateurs qui ne mentionnaient aucune exigence minimale quant à la qualité du contenu ou de la structure des informations à communiquer. Dès lors, il est difficile de s'assurer que les tranches variables récompensent des processus de bonne qualité.

Encadré 2

Exemples d'indicateurs de processus dépourvus de spécifications qualitatives

Dans le contrat relatif au plan d'action concernant la libéralisation du régime des visas de la Moldavie (contrat n° 15), un indicateur porte sur l'approbation d'un cadre réglementaire pour l'enregistrement obligatoire des infractions signalées, sans la moindre référence à la qualité/au contenu de ce cadre.

Dans le contrat sur l'énergie pour la Jordanie (contrat n° 4), la valeur cible d'un indicateur était énoncée comme suit: une structure pour le dialogue politique entre plusieurs parties prenantes, dirigée par le ministère de l'énergie et des ressources minérales est opérationnelle et se réunit régulièrement. Aucune précision supplémentaire n'était apportée concernant le nombre de réunions à tenir.

Un tiers des indicateurs ne permettent pas de mesurer objectivement les résultats

26

Les indicateurs utilisés pour mesurer l'état d'avancement de la mise en œuvre d'une politique publique doivent être spécifiques et assortis de valeurs cibles quantifiées et mesurables et, le cas échéant, d'une valeur de départ fiable. Si ce n'est pas le cas, il est impossible de mesurer objectivement les progrès accomplis. Les indicateurs, les valeurs de départ et les valeurs cibles doivent être convenus lors de l'établissement des contrats d'appui budgétaire et précisés dans la convention de financement. Bien que les lignes directrices préconisent d'éviter toute modification des indicateurs, il se peut que les valeurs cibles doivent être changées au cours de l'exécution du contrat afin de tenir compte de nouvelles circonstances ou de corriger des erreurs dans la définition des valeurs de départ ou dans le calcul des indicateurs.

27

Notre analyse montre que 72 indicateurs (à savoir 29 % de notre échantillon) n'étaient pas suffisamment spécifiques. Des indicateurs non spécifiques sont particulièrement problématiques lors de l'analyse des demandes de décaissement, car il existe un risque d'aboutir à des appréciations contradictoires lorsqu'il s'agit de déterminer si les valeurs cibles ont été atteintes. Par suite, le calcul du montant de tranche variable à payer risque d'aboutir à des résultats différents.

28

Parmi les indicateurs, 29 % étaient formulés en termes vagues, sans valeurs cibles quantifiées, et comportaient des mots tels que «améliorer», «mettre davantage l'accent sur» et «fournir des éléments probants». Nous avons observé que les contrats dans le secteur agricole contenaient le plus grand nombre d'indicateurs spécifiques (86,5 %), tandis que 60 % seulement des indicateurs étaient spécifiques dans le cas de la gestion des finances publiques (GFP). L'encadré 3 présente des exemples d'indicateurs non spécifiques et des conséquences sur le calcul des montants de tranches variables à décaisser.

Encadré 3

Exemples d'indicateurs/de valeurs cibles non spécifiques

  • Dans le contrat sur l'aide en faveur de la deuxième phase de la réforme de l'enseignement en Jordanie (contrat n° 1), la valeur cible pour l'indicateur n° 5 était la suivante: six nouvelles écoles équipées et opérationnelles, dotées de moyens/d'un environnement d'apprentissage et de ressources humaines qui soient appropriés. La convention de financement ne précisait pas suffisamment comment le terme «appropriés» devait être respecté et comment cela devait être quantifié pour calculer le paiement, avec le risque que cela donne lieu à différentes interprétations. Dès lors, l'expert externe chargé par la Commission de vérifier si les valeurs cibles avaient été atteintes a dû élaborer sa propre méthodologie pour évaluer ces critères. Cela signifie que ces critères n'avaient pas été définis au préalable dans la convention de financement et qu'ils n'avaient donc pas été convenus avec le pays partenaire.
  • L'indicateur n° 2.1 du contrat sur le soutien à la réforme de la politique des finances publiques en Géorgie (contrat n° 8) est énoncé comme suit: Le ministère des finances organise une série de débats publics sur la gouvernance budgétaire […]. Cet indicateur ne précise ni le nombre ni la nature de ces réunions.
29

Nous avons aussi relevé de bons exemples où la Commission s'était efforcée de mesurer les progrès accomplis pour des indicateurs qui n'étaient pas faciles à analyser. Pour ce qui est du cas illustré dans l'encadré 4, la Commission avait montré la voie pour l'ensemble de la communauté des donateurs dans le domaine de l'éducation.

Encadré 4

Mesurer la qualité de l'éducation: un bon exemple

Dans le contrat sur l'«Appui budgétaire destiné à permettre au ministère jordanien de l'éducation de faire face à la crise des réfugiés syriens», la Commission a utilisé l'indicateur suivant: Fournir aux élèves syriens dans les communautés d'accueil et dans les camps une éducation de qualité, qui soit comparable aux standards jordaniens et à celle préconisée dans le pays, dans des écoles à double vacation et à vacation unique.

Il s'agissait d'un indicateur de résultat qui servait à mesurer la qualité de l'éducation fournie aux étudiants syriens. Une enquête sur un échantillon d'établissements scolaires a été réalisée pour apprécier la valeur de l'indicateur. Dans chaque école, la qualité de l'enseignement a été mesurée moyennant l'évaluation de dix facteurs différents (tels que les observations des leçons, l'implication des parents et des étudiants, la représentation à parts égales des garçons, des filles, des réfugiés et des Jordaniens) sur une échelle allant de un à quatre points. Les notes obtenues (à savoir celles relatives à la performance en matière de qualité) ont été utilisées pour classer les établissements scolaires du niveau A+ (bons) à C- (ceux qui nécessitent des améliorations).

Cet indicateur était le premier servant à mesurer la qualité de l'enseignement en Jordanie. Par la suite, il a été utilisé par d'autres donateurs et introduit dans le cadre commun des résultats de ce pays.

Cependant, nous avons constaté que la vérification des résultats obtenus pour les différents indicateurs présentait des faiblesses (voir encadré 10).

Les valeurs de départ faisaient défaut ou étaient incorrectes pour 41 % des indicateurs sur l'état d'avancement

30

Pour mesurer efficacement les résultats, il faut, entre autres, disposer au départ d'indicateurs clairs et précis. Les progrès ne sont mesurables que si les valeurs cibles fixées peuvent être comparées à la situation préalable à l'intervention, en d'autres termes à des valeurs de départ. Pour 35 des 85 indicateurs analysés nécessitant des valeurs de départ (à savoir ceux sur l'état d'avancement5), nous avons relevé des problèmes liés à: i) l'absence de telles valeurs (15 indicateurs), ii) des valeurs de départ incorrectes ou obsolètes (20 indicateurs).

31

Pour 15 indicateurs, aucune valeur de départ n'avait été définie. Ils figuraient dans quatre des 24 contrats d'appui budgétaire sélectionnés (à savoir les contrats nos 6, 7, 8 et 17). Cette absence de valeurs de départ tenait principalement au fait que les pays partenaires n'avaient assuré aucun suivi de la situation avant que le contrat d'appui budgétaire prenne effet. Or nous avons relevé des exemples où, dans une situation similaire, la Commission avait conditionné le versement de la première tranche variable du contrat d'appui budgétaire au calcul d'une valeur de départ par le pays partenaire. Dans d'autres cas, la Commission a réalisé les travaux nécessaires (à savoir des enquêtes) pour calculer les valeurs de départ manquantes. Nous considérons qu'il s'agit de bonnes pratiques. L'encadré 5 donne un exemple des travaux que la Commission a dû effectuer pour que l'indicateur concerné permette d'évaluer précisément les progrès accomplis en vue des tranches suivantes.

Encadré 5

Établissement de valeurs de départ

L'indicateur n° 3 du contrat sur la réforme du secteur de l'énergie, qui visait à accroître la performance de ce dernier au Rwanda (contrat n° 19), constitue un exemple de bonne pratique dans l'établissement de valeurs de départ moyennant le remplacement de données manquantes par d'autres sources d'information. Cet indicateur est mesuré dans le cadre d'une enquête annuelle pendant toute la durée du contrat. Or les résultats de cette enquête n'étaient pas connus au moment où la convention de financement a été établie, de sorte qu'aucune valeur de départ n'était disponible. Pour fixer la valeur de départ, la délégation de l'UE a réalisé une analyse approfondie et des vérifications croisées d'autres sources de données telles que la stratégie dans le domaine de l'énergie de biomasse à compter de 2009, l'évaluation de l'alliance mondiale pour les réchauds écologiques propres à compter de 2012, et le rapport de la carte globale intégrée de l'offre et de la demande de bois de feu. Sur la base de ces travaux, la délégation de l'UE a été en mesure de définir une valeur de base pertinente.

32

En outre, 20 indicateurs étaient assortis de valeurs de départ incorrectes ou obsolètes. Dans 11 de ces cas, de nouvelles données pertinentes pour calculer correctement la valeur de départ ont été disponibles après la signature du contrat d'appui budgétaire. Alors qu'il était en l'occurrence possible de modifier la convention de financement pour tenir compte de la valeur de départ correcte, la Commission ne l'a pas fait. En outre, du fait de l'utilisation de valeurs de départ incorrectes ou obsolètes, des indicateurs comportaient des valeurs cibles inférieures aux valeurs de départ réelles. L'encadré 6 donne plusieurs exemples.

Encadré 6

Exemples d'indicateurs pour lesquels les valeurs de départ faisaient défaut ou étaient incorrectes

Absence de valeurs de départ

Pour le contrat intitulé «Emploi, ainsi qu'enseignement et formation professionnels» en Géorgie (contrat n° 7), aucune valeur de départ n'était définie lors de la signature de la convention de financement en 2014, et ce pour les cinq indicateurs mesurant l'état d'avancement. Dès lors, la valeur de départ par rapport à laquelle mesurer toute augmentation était égale à zéro. En d'autres termes, tout progrès signalé pouvait être considéré comme suffisant pour atteindre la valeur cible. À titre d'exemple, le contrat comportait des valeurs cibles dont l'objectif sous-jacent était l'augmentation du nombre relatif d'enseignants recevant une formation initiale ou continue. Or aucune donnée n'était disponible sur le nombre d'enseignants déjà bénéficiaires du type de formation visé. De plus, les notions de formation «initiale» et «continue» n'ont été introduites qu'en 2016. Il était par conséquent impossible de connaître la situation de départ au moment de l'établissement des valeurs cibles. Étant donné qu'aucune valeur de départ n'était disponible, la Commission a tenu compte des évolutions au sens large dans le secteur de l'éducation, plutôt que des valeurs fixées pour les indicateurs.

Les valeurs de départ ne sont pas désagrégées

Dans certains cas, la valeur de départ était fournie, mais sans être suffisamment désagrégée pour permettre d'apprécier les progrès accomplis. La valeur cible pour l'indicateur n° 1 d'un contrat passé avec la Bolivie (contrat n° 9) imposait à une série d'institutions de former un nombre précis d'agents en 2016. La valeur de départ comportait des informations sur le nombre de formations proposées en 2013. Elle n'était toutefois pas suffisamment désagrégée, car elle ne précisait pas le nombre d'agents formés par chaque institution. D'autres documents qui nous ont été fournis montrent que, dans certains centres de formation, le nombre d'agents formés en 2013 dépassait déjà les deux valeurs cibles fixées pour 2016, de 2 % dans un cas et de 42 % dans l'autre. En l'occurrence, le fait que la valeur de départ n'était pas suffisamment désagrégée a entraîné la fixation de valeurs cibles peu ambitieuses.

Valeurs de départ incorrectes

Dans le contrat intitulé «Programme de soutien au plan relatif au secteur de l'éducation» au Pakistan (contrat n° 24), la valeur de départ pour l'indicateur n° 5 concernait le nombre d'étudiants bénéficiant d'un système de bourses. Or la valeur cible était un pourcentage de filles éligibles recevant le montant de la bourse en temps utile. La valeur de départ n'était donc pas directement liée à la valeur cible.

Les indicateurs produisent généralement l'effet incitatif voulu, mais ils sont trop nombreux

33

L'un des principaux objectifs de l'appui budgétaire est d'inciter les pays partenaires à suivre la voie des réformes convenues. À cet effet, il faut que les indicateurs utilisés pour les tranches variables nécessitent un réel effort de la part du pays bénéficiaire. Les valeurs cibles correspondantes devraient aussi trouver le juste équilibre entre ambition et facilité à être atteintes6.

34

Nous avons constaté que la plupart des tranches variables examinées avaient eu pour effet d'inciter les pays partenaires à mettre en œuvre certains aspects de leurs stratégies de développement. Cependant, les valeurs cibles utilisées pour 11 des indicateurs sélectionnés étaient très faciles à atteindre. Parmi ceux-ci figurent quatre indicateurs dont les valeurs cibles fixées étaient très faibles en raison de l'utilisation de valeurs de départ incorrectes (voir points 31 et 32). L'encadré 7 présente quelques exemples d'indicateurs ayant eu peu d'effet incitatif. En outre, pour 12 autres indicateurs figurant dans trois contrats passés en Moldavie (contrat n° 16), en Bolivie (contrat n° 10) et au Pakistan (contrat n° 23), la plupart des valeurs cibles ont été atteintes grâce aux aides fournies dans le cadre de l'assistance technique, versées par l'UE ou par d'autres donateurs. Nous sommes d'avis que le degré d'appropriation de ces indicateurs est limité et que leur effet incitatif est faible du fait qu'ils ne nécessitent pas un engagement fort de la part des pays partenaires.

Encadré 7

Exemples d'indicateurs assortis de valeurs cibles faciles à atteindre

Dans un contrat passé avec la Bolivie (contrat n° 9), le versement d'une partie de la tranche variable dépendait de l'organisation de deux réunions plénières en 2015 par une institution responsable de la mise en œuvre de la stratégie de lutte contre le trafic de drogue. L'organisation régulière de réunions plénières pour assurer le suivi de la stratégie fait partie des activités ordinaires et ne devrait pas être encouragée au moyen d'un indicateur de tranche variable.

La valeur cible pour l'indicateur n° 4 du même contrat est l'établissement d'un rapport attestant que le pays partenaire respecte les conditions pour bénéficier de l'appui budgétaire de l'UE. Or l'établissement de ce rapport fait partie du processus normal de décaissement pour l'appui budgétaire et ne devrait dès lors pas être considéré comme un indicateur de tranche variable.

35

Les lignes directrices suggèrent qu'en règle générale, le nombre d'indicateurs d'une tranche variable devrait se situer dans une fourchette de trois à dix. Si les indicateurs sont trop nombreux, l'effet incitatif est dilué et le suivi plus compliqué. Les contrats audités comportaient de quatre à 34 indicateurs par tranche7. Ces indicateurs étaient ensuite décomposés en sous-indicateurs, souvent assortis de plusieurs valeurs cibles. À titre d'exemple, le contrat prévoyant l'octroi d'une aide pour mettre en œuvre un plan d'action concernant la libéralisation du régime des visas en Moldavie (contrat n° 15) comportait 95 valeurs cibles indépendantes. Un nombre aussi élevé d'indicateurs et de valeurs cibles ne favorise pas la concentration sur les principaux objectifs stratégiques des contrats d'appui budgétaire. Bien que la Commission ait reconnu l'existence de problèmes liés au nombre élevé d'indicateurs dans des documents internes, cela n'a pas eu d'incidence sur le libellé des contrats (voir encadré 8).

Encadré 8

Nombre élevé d'indicateurs

Dans les documents préparatoires au contrat sur le soutien à l'agriculture et au développement rural en Moldavie (contrat n° 17), il est indiqué qu'il est fondamental de concevoir un nombre restreint de conditions ciblées en Moldavie, car l'appui budgétaire sectoriel risque de se solder par un échec si les conditions sont nombreuses et complexes. Cet aspect a été négligé lors de la conception, comme le montrent les 28 conditions/critères/activités composites à respecter/réaliser mentionné(e)s dans le contrat pour le décaissement de la tranche variable de 2017, qui ont été à leur tour subdivisé(e)s en 39 sous-conditions.

La qualité des vérifications de la Commission concernant les résultats obtenus pour les indicateurs était variable, ce qui a conduit à une justification insuffisante de certains paiements

36

Les demandes de décaissement présentées par les pays bénéficiaires comportent une analyse de l'état d'avancement dans les secteurs soutenus dans le cadre de leurs contrats d'appui budgétaire ainsi que des informations sur le respect des conditions convenues et sur les résultats obtenus pour les indicateurs de performance fixés d'un commun accord. Le dossier comprend habituellement un rapport d'avancement dans un domaine (secteur) donné, des rapports distincts sur la réalisation de chaque condition et des fiches concernant chaque indicateur, avec des pièces justificatives (par exemple des lettres d'un office statistique, des rapports d'enquête, etc.). La figure 3 décrit le processus de décaissement de l'appui budgétaire.

37

Les demandes des pays partenaires sont fondées sur des données provenant de leurs propres systèmes de suivi et d'évaluation. Ces derniers constituent donc l'une des principales sources d'information à l'appui des décisions de décaissement. Or les pays disposent de capacités et de systèmes divers aux fins de la collecte, du stockage, de l'analyse et de l'utilisation des données. Par conséquent, avant de commencer des opérations d'appui budgétaire, la Commission doit évaluer les systèmes mis en place pour élaborer les indicateurs de performance qui seront utilisés par la suite pour le paiement des tranches variables. Les délégations de l'UE doivent en particulier déterminer si les lacunes relevées dans les systèmes statistiques, dans la disponibilité des données ou dans l'analyse de la politique compromettent sensiblement la validité des demandes de décaissement présentées par les pays.

38

En ce qui concerne les contrats examinés, nous avons vérifié si la Commission avait rigoureusement évalué la fiabilité des données sur la performance lors du choix des indicateurs de performance pour les tranches variables. Nous avons aussi contrôlé si la Commission avait réalisé un examen approfondi des demandes de décaissement des tranches variables et si elle avait calculé correctement le montant à verser.

La Commission n'a formulé aucune conclusion sur la capacité des pays à produire les données nécessaires pour les indicateurs

39

Les délégations de l'UE doivent fournir un aperçu des systèmes de suivi et d'évaluation du pays partenaire (pour le pays en général et pour le secteur particulier dans le cas des CPRS), en évaluant si la politique publique du pays est en adéquation avec les objectifs de l'UE et si sa capacité institutionnelle est jugée suffisante pour la mettre en œuvre. De plus, les lignes directrices requièrent que la fiabilité et la disponibilité des données soient analysées et que les lacunes relevées dans les systèmes statistiques soient appréciées, avant l'établissement des contrats d'appui budgétaire.

40

Nous avons analysé les évaluations réalisées par la Commission, en utilisant des critères définis par l'office statistique de l'Union européenne (Eurostat). Eurostat a développé un outil appelé «Snapshot» pour aider les délégations de l'UE à évaluer les points forts et les faiblesses des systèmes statistiques nationaux dans les pays en développement. Nous avons constaté que les lignes directrices de la Commission sur l'appui budgétaire couvrent les principales exigences de cet outil. Néanmoins, l'outil «Snapshot» est plus exhaustif et fournit des explications détaillées sur la façon d'effectuer les mesures dans des domaines particuliers8, qui sont pertinentes pour l'évaluation des systèmes statistiques. Généralement, les agents des délégations ne connaissent pas cet outil.

41

Lors de notre examen de l'appréciation des systèmes d'évaluation et de suivi par la Commission, nous avons constaté que, dans la pratique, celle-ci décrivait et évaluait généralement les éléments mentionnés dans les lignes directrices, mais qu'elle le faisait dans plusieurs documents séparés. Cependant, même si certaines lacunes spécifiques à des secteurs étaient mentionnées dans la majorité des contrats (18 sur 24), la Commission n'a explicitement tiré des conclusions quant à la fiabilité des données sur la performance nécessaires pour calculer les indicateurs de tranche variable que dans les cinq contrats passés en Jordanie9. Il importe d'arriver à une conclusion sur la fiabilité des données dans la perspective du choix des indicateurs, du suivi et de l'analyse du décaissement.

La Commission a vérifié la fiabilité des données présentées à l'appui des demandes de décaissement, mais pas toujours de manière approfondie

42

Les délégations de l'UE doivent analyser les demandes de décaissement présentées par les pays partenaires (y compris les valeurs des indicateurs de performance correspondants) avant de procéder au paiement des tranches variables. Nous avons recensé diverses procédures de vérification, dont certaines ne fournissaient pas l'assurance nécessaire pour justifier les versements ultérieurs.

43

Globalement, la Commission a appliqué trois procédures de vérification différentes: i) un contrôle documentaire complété par un nouveau calcul arithmétique des valeurs des indicateurs au moyen des données fournies par les pays partenaires; ii) la même méthode, avec en plus des visites sur place pour vérifier la fiabilité des données transmises; iii) la sous-traitance à des experts externes chargés de calculer la valeur des indicateurs de performance ou de vérifier les données communiquées par le pays partenaire.

44

Pour 14 des 24 contrats audités, les agents des délégations de l'UE ont effectué des visites sur place afin de compléter l'analyse et de vérifier certaines données fournies (voir encadré 9). Dans le cas de 16 contrats, ils ont engagé des experts externes chargés d'analyser le respect des conditions liées aux tranches variables, et ce parfois en plus de leurs visites sur place. Dans les pays du voisinage, le recours à des experts était systématique, tandis que dans les autres pays audités, les délégations n'en ont engagé que pour cinq des 13 contrats.

45

Les lignes directrices sur l'appui budgétaire recommandent de faire appel à des experts pour des vérifications si de sérieux doutes sont émis quant à la qualité des données fournies. À défaut de conclusions claires sur la capacité des pays partenaires à produire ces données (voir points 39 à 41), il est cependant difficile de décider si l'assistance d'experts est réellement nécessaire. En ce qui concerne les contrats examinés, le coût moyen des missions de vérification des experts était d'environ 110 000 euros.

Encadré 9

Vérification des demandes de décaissement par la Commission

Pour évaluer la demande de décaissement concernant le contrat relatif à la réforme sectorielle qui visait à augmenter la performance du secteur agricole du Rwanda (contrat n° 18), la délégation de l'UE a réalisé une analyse approfondie des informations fournies par le gouvernement rwandais et l'a complétée par des visites sur place et des demandes d'éclaircissements aux autorités nationales. Dans le cas particulier de l'indicateur n° 5a, la valeur cible pour la première année était 80 000 ha de terres à consacrer à l'agroforesterie dans certaines zones du pays. La délégation a effectué une visite sur place qui a montré que les informations communiquées étaient incorrectes, étant donné que les activités menées dans la zone contrôlée ne se limitaient pas à l'agroforesterie. Par conséquent, la Commission a diminué le paiement de la tranche du montant lié à cet indicateur.

46

Pour six10 des 24 contrats sélectionnés, nous avons constaté que la Commission n'avait pas procédé à des vérifications supplémentaires efficaces concernant les données utilisées comme base pour le versement des tranches variables. Cela s'explique principalement par le fait que les délégations de l'UE ont considéré comme acquise l'exactitude des données sur la performance fournies par les pays partenaires ou fait pleinement confiance aux travaux de vérification effectués par des experts externes au nom de la Commission, sans procéder à d'autres vérifications des données transmises. Dans ces cas-là, il est plus difficile pour la Commission de repérer les données non fiables sur la performance dans les demandes de décaissement, ce qui accroît le risque de paiements injustifiés des tranches variables. L'encadré 10 présente un exemple de lacunes dans un examen externe qui n'ont pas été détectées par la Commission.

Encadré 10

Exemples de lacunes décelées dans les travaux d'un expert externe

Pour le contrat n° 2, qui vise à aider le ministère jordanien de l'éducation à faire face à la crise des réfugiés syriens, la Commission a engagé un expert pour évaluer les données déclarées par ce dernier pour certains indicateurs de tranche variable. Afin de pouvoir valider les données déclarées par le ministère, l'expert a visité sur place un échantillon de 30 écoles. Se fondant sur le rapport de l'expert, la Commission a versé la tranche variable.

Nous avons examiné les travaux de l'expert, effectué des visites auprès de certaines des écoles de son échantillon et relevé les problèmes ci-après.

  1. L'échantillonnage des écoles n'était pas aléatoire, mais fondé sur des recommandations émises par une équipe de consultants externes travaillant pour l'Unesco. L'échantillonnage a ensuite été approuvé par le ministère de l'éducation. Il existait donc un risque que l'échantillon ait été biaisé.
  2. Même si l'expert a effectivement visité les 30 écoles de l'échantillon, il n'a procédé à une comparaison des données que pour 17 d'entre elles, parce que le ministère ne disposait pas des informations nécessaires pour les écoles restantes. Dès lors, les conclusions de l'expert externe sur la fiabilité du système informatique du ministère reposaient sur des éléments probants insuffisants.
  3. Les vérifications sur place concernant le personnel des écoles ne portaient que sur les enseignants, alors que la valeur cible pour l'indicateur n° 1 traitait aussi du personnel non enseignant. Les conclusions sur cet indicateur étaient donc incomplètes.
  4. L'expert a conclu que les données recueillies sur place confirmaient celles du ministère. Pour les indicateurs nos 1 (nombre de membres du personnel) et 2 (nombre d'étudiants), il a abouti à cette conclusion en comparant les résultats totaux pour l'échantillon. Cependant, les résultats pour chaque école présentent des différences non négligeables (positives et négatives) compensées par l'expert lors du calcul des totaux.

Pour certaines tranches variables, les données sur la performance fournies par les pays partenaires ne justifiaient pas les paiements effectués

47

Nous avons examiné des paiements de tranches variables pour un total de 234 millions d'euros. Pour cinq pays sur huit, notre analyse des éléments probants censés attester que les valeurs cibles des indicateurs de tranche variable ont été atteintes a abouti à des résultats différents de ceux validés par la Commission pour un montant de 13,3 millions d'euros. Dans un pays (le Pakistan), nous avons même relevé une différence de 19 % par rapport aux tranches variables décaissées. Par ailleurs, nous avons également constaté que la Commission avait versé 3,4 millions d'euros en faveur de deux pays sur la base d'indicateurs liés à des valeurs de départ fixées de façon incorrecte. Même s'il existait une obligation contractuelle d'effectuer le paiement, puisque la valeur cible avait été atteinte, aucun progrès réel n'avait été accompli dans le domaine mesuré par l'indicateur. Le tableau 1 présente de façon synthétique ces montants pour chaque pays visité.

Tableau 1 – Divergences par rapport aux évaluations effectuées par la Commission

Pays Tranche variable examinée
(en euros)
Différences par rapport à notre évaluation
(en euros)
Références du contrat et des indicateurs Raison des divergences
(pour chaque indicateur)
Montants versés malgré l'absence de progrès réel
(en euros)
Bolivie 32 800 000 0 0
Éthiopie 29 520 000 0 2 000 000
(Contrat n° 14: indicateur n° 7)
Géorgie 19 400 000 1 000 000 Contrat n° 6:
indicateurs nos 1.2 et 1.7
Indicateur n° 1.2: valeur cible atteinte deux mois après la date limite
Indicateur n° 1.7: valeur cible non atteinte
0
Jordanie 45 750 000 6 000 000 Contrat n° 1:
indicateur n° 5
Valeur cible atteinte deux ans après la date limite 0
Moldavie 26 345 111 1 000 000 Contrat n° 16:
indicateurs nos 2.1 et 2.2
Indicateur n° 2.1: valeur cible atteinte un mois après la date limite
Indicateur n° 2.2: valeur cible atteinte trois mois après la date limite
0
Pakistan 25 665 625 4 968 750 Contrat n° 23:
indicateurs nos 5, 6 et 8 Contrat n° 24: indicateurs nos 4, 6.2 et 6.3
Indicateurs nos 5, 6 et 8: valeurs cibles non atteintes Indicateurs nos 4 et 6.3: éléments probants incorrects Indicateur n° 6.2: valeurs cibles non atteintes 0
Rwanda 27 667 500 332 500 Contrat n° 20:
indicateur n° 2
Valeur cible atteinte un an après la date limite 1 437 500
(contrat n° 19: indicateur n° 5; contrat n° 20: indicateur n° 4)
Viêt Nam 27 000 000 0 0
TOTAL 234 148 236 13 301 250 3 437 500

Source: Cour des comptes européenne.

48

Les principaux problèmes que nous avons détectés concernaient: i) des valeurs cibles atteintes tardivement, après la date limite fixée; ii) une mesure des résultats fondée sur des valeurs de départ fixées de façon incorrecte; iii) des éléments probants inexacts ou insuffisants fournis pour attester que les valeurs cibles des indicateurs ont été atteintes; iv) des valeurs cibles jamais atteintes. La figure 6 montre les types de divergences détectées par rapport aux évaluations de la Commission, ainsi que leur proportion.

Figure 6

Types de divergences

Source: Cour des comptes européenne.

49

L'encadré 11 décrit l'un des cas pour lesquels nous avons jugé que les pays partenaires avaient fourni des éléments probants inexacts.

Encadré 11

Éléments probants fondés sur un échantillon biaisé

La valeur cible pour l'indicateur n° 6.3 du contrat relatif à l'éducation au Pakistan (contrat n° 24) était la suivante: le taux de fréquentation scolaire des étudiants bénéficiant de chèques-éducation devait atteindre au moins 80 %. Selon les éléments probants fournis par le pays partenaire, le taux de fréquentation était supérieur à la valeur cible (87 %), de sorte que la Commission a considéré que cette dernière avait été atteinte. Suivant le rapport sur la conformité de l'assistance technique, les éléments probants présentés étaient censés couvrir l'ensemble des étudiants pendant toute l'année. Or il ressort de notre analyse que les autorités nationales n'avaient tenu compte que d'un quart des étudiants recevant des chèques-éducation lors du calcul du taux de fréquentation pour l'ensemble de ceux-ci. En outre, cet échantillon a été constitué au début de l'année scolaire, moment où le taux de fréquentation est le plus élevé. Puisque l'échantillon était biaisé, nous avons conclu que les éléments probants justifiant le paiement n'étaient pas solides.

En l'occurrence, la Commission avait considéré que la valeur cible était atteinte et avait versé l'intégralité du montant dû.

50

Dans quatre contrats, nous avons relevé cinq cas d'indicateurs11 dont les valeurs cibles avaient été atteintes après la date limite fixée dans les conventions de financement. De plus, pour cinq autres indicateurs12, nous estimons, contrairement à la Commission, que les pays partenaires n'ont pas atteint les valeurs cibles. L'encadré 12 présente des exemples de ces deux cas de figure.

Encadré 12

Valeurs cibles atteintes après la date limite ou partiellement, ou qui ne l'ont jamais été

La valeur cible a été atteinte après la date limite pour l'indicateur n° 5 du contrat sur l'éducation en Jordanie (contrat n° 1). Elle visait la construction de six nouvelles écoles pour 2015. Les écoles n'ont été terminées qu'en 2017 et la tranche variable a été versée en décembre 2017. Ce retard considérable était dû à la lenteur des procédures de marchés publics, qui a entraîné la réalisation tardive des travaux de construction par les autorités nationales.

Pour tenir compte de ces retards, la Commission a prolongé la période d'exécution du contrat jusqu'à décembre 2017, mais sans modifier la date limite pour la construction des écoles (2015).

La valeur cible pour l'indicateur n° 6 du contrat relatif à l'éducation au Pakistan (contrat n° 23) consistait en deux activités: l'élaboration d'un programme d'enseignement de l'anglais et l'approbation de manuels scolaires pour certains niveaux d'enseignement. Nous avons constaté que la moitié seulement des manuels scolaires avaient été approuvés au moment de la demande de décaissement et que, par suite, le second volet de la valeur cible n'aurait pas dû être considéré comme atteint.

La valeur cible pour l'indicateur n° 1.7 du contrat relatif à l'agriculture en Géorgie (contrat n° 6) était l'adoption d'un programme national de systèmes de certification de la production biologique. Le gouvernement a considéré que tout était en ordre pour cet indicateur du fait de l'adoption de son programme national pour la réhabilitation des plantations de thé. Or l'objectif déclaré de ce programme est de soutenir une exploitation efficace des plantations de thé en Géorgie, d'accroître la production de thé, y compris de thé biologique, et de renforcer l'autosuffisance et les exportations. Il ne concerne donc pas les systèmes de certification biologique en tant que tels. Nous estimons que cette valeur cible n'est pas atteinte, puisque le programme ne vise pas spécifiquement la certification de produits biologiques. L'examinateur externe était du même avis.

Dans tous les cas susmentionnés, la Commission a versé l'intégralité du montant dû.

51

Nous avons relevé trois cas où la Commission avait effectué des décaissements conformément aux dispositions des conventions de financement, les pays partenaires ayant atteint les valeurs cibles convenues. Du fait de l'utilisation de valeurs de départ et de valeurs cibles mal définies, il semblait que des progrès avaient réellement été accomplis dans les secteurs visés; or ce n'était pas le cas. L'encadré 13 comporte d'autres informations sur certains de ces cas.

Encadré 13

Valeurs cibles établies à partir de valeurs de départ incorrectes: absence de progrès réels

L'indicateur n° 7 du contrat relatif aux transports en Éthiopie (contrat n° 14) concerne le pourcentage de camions en surcharge. La valeur cible fixée visait à ramener ce pourcentage à 9 %, en partant d'une valeur de départ de 11 %. Le résultat obtenu à la fin de la période examinée était de 6 %. Par conséquent, la valeur cible était atteinte et le montant correspondant a été versé conformément aux dispositions de la convention de financement. Sur la base des informations fournies par le pays partenaire dans la demande de décaissement, la valeur de départ réelle était toutefois 6 %. En réalité, le nombre de camions en surcharge n'avait pas véritablement diminué.

L'indicateur n° 5 du contrat relatif à l'énergie au Rwanda (contrat n° 19) constitue un deuxième exemple de cas où une valeur de départ incorrecte a entraîné un paiement sans que des progrès suffisants aient été réellement accomplis. Cet indicateur mesure la part que représente l'électricité produite à partir de sources d'énergie renouvelables dans le bouquet énergétique. La valeur de départ inscrite dans le contrat était de 292 GWh produits en 2015. La valeur réelle pour l'année de référence était erronée. Selon les données communiquées par les autorités nationales, elle aurait dû être de 368 GWh. La valeur cible fixée pour la tranche variable auditée était la fourniture de 14,5 GWh supplémentaires à partir de sources d'énergie renouvelables par rapport à la valeur de départ. Le résultat obtenu pour cet indicateur au cours de la période contrôlée était de 361,5 GWh, ce qui a donné lieu au versement du montant correspondant, alors que la part d'électricité produite à partir de sources d'énergie renouvelables avait diminué.

52

En plus des différences quantifiées dans le tableau 1, nous n'avons pas été en mesure de confirmer l'exactitude de deux autres tranches variables versées, les éléments probants disponibles étant insuffisants pour étayer les valeurs communiquées pour cinq indicateurs13 (voir exemples dans l'encadré 14). Ces indicateurs ont entraîné le décaissement de 3,77 millions d'euros.

Encadré 14

Éléments probants insuffisants

Pour ce qui est du contrat n° 5, qui visait à soutenir la gestion des finances publiques en Jordanie, l'indicateur n° 1.2 portait sur les lacunes dans la formation des agents des unités de contrôle interne dans les différents ministères et organismes nationaux. La valeur cible consistait à former les agents des unités de contrôle interne qui n'avaient pas participé à une formation au cours de l'année précédente (elle n'était pas chiffrée). Un expert externe engagé par la Commission a conclu que plus de 85 % des agents de toutes les unités de contrôle interne avaient suivi une formation supplémentaire. Il a donc estimé que l'objectif était atteint pour cet indicateur. Étant donné que le rapport de l'expert ne précisait pas comment il était parvenu à ces 85 %, nous n'avons pas pu refaire le calcul ou confirmer que les formations avaient permis de combler toutes les lacunes. Aucune information ni aucune donnée sur ce qu'englobaient les 85 % n'étaient disponibles.

L'indicateur n° 3 du contrat relatif au programme de développement des communautés au Pakistan (contrat n° 22) servait à mesurer, dans les estimations de coûts des stratégies de développement des districts, la part que représentaient les dotations budgétaires consacrées aux projets de développement local menés par les communautés. Toutefois, il s'est avéré impossible d'établir un lien entre les estimations de coûts au niveau des districts et les stratégies de développement de ces derniers qui servaient de pièces justificatives. De même, le rapport de l'expert engagé par la Commission pour évaluer cet indicateur ne présente aucun rapprochement entre les estimations des coûts des districts et les stratégies de développement de ceux-ci. C'est pourquoi nous n'avons pas pu confirmer le résultat communiqué.

Paiements en faveur de la Moldavie insuffisamment documentés

53

Bien que cela ne soit pas directement lié à la vérification des indicateurs de performance, nous avons observé que la Commission avait versé trois tranches variables à la Moldavie, pour un montant total de 26,3 millions d'euros, sans documenter suffisamment les raisons ayant motivé ces paiements (voir encadré 15).

Encadré 15

Documentation des paiements en faveur de la Moldavie

Les conventions de financement au titre de l'appui budgétaire donnent le droit à la Commission de les suspendre si le pays partenaire manque à une obligation liée au respect des droits de l'homme, des principes démocratiques et de l'état de droit, ainsi que dans des cas graves de corruption (article 236, paragraphe 4, des règles financières applicables au budget général de l'Union, juillet 2018).

En raison de préoccupations concernant l'état de la démocratie dans le pays, la Commission a décidé, en juillet et en octobre 2017, de reporter le paiement de plusieurs tranches variables et a affirmé que le calendrier des versements serait précisé en tenant compte du respect de mécanismes démocratiques effectifs, de l'état de droit et des droits de l'homme en Moldavie. La principale raison de cette décision était l'adoption prochaine d'une nouvelle loi électorale en Moldavie, qui ne cadrait pas avec les recommandations de la Commission de Venise, un organe consultatif du Conseil de l'Europe en matière de droit constitutionnel.

Cependant, un paiement a été ordonnancé le 11 décembre 2017. L'ordonnancement ne reposait sur aucune évaluation prouvant l'amélioration des mécanismes démocratiques et des droits de l'homme en Moldavie, alors que la détérioration de la situation à cet égard était la principale raison pour laquelle le versement avait été refusé dans un premier temps.

Conclusions et recommandations

54

Nous avons examiné si la Commission avait utilisé des données pertinentes et fiables sur la performance pour procéder au décaissement des tranches variables de l'appui budgétaire. Pour un tiers des indicateurs de performance examinés, nous arrivons à la conclusion que la manière dont ils sont conçus leur fait perdre de leur pertinence et qu'ils ne permettent pas de mesurer objectivement les résultats. Par ailleurs, l'évaluation, par la Commission, du respect des valeurs associées aux indicateurs de tranche variable n'était pas toujours fiable, ce qui a donné lieu à des versements sans justification suffisante.

55

Nous avons constaté que les indicateurs de performance des tranches variables étaient bien alignés sur les stratégies de développement sectoriel des pays partenaires. Toutefois, la plupart d'entre eux étaient axés sur des actions à court terme plutôt que sur des résultats à plus à long terme, notamment les progrès accomplis dans la réalisation des objectifs de développement durable. Seulement 13 % des 248 indicateurs que nous avons examinés servaient à mesurer les résultats ou les impacts dans les secteurs soutenus (voir points 22 à 25). Le recours à des indicateurs de résultat permettrait à la Commission de mieux mesurer les résultats à plus long terme dans les secteurs soutenus, en particulier les progrès accomplis dans la réalisation des objectifs de développement durable.

Recommandation n° 1 — Recourir davantage aux indicateurs de résultat pour les tranches variables

La Commission devrait augmenter la proportion de tranches variables versées uniquement si les valeurs cibles correspondant à des indicateurs de résultat sont atteintes.

Quand? Fin 2021.

56

Plus d'un tiers des indicateurs étaient définis en termes vagues ou comprenaient des valeurs de départ incorrectes, voire aucune. Cela a donné lieu à des interprétations différentes concernant la question de savoir si les valeurs cibles avaient été atteintes, ce qui a contribué à rendre l'analyse des demandes de décaissement plus complexe et moins objective (voir points 26 à 32).

Recommandation n° 2 – Améliorer la formulation des indicateurs de performance

La Commission devrait renforcer les dispositifs de contrôle qualité, afin de veiller à ce que les indicateurs de performance des tranches variables servent à mesurer objectivement les résultats obtenus par les pays partenaires. Il convient d'accorder une attention particulière aux éléments suivants:

  1. le recours à des indicateurs de performance spécifiques qui ne permettent pas des interprétations différentes;
  2. l'utilisation de valeurs de départ et de valeurs cibles.

Quand? Fin 2021.

57

L'un des objectifs importants des tranches variables de l'appui budgétaire est d'encourager les pays partenaires à progresser dans leurs programmes de réforme. La plupart des tranches variables examinées comportaient des indicateurs dont les valeurs cibles trouvaient un juste équilibre entre ambition et facilité à être atteintes, et nous estimons qu'ils ont produit l'effet incitatif voulu. Les quelques exceptions que nous avons relevées concernaient des indicateurs assortis de valeurs cibles qui étaient faciles à atteindre, souvent en raison de valeurs de départ incorrectes, ou qui l'avaient été grâce à des travaux réalisés par d'autres donateurs ou par des experts externes payés par l'UE (voir points 33 et 34).

Recommandation n° 3 – Préserver l'effet incitatif des tranches variables

La Commission devrait:

  1. actualiser les informations de référence avant la signature du contrat d'appui budgétaire ou, au besoin, apporter des modifications à ce dernier en corrigeant les valeurs de départ pendant sa mise en œuvre;
  2. éviter les situations où le pays partenaire atteint les valeurs cibles exclusivement grâce à l'assistance technique financée par l'UE.

Quand? Fin 2021.

58

Le nombre d'indicateurs utilisés pour chaque tranche variable était souvent trop élevé, supérieur à celui recommandé dans les lignes directrices de la Commission. Cela complique encore le processus de décaissement (voir point 35).

Recommandation n° 4 – Simplifier le processus de décaissement pour les tranches variables

La Commission devrait éviter d'utiliser des sous-indicateurs, afin de limiter le nombre réel d'indicateurs au maximum préconisé dans les lignes directrices.

Quand? Fin 2021.

59

Les demandes de décaissement de tranches variables comportent des données sur la performance qui montrent dans quelle mesure les conditions convenues ont été respectées et les valeurs cibles associées aux indicateurs de performance fixés d'un commun accord ont été atteintes. Étant donné que ces demandes sont établies par les pays partenaires, la fiabilité des données sous-jacentes sur la performance dépend de leur capacité à les produire. Nous avons constaté que la Commission évaluait généralement la capacité des pays partenaires en examinant les principaux éléments de leurs systèmes de suivi et d'évaluation, comme l'exigent ses lignes directrices sur l'appui budgétaire. Cependant, la Commission n'a tiré des conclusions concernant la fiabilité des données sur la performance nécessaires pour calculer les indicateurs de tranche variable que pour cinq des 24 contrats sélectionnés (voir points 36 à 41). Il importe d'arriver à une conclusion sur la fiabilité des données dans la perspective du choix des indicateurs, du suivi et de l'analyse du décaissement.

Recommandation n° 5 – Améliorer les évaluations concernant la capacité des pays à produire les données sur la performance utilisées pour les tranches variables

Lorsqu'elle conçoit une opération d'appui budgétaire, la Commission devrait évaluer la fiabilité des données sur la performance, celles-ci devant servir de base au décaissement d'une tranche variable. L'évaluation devrait aboutir à une conclusion explicite quant à la question de savoir si les systèmes utilisés pour élaborer ces données sont suffisamment fiables et s'ils pourraient reposer sur des évaluations déjà effectuées par d'autres organismes reconnus.

Quand? Fin 2021.

60

Nous avons constaté que les délégations de l'UE avaient mis en œuvre diverses procédures de vérification pour analyser les demandes de décaissement. Dans certains cas, les agents des délégations de l'UE ont effectué des visites sur place pour vérifier les données fournies par les pays partenaires, tandis que dans d'autres, ils se sont totalement fiés à ces données ou à des évaluations externes réalisées par des experts au nom de la Commission, sans réaliser d'autres travaux de vérification. Cela ne fournit pas l'assurance nécessaire pour justifier les versements ultérieurs de tranches variables (voir points 42 à 46).

Recommandation n° 6 – Améliorer la vérification des données sur la performance utilisées pour décider du décaissement des tranches variables

La Commission devrait:

  1. examiner les éléments probants sous-jacents qui étayent les données sur la performance fournies par les pays partenaires dans la demande de décaissement, sauf si elle a déjà explicitement conclu que ces données sont fiables;
  2. lorsqu'elle recourt à des examens externes, exiger que les termes de référence comprennent la vérification de la fiabilité des principales données sur la performance fournies par les pays partenaires. Elle devrait aussi vérifier, avant le décaissement de la tranche variable, si les experts ont respecté cette exigence.

Quand? Fin 2021.

61

Lorsque nous avons réexécuté les évaluations de la Commission visant à établir si les valeurs cibles associées aux indicateurs avaient été atteintes, de même que lorsque nous avons recalculé les montants des tranches variables versés, nous avons constaté des divergences par rapport aux paiements effectués par la Commission. Sur la base des informations disponibles sur la performance, nous estimons globalement avoir décelé des divergences concernant 16,7 millions d'euros sur un total de 234 millions d'euros de paiements de tranches variables examinés, dont 13,3 millions d'euros étaient insuffisamment justifiés ou non conformes aux dispositions contractuelles. Un montant de 3,4 millions d'euros a été payé alors qu'aucun progrès n'avait réellement été accompli. En outre, 26,3 millions d'euros ont été versés à la Moldavie au titre de trois tranches variables sans documenter suffisamment les raisons sous-jacentes à ces paiements (voir points 47 à 53).

Le présent rapport a été adopté par la Chambre III, présidée par Mme Bettina JAKOBSEN, Membre de la Cour des comptes, à Luxembourg en sa réunion du 12 novembre 2019.

Par la Cour des comptes,

Klaus-Heiner Lehne
Président

Annexes

Annexe I - Part de l'appui budgétaire dans les engagements bilatéraux en matière d'aide publique au développement

Pays 2014 2015 2016 2017 Moyenne (2014-2017)
Autriche 0,69 % 1,01 % 0,10 % 1,24 % 0,76 %
Belgique 2,50 % 1,85 % 1,41 % 0,15 % 1,48 %
Tchéquie 1,52 % 0,00 % 0,00 % 0,44 % 0,49 %
Danemark 3,83 % 0,00 % 0,73 % 0,91 % 1,36 %
Finlande 3,75 % 3,89 % 0,00 % 2,98 % 2,65 %
France 2,86 % 1,86 % 6,11 % 9,30 % 5,03 %
Allemagne 1,29 % 4,55 % 2,12 % 3,42 % 2,84 %
Grèce 1,04 % 0,00 % 0,00 % 0,00 % 0,26 %
Hongrie n.d. 0,65 % 0,00 % 0,00 % 0,22 %
Irlande 2,30 % 3,76 % 0,00 % 0,00 % 1,52 %
Italie 1,28 % 0,40 % 0,24 % 0,56 % 0,62 %
Luxembourg 3,21 % 0,81 % 2,93 % 1,98 % 2,23 %
Pays-Bas 0,67 % 0,00 % 0,00 % 0,00 % 0,17 %
Pologne 0,00 % 0,00 % 0,00 % 0,00 % 0,00 %
Portugal 0,55 % 0,71 % 0,52 % 0,58 % 0,59 %
Slovaquie 0,00 % 0,00 % 0,00 % 0,00 % 0,00 %
Slovénie 0,00 % 0,00 % 0,00 % 0,00 % 0,00 %
Espagne 1,33 % 1,29 % 0,17 % 0,30 % 0,77 %
Suède 2,39 % 0,13 % 0,00 % 1,96 % 1,12 %
Royaume-Uni 2,09 % 1,21 % 0,18 % 0,01 % 0,87 %
Commission européenne 9,31 % 12,71 % 14,67 % 9,08 % 11,45 %
           
Moyenne de l'UE 2,03 % 1,66 % 1,39 % 1,57 % 1,66 %
Moyenne de l'UE hors institutions 1,65 % 1,11 % 0,73 % 1,19 % 1,17 %

Source: Cour des comptes européenne, sur la base de données figurant sur la page https://stats.oecd.org/

Annexe II - Contrats audités

Numéro du contrat Pays Secteur soutenu
Contrat n° 1 282 613 Jordanie Éducation
Contrat n° 2 365 198 Éducation
Contrat n° 3 377 271 Énergie
Contrat n° 4 389 306 Énergie
Contrat n° 5 357 967 Gestion des finances publiques
Contrat n° 6 387 662 Géorgie Agriculture
Contrat n° 7 344 313 Enseignement professionnel
Contrat n° 8 361 908 Réforme de la politique des finances publiques
Contrat n° 9 363 227 Bolivie Lutte contre la drogue
Contrat n° 10 368 977 Eau
Contrat n° 11 337 591 Agriculture
Contrat n° 12 377 182 Agriculture
Contrat n° 13 383 001 Éthiopie Santé
Contrat n° 14 367 551 Transports
Contrat n° 15 348 701 Moldavie Plan d'action concernant la libéralisation du régime des visas
Contrat n° 16 353 323 Réforme de la politique des finances publiques
Contrat n° 17 371 907 Agriculture
Contrat n° 18 376 376 Rwanda Agriculture
Contrat n° 19 375 269 Énergie
Contrat n° 20 364 033 Environnement
Contrat n° 21 357 701 Viêt Nam Santé
Contrat n° 22 337 112 Pakistan Agriculture
Contrat n° 23 289 807 Éducation
Contrat n° 24 356 359 Éducation

Annexe III - Décaissements des tranches variables en 2017 pour des contrats de performance de réforme sectorielle

Pays Tranche variable totale de 2017
(en euros)
% Secteurs audités Montants audités
(en euros)
Maroc 120 984 995 18,75 %
Jordanie 69 506 667 10,77 % Éducation, énergie et réforme de l'administration publique 45 750 000
Géorgie 37 900 000 5,87 % Agriculture, emploi et finances publiques 19 400 000
Bolivie 32 800 000 5,08 % Agriculture, lutte contre la drogue, eau et assainissement 32 800 000
Éthiopie 29 520 000 4,57 % Santé et transports 29 520 000
Moldavie 29 345 111 4,55 % Agriculture, justice et finances publiques 26 345 111
Rwanda 27 667 500 4,29 % Agriculture, énergie et environnement 27 667 500
Viêt Nam 27 000 000 4,18 % Santé 27 000 000
Pakistan 25 665 625 3,98 % Agriculture et éducation 25 665 625
Tunisie 25 000 000 3,87 %
Albanie 20 775 000 3,22 %
Niger 17 850 000 2,77 %
Bangladesh 16 500 000 2,56 %
Colombie 15 000 000 2,32 %
Botswana 14 510 000 2,25 %
Honduras 12 030 000 1,86 %
Afrique du Sud 10 466 458 1,62 %
Sénégal 10 450 000 1,62 %
Burkina Faso 9 700 000 1,50 %
Kirghizstan 9 500 000 1,47 %
Algérie 9 000 000 1,39 %
Bénin 8 000 000 1,24 %
Indonésie 7 500 000 1,16 %
Ukraine 7 500 000 1,16 %
Cambodge 7 200 000 1,12 %
Arménie 7 000 000 1,08 %
Ghana 6 200 000 0,96 %
Népal 6 000 000 0,93 %
Pérou 5 880 000 0,91 %
Groenland 4 634 634 0,72 %
Laos 4 000 000 0,62 %
Guyana 3 800 000 0,59 %
République dominicaine 2 687 500 0,42 %
Samoa 2 360 238 0,37 %
Îles Falkland 1 000 000 0,15 %
Tonga 375 000 0,06 %
TOTAL 645 308 728 100 %

Source: Cour des comptes européenne (les pays en gras sont ceux sélectionnés pour l'audit)

Annexe IV - Évaluation succincte

BOLIVIE ÉTHIOPIE PAKISTAN RWANDA VIÊT NAM
Con­trat n° 9 Con­trat n° 10 Con­trat n° 11 Con­trat n° 12 Con­trat n° 13 Con­trat n° 14 Con­trat n° 22 Con­trat n° 23 Con­trat n° 24 Con­trat n° 18 Con­trat n° 19 Con­trat n° 20 Con­trat n° 21
Évaluation approfondie des capacités? N N N P N P N N N P P N P
Nombre d'indicateurs (par tranche annuelle de 2017) 8 10 8 6 6 10 6 8 8 8 7 4 8
Nombre d'indicateurs des années précédentes pour lesquels un paiement a été effectué en 2017 0 0 0 0 0 0 0 0 0 0 4 0 0
Valeurs cibles indépendantes 24 10 12 12 6 10 6 8 15 8 11 4 12
Indicateurs non spécifiques 1 1 2 2 1 1 1 1 2 0 0 0 0
Absence de valeur de départ (alors que Cour des comptes européenne estime qu'il devrait y en avoir une) 0 0 0 0 0 0 0 0 0 0 0 0 0
Valeur de départ incorrecte 1 0 0 0 1 10 0 0 1 0 1 2 0
Valeur cible trop peu ambitieuse 1 1 0 0 0 1 0 0 2 0 0 1 0
Mission sur place réalisée par les délégations de l'UE pour évaluer le respect des conditions? N N O O N O N N N O N O N
Recours à des experts externes pour évaluer le respect des conditions? N N N N N N O O O O N N O
Erreurs de calcul dans les décaissements? N N N N N N N N N N N N N
La méthode de calcul du montant à payer a-t-elle été correctement appliquée? O O O O N O O N N O O O O
Divergences avec l'évaluation de la Cour des comptes européenne en ce qui concerne les valeurs cibles/valeurs cibles secondaires atteintes. Indi­ca­teurs nos 2.2 et 3.3 Indi­ca­teurs nos 3.1 et 5 N N N 7 N Indi­ca­teurs nos 5, 6 et 8 Indi­ca­teurs nos 4, 6.2 et 6.3 N 5 Indicateurs nos 2 et 4 N
Di­ver­gen­ces avec l'éva­lua­tion de la Cour des comptes euro­péenne en ce qui concerne le montant à verser Impact unique­ment sur un pro­chain dé­cais­se­ment Ab­sence d'impact sur le paiement Per­for­mance supé­ri­eure à 80 % N N N 2 millions d'euros N 1,50 million d'euros 3,47 millions d'euros N 1,2 million d'euros 0,57 million d'euros N
GÉORGIE JORDANIE MOLDAVIE
Contrat n° 6 Contrat n° 7 Contrat n° 8 Contrat n° 1 Contrat n° 2 Contrats nos 3 et 4 Contrat n° 5 Contrat n° 15 Contrat n° 16 Contrat n° 17
Évaluation approfondie des capacités? N O O N N O P O O P
Nombre d'indicateurs (par tranche annuelle de 2017) 11 15 14 0 5 9 10 34 12 28
Nombre d'indicateurs des années précédentes pour lesquels un paiement a été effectué en 2017 0 3 0 2 0 0 0 3 0 0
Valeurs cibles indépendantes 12 34 21 2 6 10 20 95 22 39
Indicateur non spécifique 0 7 3 2 0 1 5 35 4 4
Absence de valeur de départ (alors que Cour des comptes européenne estime qu'il devrait y en avoir une) 1 5 3 0 0 0 0 0 0 6
Valeur de départ incorrecte 1 0 0 1 1 0 1 0 0 0
Valeurs cibles trop peu ambitieuses 0 0 1 0 0 0 0 0 3 0
Mission(s) sur place réalisée(s) par les délégations de l'UE pour évaluer le respect des conditions? O O O O O N O O O O
Recours à des experts externes pour évaluer le respect des conditions? O O O O O O O O O O
Erreurs de calcul dans les décaissements? N N N O N N N O N N
La méthode de calcul du montant à payer a-t-elle été correctement appliquée? O O O O N O N N O O
Divergences avec l'évaluation de la Cour des comptes européenne en ce qui concerne les valeurs cibles/valeurs cibles secondaires atteintes. In­di­ca­teurs nos 1.2 et 1.7 N N In­di­cateur n° 5 N N N Oui (tous les indicateurs) N N
Divergences avec l'évaluation de la Cour des comptes européenne en ce qui concerne le montant à verser 1 million d'euros N N 6 millions d'euros N N N 5,1 millions d'euros 6,4 millions d'euros 14,8 millions d'euros

REMARQUE: O = Oui; N = Non; P = Partiellement.

Réponses de la Commission

Synthèse

I

L’appui budgétaire est considéré comme une prestation d’assistance globale, qui comprend le transfert financier, le dialogue sur les politiques à mener, le renforcement des capacités et le suivi de la performance. Ces éléments sont tous importants pour l’efficacité de l’instrument. Les tranches fixes sont fonction des progrès réalisés vers la satisfaction de conditions générales définies à partir des critères d’éligibilité à l’appui budgétaire, tandis que le montant des tranches variables dépendra de la performance, mesurée sur la base d’indicateurs spécifiques.

II

Les lignes directrices sur l’appui budgétaire définissent les critères à appliquer à la définition des indicateurs d’une tranche variable et à leur vérification. La préférence est donnée à l’utilisation d’indicateurs bien définis des politiques des pays partenaires et de cadres de suivi des performances.

III

Les indicateurs d’une tranche variable étant destinés à être mesurés annuellement, les valeurs cibles à atteindre s’inscrivent, par essence, dans le court terme. La Commission doit arrêter des valeurs cibles susceptibles d’être raisonnablement atteintes d’une année sur l’autre. Cela n’empêche pas d’essayer d’encourager davantage le recours aux indicateurs de résultat, notamment dans les secteurs qui ont bénéficié d’une assistance à long terme de l’Union européenne, mais il convient de veiller à combiner différents types d’indicateurs.

La base de données de la Commission qui rassemble l’ensemble des indicateurs de performance utilisés pour les contrats d’appui budgétaire au cours de la période 2014-2018 montre qu’une combinaison équilibrée de différents types d’indicateurs – indicateurs d’intrants, de processus, de réalisation et de résultat/ de résultats à plus long terme – est, ou a été, utilisée. L’échantillon audité se composait de plus de programmes approuvés avant 2014, donc moins focalisés sur les résultats à plus long terme.

IV

Les lignes directrices sur l’appui budgétaire recommandent d’utiliser entre trois et dix indicateurs. La Commission tient à redire qu’un nombre élevé d’indicateurs peut entraîner une dilution des finalités poursuivies et rendre l’évaluation de la demande de décaissement plus compliquée. Néanmoins, dans certains cas exceptionnels, il pourrait être envisagé d’accepter plus de dix indicateurs si cela se justifiait au vu du cadre stratégique et des préférences du pays partenaire.

V

La Commission estime que la fiabilité du système statistique des pays partenaires est analysée dans l’appréciation de la conformité des critères d’éligibilité de la politique publique avec l’appui budgétaire et devrait se retrouver également dans le cadre de gestion des risques. Le modèle récemment révisé de la note de décaissement demande de rendre compte des progrès du pays quant à sa capacité d’analyse et à la qualité des données qu’il fournit, avec chaque demande de décaissement.

VI

La Commission estime que le versement en faveur de la Moldavie a tenu compte de l’évolution positive de la situation en ce qui concerne le respect de mécanismes démocratiques effectifs, de l’état de droit et des droits de l’homme dans le pays au moment du versement, mais qu’il aurait pu être mieux documenté.

VII

Point 1: la Commission accepte la recommandation.

Point 2: la Commission accepte la recommandation.

Point 3: la Commission accepte la recommandation.

Point 4: la Commission accepte la recommandation.

Point 5: la Commission accepte la recommandation.

Point 6: la Commission accepte la recommandation.

Introduction

01

Voir la réponse à la synthèse – point I.

02

Outre encourager les résultats, tout en utilisant les systèmes des pays et en s’alignant sur les politiques de ces derniers, l’appui budgétaire favorise l'obligation de rendre des comptes au niveau national.

Observations

19

La Commission confirme que les décaissements au titre de l’appui budgétaire sont effectués ex post pour récompenser les bonnes performances. Dans ce contexte, comme le fait remarquer la Cour des comptes à juste titre, les conditions générales, à savoir les progrès réalisés dans la mise en œuvre de la politique publique concernée, la réforme de la gestion des finances publiques, la transparence et la stabilité macroéconomique sont toutes importantes dans l’évaluation des résultats.

21

La conception des tranches variables doit être adaptée au pays et au contexte politique. Les indicateurs devraient être choisis en fonction de leur pertinence dans ce contexte. Il convient de donner la préférence aux indicateurs de résultat le cas échéant et, de manière générale, d’aller dans le sens d’une combinaison de différents types d’indicateurs, y compris des indicateurs d'intrants.

La périodicité annuelle des décaissements au titre de l’appui budgétaire ainsi que la capacité des pays partenaires à contrôler les résultats et l’impact devraient être prises en compte dans la définition des indicateurs.

22

Une évaluation interne de la Commission de l’ensemble complet d’indicateurs utilisés dans les tranches variables (au total, 3 642 indicateurs) couvrant la période 2014-2018, montre que 33,7 % des indicateurs sont des indicateurs de résultat, 26,8 % des indicateurs de réalisation, 35,4 % des indicateurs de processus, et que la petite part restante (4,1 %) est composée d’indicateurs d’intrants et d’indicateurs d’impact.

L’échantillon audité se composait de plus de programmes approuvés avant 2014, donc moins focalisés sur les résultats à plus long terme. La pratique actuelle va dans le sens d’une utilisation plus équilibrée de différents indicateurs.

23

Le choix des indicateurs est également lié à la maturité de la politique publique et à un certain nombre de questions propres au contexte (problèmes d’attribution, gouvernance du secteur, répartition des tâches entre partenaires de développement, etc.).

Il convient de noter que, depuis 2017, la Jordanie n’est plus considérée comme un pays à revenu intermédiaire de la tranche supérieure, mais comme un pays à revenu intermédiaire de la tranche inférieure, selon le classement établi par la Banque mondiale.

24

La Commission estime que les indicateurs d’intrants peuvent jouer un rôle utile dans certains cas et que, dans les phases initiales d’une réforme, ils contribuent à la définition des conditions de résultats à plus long terme par la suite. Dans les programmes d’appui budgétaire mis en œuvre depuis 2014, la part des indicateurs d’intrants dans les tranches variables n’est que de 4 % (voir la réponse au point 22).

25

Les indicateurs de processus sont importants pour évaluer les progrès réalisés dans un secteur en matière de capacités et de bonne gouvernance. Par ailleurs, lorsque l’on considère le programme d’appui budgétaire dans son ensemble, les aspects qualitatifs sont pris en compte dans l’appréciation des progrès réalisés quant à la mise en œuvre globale de la politique publique. Ils peuvent également être pris en compte dans le cadre du dialogue et du renforcement des capacités, d’où l’importance de ne pas réduire l’impact de l’appui budgétaire aux seuls indicateurs de tranche variable.

Encadré 2 - Exemples d’indicateurs de processus dépourvus de spécifications qualitatives

En ce qui concerne la Moldavie (contrat nº 15: plan d’action sur la libéralisation du régime des visas)

Le plan d’action sur la libéralisation du régime des visas est un exercice qui fait l’objet d’un examen très attentif de la part des institutions européennes et des États membres, au moyen d’un système de suivi externe (de l’UE) particulièrement robuste. Bien que la matrice de mesures ne fasse pas référence au cadre réglementaire à adopter, la qualité de ce cadre est clairement définie dans l’acquis communautaire lié et le cadre (critères de libéralisation du régime des visas) est donc défini dans d’autres documents. Il convient de noter que cinq rapports concernant les plans d’action sur la libéralisation du régime des visas, faisant état de progrès satisfaisants, ont été présentés au Parlement et au Conseil.

En ce qui concerne la Jordanie (contrat nº 4: soutien dans le secteur de l'énergie):

L’objectif de cette valeur cible était de veiller à ce que la structure du dialogue stratégique soit établie et opérationnelle (autrement dit, qu’elle se réunisse régulièrement et ne soit pas purement mise en place administrativement parlant). Afin d’en garantir l’appropriation par le gouvernement, la Commission a permis au pays partenaire de décider des structures, de la composition et de la fréquence exactes des réunions.

27

La Commission souligne que le constat de la Cour des comptes quant au manque d'indicateurs spécifiques procède de diverses raisons sous-jacentes, comme l’illustrent les exemples proposés au point 28 et dans l’encadré 3. Dans la majorité des cases, cela n'a pas abouti à des conclusions différentes concernant l’évaluation de l’indicateur par la Cour des comptes et par la Commission.

Encadré 3 - Exemples d’indicateurs/de valeurs cibles non spécifiques

En ce qui concerne la Jordanie (contrat nº 1):

L’expert chargé d’analyser l’atteinte de cette valeur cible n’a pas pleinement élaboré ses propres critères et s’est reposé sur des critères d’ores et déjà exposés en détail dans les dispositions techniques et administratives de la convention de financement pour déterminer que les équipements scolaires étaient adéquats, tels que le fait que les écoles avaient été construites et équipées conformément aux lignes directrices de 2018 pour la Jordanie, et qu’elles disposaient de panneaux solaires pour les chauffe-eau et d’autres systèmes qui font appel aux énergies renouvelables et sont énergétiquement efficients. Les dispositions techniques et administratives énoncent également que les enseignants nouvellement recrutés auront suivi au moins la formation pédagogique de base.

Qui plus est, il importait de veiller à ce que le caractère «approprié» des moyens/de l’environnement d’apprentissage et des ressources humaines de ces écoles puisse s’adapter à une situation de crise très mouvante, de sorte que les écoles puissent accueillir des centaines de milliers de nouveaux élèves réfugiés devant être scolarisés. Enfin, le caractère «approprié» a fait l’objet de discussions poussées durant le dialogue stratégique régulier qui s’est tenu entre la délégation de l’UE et le ministère de l’éducation.

En ce qui concerne la Géorgie (contrat nº 8):

L’objectif spécifique de l’indicateur était de sensibiliser les parties prenantes aux règles budgétaires et à la gouvernance budgétaire. Les moyens d’interprétation étaient les procès-verbaux de réunions et les entretiens avec les parties prenantes. L’indicateur entendait promouvoir une culture de la transparence et de l’obligation de rendre compte envers les citoyens. L’évaluation a été rigoureuse et s’est penchée sur les procès-verbaux de réunions et les entretiens avec les parties prenantes.

Encadré 4 - Mesurer la qualité de l’éducation: un bon exemple

Cette pratique consistant à mesurer les indicateurs liés à la qualité de l’éducation est essentielle et le modèle lancé par le présent programme d’appui budgétaire a été repris par la suite par d’autres donateurs en Jordanie. Il reste un élément essentiel de l’ensemble des interventions d’appui assurées depuis par l’UE auprès du système éducatif jordanien.

Cet indicateur fait désormais partie du plan stratégique pour l'éducation 2018-2022 et les effectifs de l’unité concernée au sein du ministère de l’éducation ont été formés à la méthodologie permettant de déployer les évaluations à l’échelle du territoire national.

Cependant, il importe de rappeler que le recueil des données pour un indicateur devrait faire partie intégrante de l'exercice de collecte de données du pays, ce qui évitera de recourir ponctuellement à des méthodes coûteuses et chronophages seulement pour le programme d’appui budgétaire.

30

La Commission convient que des valeurs de référence devraient être définies pour les indicateurs pour lesquels elles s’avèrent pertinentes et, le cas échéant, être actualisées.

31

Voir la réponse de la Commission au point 30.

32

La Commission convient que les valeurs de référence devraient être actualisées au moyen des données pertinentes, tant est que cela soit faisable, tout en gardant à l’esprit le coût des opérations de modification des contrats d’appui budgétaire.

Encadré 6 - Exemples d’indicateurs pour lesquels les valeurs de référence faisaient défaut ou étaient incorrectes

En ce qui concerne la Géorgie (contrat nº 7):

Le contrat «Emploi, ainsi qu’enseignement et formation professionnels» comprend quatre indicateurs qui renvoient à une augmentation (des formations, par exemple) dans le temps. Dans deux cas, la convention de financement fait référence à une valeur de départ du 31 décembre 2013, qui n’était pas disponible au moment de la signature de la convention.

S’agissant du cas particulier évoqué ici, aucune valeur de référence n’avait été définie pour les indicateurs dans la convention de financement. Par conséquent, il a fallu recourir à des sources supplémentaires pour évaluer l’indicateur nº 2.2.1 (15 % d’augmentation d’enseignants bénéficiant d’une formation initiale, conformément à la nouvelle politique sur le renforcement de l’éducation et la formation professionnelles des enseignants) et l’indicateur nº 2.2.2 (15 % d’enseignants bénéficiant d’une formation tout au long de la vie). Étant donné que les indicateurs n’avaient pas de valeurs de référence, la seule tendance croissante aurait pu être considérée comme suffisante pour le versement. Par conséquent, les évaluateurs et la Commission ont considéré les évolutions dans le secteur pour arriver à une conclusion utile étant donné la nature de l’indicateur.

En ce qui concerne la Bolivie (contrat nº 9):

Il convient de noter que, bien que les valeurs cibles pour 2016 aient été moins ambitieuses comparées aux valeurs de référence, les valeurs cibles pour 2017 et pour 2018 étaient plus exigeantes, garantissant ainsi les résultats attendus.

34

La Commission tient à faire remarquer que les interventions de renforcement des capacités assurées par l’UE visent de manière générale à contribuer à une augmentation durable des capacités dans les pays partenaires, même après la fin du programme d’appui budgétaire. Leur portée est plus large et elles visent à compléter, plutôt qu’à remplacer, les incitations fournies par les indicateurs. La Commission estime que cela a été le cas pour les trois contrats évoqués par la Cour des comptes.

Encadré 7 - Exemples d’indicateurs assortis de valeurs cibles faciles à atteindre

Il importe de souligner que les indicateurs nº 4, «Renforcement de l’observatoire bolivien des drogues», et nº 7, «Élaboration du cadre institutionnel du CONALTID» (Consejo Nacional de lucha contra el tráfico ilícito de drogas), ont tous les deux trait au renforcement du rôle du CONALTID en matière de coordination interinstitutionnelle dans le but d’améliorer l’efficacité de la stratégie soutenue.

Étant donné l’absence de coordination interinstitutionnelle jusqu'alors, cet indicateur est utile pour mesurer le degré d’engagement du gouvernement à l'égard de la stratégie.

Bien que l’indicateur (dans le contrat nº 9) puisse paraître modeste, il est très important dans le contexte en question dans la mesure où il incite à la coordination nécessaire entre les différents ministères engagés dans la lutte contre le trafic de drogue et la criminalité liée à ce type de trafic. Voilà un exemple où, connaissant le contexte local, la délégation de l’UE a reconnu l’importance de consolider la fonction de coordination d’une nouvelle institution (CONALTID). Partant, l’ambition d’un indicateur doit être appréciée en fonction du contexte. Il en va de même pour l’indicateur nº 4, qui est considéré prouver que CONALTID jouait son rôle de coordination et que le système de suivi fonctionnait de manière viable.

35

Le nombre d’indicateurs relevant du plan d’action sur la libéralisation du régime des visas en Moldavie provient du dialogue stratégique et de l’accord avec le pays partenaire qui en a découlé. Dans ce cas particulier, la préférence a été donnée à l’intégration de l’ensemble des indicateurs dans la matrice de mesures du gouvernement, ce qui a été considéré par les autorités comme une incitation supplémentaire pour mettre en œuvre le plan d’action en intégralité.

Encadré 8 - Nombre élevé d’indicateurs

La matrice de mesures en Moldavie comprend sept conditions ou indicateurs principaux (définis dans la convention de financement) correspondant à sept domaines de la stratégie nationale. Viennent ensuite 28 sous-indicateurs spécifiques et importants pour la bonne mise en œuvre de la stratégie.

37

Lors de la phase de conception, la Commission évalue les informations concernant la fiabilité des données dans le but de déterminer quelle est la source de vérification la plus appropriée et quand celle-ci devient disponible. Les faiblesses du système statistique des secteurs bénéficiant d'un soutien appellent des mesures d’atténuation, telles qu'un examen effectué par des experts externes ou une assistance complémentaire de l’UE (ou d’autres donateurs) visant à améliorer la capacité statistique.

39

Voir la réponse de la Commission au point V.

41

La Commission estime qu'en combinant l’analyse des critères d’éligibilité de la politique publique et le cadre de gestion des risques, elle est en mesure de recueillir suffisamment d’informations sur la qualité du système de suivi et d’évaluation du pays partenaire.

42

Diverses procédures de vérification sont appliquées pour garantir un niveau d’assurance qui justifie les versements ultérieurs. Voir le point 43.

43

Pour chaque décaissement, la Commission panache différents types de procédures de vérification pour évaluer la conformité. L’examen documentaire de l’ensemble des pièces justificatives est effectué pour chaque décaissement par les délégations et les services du siège. Si cela s’avère nécessaire, des visites sur place peuvent également être effectuées. De même, lorsque les informations sont de nature très spécialisée, ou que l’évaluation de l’atteinte des valeurs cibles requiert une évaluation qualitative poussée, il peut être fait appel à des experts externes.

44

Les missions assurées par des experts externes sont à envisager à titre complémentaire. La valeur ajoutée de ces missions provient de l’indépendance et de l’expertise additionnelle des experts; ces missions ne devraient pas se substituer aux opérations de vérification et de décision directes de la délégation, mais permettre de soumettre les résultats à des vérifications croisées.

45

La Commission partage l’analyse de la Cour des comptes selon laquelle la qualité des données des pays partenaires devrait être un facteur important de la décision de faire appel à des experts pour les vérifications. Toutefois, le recours à des experts externes peut se justifier même si le système de suivi du pays est fiable. Dans certains cas, l’UE a besoin d’une expertise hautement technique pour vérifier des critères particuliers déterminants pour le calcul d’indicateurs.

46

L’appui budgétaire, en tant qu’instrument de partenariat et de confiance, fonctionne dans plusieurs secteurs où les partenaires de développement se reposent sur les comptes rendus réguliers des pays partenaires.

Aux yeux de la Commission, dans les cas en question, les pièces justificatives fournies par le partenaire chargé de la mise en œuvre, alliées à l’évaluation de l’expert externe et aux clarifications apportées par les autorités à la demande, constituaient des informations suffisantes pour procéder à des vérifications croisées et arriver à une conclusion sur la fiabilité des données.

Encadré 10 – Exemples de lacunes décelées dans les travaux d’un expert externe

a) L’échantillonnage pour le contrat nº 2 en Jordanie a été effectué en étroite collaboration avec d’autres partenaires pertinents, dont l’UNESCO. Les critères de sélection de l’échantillon étaient basés sur les éléments suivants:

  • écoles publiques du ministère de l’éducation en zone rurale (y compris les écoles louées);
  • écoles et espaces d’apprentissage dans les camps de réfugiés;
  • écoles à double et simple rotation (haute densité);
  • représentation des cycles primaire et secondaire;
  • représentation dans l’échantillon pilote du système d’information de gestion de l’éducation (SIGE) (OpenEMIS, UNESCO);
  • corrélation entre les écoles sélectionnées et la concentration de réfugiés syriens dans la région/la ville.

Ainsi, il a été proposé d’inclure certaines écoles pour servir l’intention de disposer d’une grande diversité de critères et pour veiller à inclure huit directorats où la concentration d’élèves syriens est élevée. Le ministre de l’éducation n’a pas participé directement à la sélection des écoles à inclure dans l’échantillon afin d’éviter que le processus de sélection ne soit faussé. C’est donc l’équipe de consultants, en collaboration avec l’UNESCO, qui a fait des propositions à l’issue de la sélection des écoles dans la base de données (et non le SIGE, qui n'était pas opérationnel à ce moment-là), le ministère de l’éducation devant, naturellement, approuver l’échantillon pour faciliter l’accès aux écoles.

b) Les 30 écoles ont bien toutes été incluses dans la base de données pour la mission de vérification sur place, mais le rapport de mission correspondant ne fait état que de 17 écoles (pages 14 et 16/17) car des données comparables n’étaient disponibles que pour ces 17 écoles dans le SIGE au moment de la mission. Les conclusions tirées par les experts externes l’ont donc été sur la base du meilleur échantillon disponible à ce moment-là.

d) Les consultants ont examiné les registres scolaires effectivement utilisés et le nombre d’inscriptions effectif le jour de la visite, et ce sont ces données qui ont été saisies dans la base de données dans les colonnes respectives. La Commission estime qu’il faut s’attendre à de telles différences dans un contexte de crise très mouvant, où les effectifs et les taux de fréquentation fluctuent.

47

Pour ce qui est du Pakistan, la Commission convient que, pour quatre indicateurs (indicateurs nº 5 et nº 6, contrat nº 23, et indicateurs nº 4 et nº 6.3, contrat nº 24) les éléments probants censés attester des résultats présentaient des faiblesses qu’elle entend corriger à l’avenir.

Pour le contrat nº 23 (programme éducatif au Sindh), indicateur nº 8, la Commission estime que les éléments probants fournis étayaient l’atteinte des valeurs cibles.

Pour l’indicateur nº 8, la valeur cible a été jugée atteinte sur la base du plan de travail annuel du PEACE (Provincial Education Assessment Centre, centre d’évaluation pédagogique provincial) assorti d’un budget proposé pour le PEACE comme pour le SESLOAF (Sindh Education Students’ Leaming Outcome Assessment Framework, cadre d’évaluation des acquis d’apprentissage des élèves du système éducatif du Sindh), ainsi que des 74 pages du «Rapport d’achèvement de la mise en œuvre du SESLOAF», dont il ressort que le SESLOAF a été mis en œuvre pour améliorer l’apprentissage des élèves.

La Commission admet que l’indicateur qui a donné lieu à différents calculs aurait pu être formulé de manière plus claire, ce qui n’a toutefois abouti qu’à des différences minimes dans les résultats obtenus. Néanmoins, quelle que soit la méthode utilisée, les résultats obtenus sont considérables s’agissant de la montée en puissance du système de chèques-éducation, qui a vu la scolarisation d’un plus grand nombre d’élèves.

Pour l’indicateur nº 4, la Commission reconnaît que les statistiques disponibles présentent des anomalies mineures. Cette faiblesse avait déjà été relevée au moment de l’identification et de la formulation du projet. En conséquence, la Commission a assuré une assistance technique en matière de système d’information de gestion de l’éducation pour y remédier. Ainsi, la Commission a pris des mesures appropriées et efficaces pour atténuer le risque lié aux déficiences relevées dans les statistiques.

En ce qui concerne la Géorgie et la référence à la loi sur les semences, indicateur nº 1.2 (contrat nº 6), la Commission reconnaît le léger retard de deux mois. La Commission a estimé que le temps supplémentaire avait été employé à améliorer la qualité du processus (un processus plus participatif et plus inclusif, associant l’ensemble des parties prenantes concernées) et la qualité du résultat (la loi sur les semences est conforme aux normes internationales et européennes et constitue une base solide pour un secteur dûment réglementé). En outre, la Commission a estimé que la décision du gouvernement d’accélérer les activités pour compenser l’adoption tardive de la loi et en assurer l’application rapide (préparation de la législation dérivée avant même que la loi ne soit adoptée formellement, calendrier de certification du blé ramené à 6 mois seulement à compter de l’entrée en vigueur de la loi sur les semences). Prenant en compte l’ensemble de ces éléments, la Commission a décidé que de tels efforts méritaient d’être récompensés, en dépit du léger retard.

Encadré 11 - Éléments probants basés sur un échantillon faussé

En ce qui concerne les éléments probants fournis pour l’indicateur nº 6.3 du contrat éducatif dans la province de Khyber Pakhtunkhwa (KP) au Pakistan (contrat nº 24), ce n’est pas l’assistance technique qui détermine l’interprétation des éléments probants requis.

La convention de financement ne précise pas quelle est la méthode d’échantillonnage à appliquer à la mesure du taux de fréquentation. Par conséquent, la Commission s’est fondée sur les résultats du taux de fréquentation scolaire déjà mesuré, qui était plus élevé que la valeur cible et, ainsi, elle a estimé que la valeur cible était atteinte.

50

La Commission estime que, dans trois cas sur cinq (indicateur nº 1.2 du contrat nº 6, indicateur nos 2.1 et 2.2 du contrat nº 16), le léger retard d’un à trois mois dans le respect de la date limite était dû aux mesures qualitatives additionnelles prises par l’autorité d’exécution pour garantir une performance de grande qualité (à savoir, la conception d’une loi qui a été adoptée dans le respect des meilleures pratiques d’administration publique à l’issue d’un processus de consultation exhaustif) et n’a pas eu de répercussions sur les étapes suivantes de la réforme.

Il aurait été contre-productif de ne pas reconnaître à leur juste mesure les efforts supplémentaires déployés par le partenaire en insistant sur l’immuabilité de la date limite. Dans le quatrième cas (indicateur nº 5 du contrat nº 1), voir la réponse à l’encadré 12.

Encadré 12 - Valeurs cibles qui ont été atteintes après la date limite, qui n’ont été atteintes que partiellement, ou qui ne l’ont jamais été

En ce qui concerne la Jordanie (contrat nº 1):

En 2015, le contrat a été prolongé jusqu’à la fin 2017, spécifiquement pour permettre au gouvernement de finaliser la construction de six écoles et la réalisation de l’indicateur nº 2.2 comme le prévoient les dispositions techniques et administratives de la convention de financement, selon lesquelles (article 2.2) «dans le cas où une partie des fonds demeure par la suite non dépensée, le bénéficiaire et la Commission européenne peuvent s’entendre sur un versement supplémentaire sur la base d’une évaluation des valeurs cibles restant à atteindre, à laquelle il sera procédé selon les mêmes principes que pour les deux tranches variables précédentes. Ce décaissement supplémentaire, dès lors qu’il est justifié, serait effectué à la date de fin de la phase de mise en œuvre opérationnelle et pourrait être ajouté au versement de la dernière tranche variable». Cela a été le cas.

  • 1/ Le délai initial de deux ans a été fixé dans un contexte politique qui nécessitait d’assurer un soutien de crise dans une situation exceptionnelle. Il était très ambitieux si l’on considère les calendriers requis pour la mise en concurrence des marchés de travaux dans le secteur public, et les efforts nécessaires pour construire et équiper six écoles. Ces éléments ont été dûment pris en compte par les autorités jordaniennes qui ont fait preuve de proactivité et demandé à ce que le délai soit prolongé au moment de l’introduction de cet indicateur, ainsi que plus tard au cours de la mise en œuvre. La Commission a suivi de près la mise en œuvre et procédé aux avenants nécessaires à la convention de financement de manière à l’adapter à la situation.
  • 2/ La Commission avait pris des engagements politiques importants envers la Jordanie pour aider le pays à gérer les conséquences de la crise syrienne, dans le cadre de diverses conférences entre donateurs et de déclarations politiques de haut niveau tout au long du cycle de vie de ce contrat. L’ajout de l’indicateur nº 5 à cette convention de financement faisait partie du paquet de la Commission au titre de ces engagements.
  • 3/ Le décaissement a été effectué uniquement sur la base des valeurs cibles atteintes. Exception faite d’une école qui a été finalisée en 2017, les cinq autres écoles ont commencé à accueillir des élèves syriens progressivement à partir de 2016 et, si l’on considère le nombre global de réfugiés syriens se trouvant déjà en Jordanie à l’époque, il s’agissait d’un effort louable pour permettre aux enfants réfugiés d’être scolarisés.

En ce qui concerne le Pakistan (contrat nº 23), la valeur cible de l’indicateur nº 6 a été largement atteinte étant donné que le programme d’enseignement de l’anglais a été élaboré et que les manuscrits des manuels scolaires ont été préparés.

En ce qui concerne la Géorgie (contrat nº 6):

pour ce qui est de l’indicateur nº 1.7, la valeur cible a été atteinte conformément aux dispositions de la convention de financement relatives à la formulation de la valeur cible et à la source de vérification correspondante, cette valeur cible étant l’adoption d’un programme national par décret. Le programme national pour la réhabilitation des plantations de thé visait notamment à accroître la production de thé, y compris la production de thé biologique. La Commission avait en outre estimé que le choix du thé était stratégique en raison d’un potentiel de production biologique important. Certes, l’indicateur aurait pu être mieux formulé; il n’en reste pas moins que la retenue du versement aurait dérogé aux dispositions de la convention de financement et constitué un manquement à nos obligations envers les autorités géorgiennes.

Encadré 13 - Valeurs cibles établies à partir de valeurs de référence incorrectes: absence de progrès réels

En ce qui concerne l’Éthiopie (contrat nº 14): étant donné les progrès substantiels réalisés dans la réduction de la surcharge des camions ces dernières années (comme en rend compte le tableau ci-dessous), la Commission a estimé que le versement se justifiait, en dépit de la réévaluation de la valeur de référence de 2011-2012 dans un réexamen sectoriel auquel il a été procédé peu avant la date de décaissement. En fait, les objectifs à long terme planifiés à l’horizon 2020 ont été atteints bien plus tôt que prévu.

Au moment de la signature de la convention de financement, la Commission a fixé la valeur de référence à partir des meilleures informations disponibles, et elle était tenue de procéder au versement sur la base de ce que les parties avaient signé. La Commission maintient que les arguments juridiques étaient réunis pour pouvoir procéder aux versements sur la base de l’indicateur.

Encadré 14 - Éléments probants insuffisants

En ce qui concerne la Jordanie (contrat nº 5):

L’indicateur nº 1.2 (dans le contrat nº 5, qui visait à soutenir la gestion des finances publiques en Jordanie) a été évalué en étudiant les listes de présence signées par les participants aux formations offertes aux agents des unités de contrôle interne. Il y a lieu de souligner que la mise en place des unités de contrôle interne est l’un des grands accomplissements récents en matière de gestion des finances publiques, qui est soutenu par le présent programme de l’UE.

Pour ce qui est de l’indicateur nº 3 du contrat relatif au programme de développement des communautés (contrat nº 22, Pakistan), les calculs des estimations de coûts des districts n’étaient ni explicites, ni spécifiquement liés aux stratégies de développement des districts pour les versements au titre de l’exercice 2016-2017. Cela sera corrigé et, pour l’exercice 2018-2019, les estimations de coûts des districts seront liées aux stratégies de développement des districts pour le dernier versement planifié pour 2020.

53

Voir la réponse de la Commission à l’encadré 15.

Encadré 15 - Documentation des paiements en faveur de la Moldavie

La Commission maintient que le paiement était justifié, mais admet que l’évolution positive de la situation du respect des mécanismes démocratiques effectifs, de l’état de droit et des droits de l’homme en Moldavie au moment du paiement aurait pu être mieux documentée.

Conclusions et recommandations

54

Les lignes directrices sur l’appui budgétaire définissent les critères à appliquer à la définition des indicateurs d’une tranche variable et à leur vérification. La préférence est donnée à l’utilisation d’indicateurs bien définis des politiques des pays partenaires et de cadres de suivi des performances.

55

La base de données de la Commission qui rassemble l’ensemble des indicateurs de performance utilisés pour les contrats d’appui budgétaire au cours de la période 2014-2018 montre qu’une combinaison équilibrée de différents types d’indicateurs – indicateurs d’intrants, de processus, de réalisation et de résultat/ de résultats à plus long terme – est, ou a été, utilisée. L’échantillon audité se composait de plus de programmes approuvés avant 2014, donc moins focalisés sur les résultats à plus long terme. La pratique actuelle va dans le sens d’une utilisation plus équilibrée de différents types d’indicateurs.

Recommandation nº 1 – Recourir davantage aux indicateurs de résultat pour les tranches variables

La Commission accepte la recommandation.

La Commission rejoint la Cour des comptes sur cette recommandation l’invitant à recourir davantage aux indicateurs de résultat dès lors que cela s’avère judicieux. Néanmoins, dans certains cas, les indicateurs de résultat ne sont pas compatibles avec le calendrier annuel des décaissements et sont en outre confrontés à des problèmes d’attribution, c’est-à-dire que le gouvernement ne contrôle pas l’atteinte des valeurs cibles.

Recommandation nº 2 – Améliorer la formulation des indicateurs de performance

La Commission accepte la recommandation.

Recommandation nº 3 – Préserver l’effet incitatif des tranches variables

La Commission accepte la recommandation.

Pour ce qui est du point b), les contrats de l’UE relatifs au renforcement des capacités visent généralement à contribuer à une augmentation durable des capacités dans les pays partenaires. Leur portée est plus large et ils visent à compléter, plutôt qu’à remplacer, les incitations fournies par les indicateurs.

Recommandation nº 4 – Simplifier le processus de décaissement pour les tranches variables

La Commission accepte la recommandation.

59

La Commission estime que la fiabilité du système statistique des pays partenaires est analysée dans l’appréciation de la conformité des critères d’éligibilité de la politique publique avec l’appui budgétaire et devrait se retrouver également dans le cadre de gestion des risques. Le modèle récemment révisé de la note de décaissement demande de rendre compte des progrès du pays quant à sa capacité d’analyse et à la qualité des données qu’il fournit, avec chaque demande de décaissement.

Recommandation nº 5 – Améliorer les évaluations concernant la capacité des pays à produire les données sur la performance utilisées pour les tranches variables

La Commission accepte la recommandation.

60

La Commission utilise une combinaison de procédures de vérification pour chaque demande de décaissement: un examen documentaire par la délégation et le personnel du siège de l’ensemble des pièces justificatives et un échange d’informations complémentaire avec les autorités, la réalisation de missions sur place, si cela semble utile, et le recours à des experts externes dès lors qu’une expertise spécialisée s’avère nécessaire.

Recommandation nº 6 – Améliorer la vérification des données sur la performance utilisées pour décider du décaissement des tranches variables

La Commission accepte la recommandation.

La Commission rejoint la Cour des comptes sur le point a), à savoir examiner les éléments probants sous-jacents qui étayent les données sur la performance si ces données n’ont pas été explicitement déclarées fiables.

La Commission accepte également la recommandation du point b).

61

Comme exposé dans la réponse à l’encadré 12, la Commission estime que le montant de 6 000 000 EUR pour la Jordanie ne devrait pas être inclus dans le montant global des divergences étant donné que ce versement a été effectué au vu de l’atteinte de la valeur cible et dans les limites de la prolongation accordée au titre d’un avenant à la convention de financement.

Pour le Pakistan, la Géorgie et la Moldavie, veuillez vous reporter à l’encadré 15 et au point 47.

Équipe d'audit

Les rapports spéciaux de la Cour présentent les résultats de ses audits relatifs aux politiques et programmes de l'UE ou à des questions de gestion concernant des domaines budgétaires spécifiques. La Cour sélectionne et conçoit ces activités d'audit de manière à maximiser leur incidence en tenant compte des risques pour la performance ou la conformité, du niveau des recettes ou des dépenses concernées, des évolutions escomptées ainsi que de l'importance politique et de l'intérêt du public.

L'audit de la performance objet du présent rapport a été réalisé par la Chambre III (Action extérieure/Sécurité et justice), présidée par M. Hannu Takkula, Membre de la Cour, assisté de: M. Turo Hentila, chef de cabinet; Mme Helka Nykaenen, attachée de cabinet; M. Alejandro Ballester Gallardo, manager principal; M. Piotr Zych, chef de mission; ainsi que Mmes Eva Coria Paramas, Erika Söveges et Nita Tennila, et M. Roberto Ruiz Ruiz, auditeurs. L'assistance linguistique a été assurée par M. Richard Moore.

De gauche à droite: Turo Hentila, Helka Nykaenen, Hannu Takkula, Alejandro Ballester Gallardo, Nita Tennila, Piotr Zych, Erika Söveges, Roberto Ruiz Ruiz.

Notes

1 Article 236, paragraphe 1, des règles financières applicables au budget général de l'Union, juillet 2018.

2 Voir document intitulé EC Budget Support – Trends and Results, 2018, p. 61.

3 À l'exception du Maroc, auquel la Cour des comptes européenne consacre un rapport spécial qui sera publié en 2020.

4 Lignes directrices sur l'appui budgétaire, 2017, p. 157.

5 Notre échantillon comporte 163 indicateurs assortis de valeurs cibles qui ne nécessitent pas de valeur de départ parce qu'ils ne servent pas à mesurer l'évolution d'une variable donnée (par exemple «l'adoption d'un texte législatif» ou «le nombre de réunions organisées»). Ces indicateurs ne sont pas pris en considération pour la présente évaluation.

6 Lignes directrices sur l'appui budgétaire, 2017, p. 158.

7 Ce nombre n'inclut pas les indicateurs pour les tranches des années précédentes.

8 L'outil «Snapshot» fournit des méthodes d'analyse pour les principaux domaines suivants nécessaires à l'évaluation des systèmes statistiques: i) les cadres juridique, institutionnel et stratégique qui supportent la production de statistiques et le suivi au niveau national ou sectoriel; ii) l'adéquation des ressources (à savoir la quantité et la qualité des ressources humaines, les équipements et le financement); iii) les déterminants de la qualité des données (à savoir l'engagement vis-à-vis de la qualité, l'indépendance professionnelle, l'impartialité, l'objectivité, la méthodologie et les procédures statistiques appropriées); iv) les relations avec les utilisateurs (à savoir la pertinence et l'accessibilité).

9 À savoir les contrats nos 1, 2, 3, 4 et 5.

10 À savoir les contrats nos 2, 5, 13, 14, 23 et 24.

11 À savoir l'indicateur n° 2 du contrat n° 20, l'indicateur n° 1.2 du contrat n° 6, l'indicateur n° 5 du contrat n° 1 ainsi que les indicateurs nos 2.1 et 2.2 du contrat n° 16.

12 À savoir les indicateurs nos 5, 6 et 8 du contrat n° 23, l'indicateur n° 6.2 du contrat n° 24 et l'indicateur n° 1.7 du contrat n ° 6.

13 À savoir les indicateurs nos 3 et 6 du contrat n° 22, ainsi que les indicateurs nos 1.2 et 3 du contrat n ° 5.

Calendrier

Étape Date
Adoption du plan d'enquête / Début de l'audit 20.11.2018
Envoi officiel du projet de rapport à la Commission (ou à toute autre entité auditée) 20.9.2019
Adoption du rapport définitif après la procédure contradictoire 12.11.2019
Réception des réponses officielles de la Commission (ou de toute autre entité auditée) dans toutes les langues 5.12.2019

Contact

COUR DES COMPTES EUROPÉENNE
12, rue Alcide De Gasperi
1615 Luxembourg
LUXEMBOURG

Tél. +352 4398-1
Contact: eca.europa.eu/fr/Pages/ContactForm.aspx
Site internet: eca.europa.eu
Twitter: @EUAuditors

De nombreuses autres informations sur l’Union européenne sont disponibles sur l’internet via le serveur Europa (http://europa.eu).

Luxembourg: Office des publications de l’Union européenne, 2019

PDF ISBN 978-92-847-4055-0 ISSN 1977-5695 doi:10.2865/892624 QJ-AB-19-023-FR-N
HTML ISBN 978-92-847-4074-1 ISSN 1977-5695 doi:10.2865/129044 QJ-AB-19-023-FR-Q

© Union européenne, 2019

Reproduction autorisée, moyennant mention de la source
Toute utilisation ou reproduction de photos ou de tout autre matériel dont Union européenne ne possède pas les droits d’auteur requiert l’autorisation préalable des titulaires des droits en question.

Comment prendre contact avec l’Union européenne?

En personne
Dans toute l’Union européenne, des centaines de centres d’information Europe Direct sont à votre disposition. Pour connaître l’adresse du centre le plus proche, visitez la page suivante: https://europa.eu/european-union/contact_fr

Par téléphone ou courrier électronique
Europe Direct est un service qui répond à vos questions sur l’Union européenne. Vous pouvez prendre contact avec ce service:

  • par téléphone:
    • via un numéro gratuit: 00 800 6 7 8 9 10 11 (certains opérateurs facturent cependant ces appels),
    • au numéro de standard suivant: +32 22999696;
  • par courrier électronique via la page https://europa.eu/european-union/contact_fr

Comment trouver des informations sur l’Union européenne?

En ligne
Des informations sur l’Union européenne sont disponibles, dans toutes les langues officielles de l’UE, sur le site internet Europa à l’adresse https://europa.eu/european-union/index_fr

Publications de l’Union européenne
Vous pouvez télécharger ou commander des publications gratuites et payantes à l’adresse https://op.europa.eu/fr/publications. Vous pouvez obtenir plusieurs exemplaires de publications gratuites en contactant Europe Direct ou votre centre d’information local (https://europa.eu/european-union/contact_fr).

Droit de l’Union européenne et documents connexes
Pour accéder aux informations juridiques de l’Union, y compris à l’ensemble du droit de l’UE depuis 1952 dans toutes les versions linguistiques officielles, consultez EUR-Lex à l’adresse suivante: http://eur-lex.europa.eu

Données ouvertes de l’Union européenne
Le portail des données ouvertes de l’Union européenne (http://data.europa.eu/euodp/fr) donne accès à des ensembles de données provenant de l’UE. Les données peuvent être téléchargées et réutilisées gratuitement, à des fins commerciales ou non commerciales.