Relatório Especial

n.º25 2019

Qualidade dos dados no apoio orçamental: insuficiências em alguns indicadores e na verificação do pagamento das parcelas variáveis

Sobre o relatório O apoio orçamental é uma forma de ajuda da UE que implica a transferência de fundos para o Tesouro nacional de um país parceiro, sob reserva de que esse país cumpra as condições de pagamento acordadas. Os pagamentos de apoio orçamental são efetuados sob a forma de parcelas fixas ou variáveis. Os montantes pagos a partir de parcelas variáveis dependem do desempenho alcançado pelos países parceiros, que é medido por indicadores de desempenho previamente definidos. O Tribunal examinou se a Comissão utilizou dados de desempenho pertinentes e fiáveis para o desembolso das parcelas variáveis de apoio orçamental, tendo concluído que um terço dos indicadores de desempenho examinados apresentava insuficiências de conceção que permitiam diferentes interpretações quanto à concretização das metas. Além disso, a avaliação da Comissão quanto à realização dos valores estabelecidos nos indicadores das parcelas variáveis nem sempre era fiável. O Tribunal apresenta várias recomendações no sentido de melhorar a formulação dos indicadores, aumentar a utilização de indicadores de resultados e melhorar a verificação dos dados de desempenho usados para desembolsar parcelas variáveis.
Relatório Especial do TCE apresentado nos termos do artigo 287.º, n.º 4, segundo parágrafo, do TFUE.

Esta publicação está disponível em 23 línguas e em formato:

PDF

Índice
Síntese
Introdução
Âmbito e método da auditoria
Observações
Conclusões e recomendações
Anexos
Respostas da Comissão
Equipa de auditoria
Notas
Cronologia
Contacto

Síntese

O apoio orçamental é uma forma de ajuda da UE que implica a transferência de fundos para o Tesouro nacional de um país parceiro, sob reserva de que esse país cumpra as condições de pagamento acordadas. Com uma média de 1,69 mil milhões de euros em pagamentos anuais, a UE é o maior prestador de apoio orçamental. Os pagamentos de apoio orçamental são efetuados sob a forma de parcelas fixas ou variáveis. Cerca de 44 % desses pagamentos da UE dizem respeito a parcelas variáveis, percentagem que atinge os 90 % em alguns países vizinhos da UE. Os montantes pagos a partir de parcelas variáveis dependem do desempenho alcançado pelos países parceiros, que é medido por indicadores de desempenho previamente definidos.

O Tribunal examinou se a Comissão utilizou dados de desempenho pertinentes e fiáveis para o desembolso das parcelas variáveis de apoio orçamental, tendo concluído, relativamente a um terço dos indicadores de desempenho examinados, que a forma como foram concebidos enfraqueceu a sua pertinência e que não permitem medir os resultados de forma objetiva. Além disso, a avaliação da Comissão quanto à realização dos valores estabelecidos nos indicadores das parcelas variáveis nem sempre era fiável, dando origem a alguns pagamentos sem justificação suficiente.

III

Embora os indicadores de desempenho das parcelas variáveis estivessem harmonizados com as estratégias de desenvolvimento setoriais dos países parceiros, a maior parte centrava-se em ações a curto prazo e não em resultados a mais longo prazo, incluindo progressos ao longo do tempo no sentido de alcançar os objetivos de desenvolvimento sustentável. Além disso, mais de um terço dos indicadores foram definidos de forma vaga ou tinham valores de base incorretos, quando os tinham. Esta situação permitiu diferentes interpretações quanto à concretização das metas, tornando a análise dos pedidos de desembolso mais complexa e menos objetiva.

Ao estabelecer metas suficientemente ambiciosas, a maioria das parcelas variáveis examinadas teve o efeito pretendido de incentivar os países parceiros a avançar nos seus programas de reforma. As poucas exceções que o Tribunal detetou diziam respeito a indicadores com metas que eram facilmente alcançáveis ou que tinham sido atingidas através do trabalho realizado por outros doadores ou por peritos externos pagos pela UE. O número de indicadores utilizados em cada parcela variável era demasiado elevado em 6 dos 24 contratos, o que tornou o processo de desembolso ainda mais complicado.

Os pedidos de desembolso de parcelas variáveis incluem uma análise sobre o cumprimento das condições e dos indicadores de desempenho acordados. Estes pedidos são elaborados pelos países parceiros e, por conseguinte, a fiabilidade dos dados de desempenho subjacentes depende da capacidade destes países para os produzir. O Tribunal constatou que a Comissão só tirou conclusões explícitas sobre a fiabilidade dos dados de desempenho necessários para calcular os indicadores de parcelas variáveis em 5 dos 24 contratos selecionados. Ao analisar os pedidos de desembolso, as delegações da UE aplicaram diversos procedimentos para verificar a fiabilidade desses dados. Alguns destes procedimentos não asseguram que os pagamentos de parcelas variáveis se baseiam em dados fiáveis e, por conseguinte, não estão plenamente justificados.

Com base na repetição das avaliações da Comissão relativamente à concretização de indicadores e no novo cálculo dos pagamentos de parcelas variáveis, num montante total de 234 milhões de euros, o Tribunal detetou discrepâncias que se elevam a 16,7 milhões de euros. Deste montante, 13,3 milhões de euros não estavam suficientemente justificados ou não cumpriam as disposições contratuais. Foi pago um montante de 3,4 milhões de euros sem que se tivessem registado progressos reais. Além disso, foram pagos à Moldávia 26,3 milhões de euros relativos a três parcelas variáveis sem que existisse documentação suficiente dos motivos subjacentes a estes pagamentos.

VII

O Tribunal formula seis recomendações no sentido de que a Comissão deve:

aumentar a utilização de indicadores de resultados nas parcelas variáveis;
melhorar a formulação dos indicadores de desempenho;
salvaguardar o efeito de incentivo das parcelas variáveis;
simplificar o processo de desembolso das parcelas variáveis;
melhorar as avaliações da capacidade dos países para fornecerem dados de desempenho utilizados nas parcelas variáveis;
melhorar a verificação dos dados de desempenho usados para desembolsar parcelas variáveis.

Introdução

Conceito de apoio orçamental

O apoio orçamental é uma forma de ajuda da UE que implica a transferência de fundos para o Tesouro nacional de um país parceiro, sob reserva de que esse país cumpra as condições de pagamento acordadas. O financiamento recebido desta forma é incorporado no orçamento do país parceiro, podendo ser utilizado da forma que este entender. A Comissão descreve o apoio orçamental como um meio de conceder uma ajuda eficaz e resultados duradouros em apoio dos esforços de reforma dos parceiros da UE e dos objetivos de desenvolvimento sustentável (ODS).

Para além da transferência de recursos financeiros, o apoio orçamental implica: i) um diálogo com o país parceiro sobre os resultados das reformas ou do desenvolvimento, que o apoio orçamental pode ajudar a concretizar, ii) uma avaliação dos progressos realizados e iii) um apoio ao desenvolvimento de capacidades. O apoio orçamental representa uma mudança da ênfase tradicional nas atividades (por exemplo, projetos) para uma ajuda orientada para os resultados.

A UE (através do seu orçamento geral e dos Fundos Europeus de Desenvolvimento) é o maior prestador de apoio orçamental a nível mundial, tendo autorizado para esse apoio, durante o período de 2014‑2017, cerca de 11 % (ver anexo I) do seu orçamento bilateral da ajuda ao desenvolvimento: uma média anual de cerca de 2,13 mil milhões de euros. Em 2017, prestou apoio orçamental a 90 países e territórios, que receberam um total de 1,8 mil milhões de euros. O montante total autorizado para todos os contratos de apoio orçamental em curso ascende a 12,7 mil milhões de euros. A figura 1 apresenta uma repartição destes valores por região, tanto para o orçamento geral da UE como para os Fundos Europeus de Desenvolvimento.

Figura 1

Autorizações e desembolsos de apoio orçamental em curso no final de 2017 por região

(em milhões de euros)

Fonte: TCE, com base em EC Budget Support Trends & Results (Apoio Orçamental da Comissão Europeia — Tendências e resultados) 2018.

O apoio orçamental da UE exige a adoção de políticas pertinentes e credíveis e a sua aplicação efetiva pelo país beneficiário. De acordo com o Regulamento Financeiro, um país pode ser considerado elegível para apoio orçamental se¹:

gerir as suas finanças públicas de forma suficientemente transparente, fiável e eficaz;
aplicar políticas nacionais ou setoriais suficientemente credíveis e relevantes;
aplicar políticas macroeconómicas orientadas para a estabilidade;
permitir um acesso suficiente e atempado a informações orçamentais abrangentes e fidedignas.

A Comissão Europeia utiliza três tipos de contratos de apoio orçamental:

o contrato de Objetivos de Desenvolvimento Sustentável (CODS), que apoia as políticas e estratégias nacionais na realização de progressos com vista à concretização dos objetivos de desenvolvimento sustentável;
o contrato de Desempenho da Reforma Setorial (CDRS), que apoia reformas setoriais específicas;
o contrato de apoio à Consolidação do Estado e à Resiliência (CCER), celebrado com países em situações de fragilidade, a fim de assegurar as funções vitais do Estado ou apoiar processos de governação democrática.

A grande maioria dos programas de apoio orçamental da Comissão Europeia baseia-se em CDRS (74 % de todas as autorizações a título do apoio orçamental em curso em 2017). Em termos de financiamento, os quatro maiores setores apoiados por meio de CDRS são a educação, a agricultura e desenvolvimento rural, a saúde e a energia.

Parcelas variáveis como incentivo para a obtenção de resultados

Antes de cada desembolso, a Comissão analisa o cumprimento das condições gerais associadas ao contrato de apoio orçamental. Estas condições são, na maioria dos casos, as relacionadas com os critérios de elegibilidade para receber apoio orçamental (ver ponto 04). Os pagamentos de apoio orçamental são efetuados sob a forma de parcelas fixas ou variáveis. As parcelas fixas são pagas na totalidade (caso sejam cumpridas todas as condições) ou não são pagas (caso uma ou mais condições não sejam cumpridas). As parcelas variáveis são utilizadas para criar incentivos para que os países parceiros melhorem a execução das políticas, sendo pagas com base no desempenho alcançado em relação a indicadores de desempenho e metas definidos, desde que todas as condições gerais sejam cumpridas. Podem ser pagas na totalidade ou em parte. Os indicadores de desempenho utilizados para as parcelas variáveis podem ser selecionados de entre os sistemas de acompanhamento já utilizados pelo país parceiro ou através de um quadro comum de avaliação do desempenho acordado com o país parceiro e outros doadores.

Podem ser utilizados vários tipos de indicadores de desempenho para as políticas públicas (ver caixa 1). Em geral, a Comissão recomenda a utilização de indicadores de resultados, mas outros tipos de indicadores também podem ser adequados, em função do contexto específico do país parceiro ou do setor em causa.

Caixa 1

Tipos de indicadores de desempenho com exemplos

	Definição*	Exemplos de indicadores dos contratos auditados**
Recursos	Recursos financeiros, humanos e materiais que são mobilizados para a execução do programa	Orçamento afetado a projetos especificamente relacionados com mulheres
Processos	Ações de política e regulamentares empreendidas	Adoção de regulamentos conformes com as normas da UE em matéria de controlo fronteiriço dos alimentos
Realizações	Consequências imediatas e concretas dos recursos utilizados e das medidas tomadas	Renovação de edifícios públicos Novos mecanismos comerciais a nível local Conceção do sistema de informação sobre a gestão de professores
Resultados	Resultados ao nível dos beneficiários	Educação de qualidade para os alunos sírios em campos e comunidades de acolhimento Aumento da percentagem de comunidades servidas por serviços regulares de transporte de passageiros Cobertura do seguro de doença para as pessoas no limiar da pobreza
Impacto	Consequências dos resultados em termos de impacto no objetivo mais vasto	Redução da taxa de mortalidade infantil Redução da superfície cultivada com coca Melhoria do controlo e da comunicação de informações sobre as despesas

Fonte: *Comissão Europeia, Apoio Orçamental — Linhas de Orientação, 2017 e **TCE.

Cada indicador de desempenho tem um valor financeiro associado. Uma forma de a Comissão calcular os montantes pagos a partir das parcelas variáveis consiste em adicionar o montante associado a cada indicador de desempenho cumprido pelo país. Assim, quanto mais indicadores um país parceiro cumprir, maior será a percentagem da parcela variável paga.

Em 2017, 44 % dos pagamentos da Comissão relativos a contratos de apoio orçamental diziam respeito a parcelas variáveis². Esta percentagem atinge os 90 % em alguns países vizinhos da UE. A figura 2 apresenta uma repartição por país das parcelas variáveis pagas para os CDRS em 2017.

Figura 2

Desembolsos das parcelas variáveis relativos aos contratos de desempenho da reforma setorial em 2017

Fonte: TCE, com base em dados da Comissão Europeia.

Desembolso das parcelas variáveis

O processo de desembolso de uma parcela variável começa com um pedido de desembolso do país parceiro, que inclui uma análise do grau de cumprimento dos indicadores de desempenho associados. As delegações da UE analisam os pedidos e elaboram uma nota de avaliação. Com base nessa nota, e após aprovação do comité de direção do apoio orçamental, a Comissão decide o montante da parcela variável a pagar (ver figura 3).

A análise do desempenho do país parceiro que acompanha o pedido de desembolso baseia-se em dados provenientes dos seus próprios sistemas de acompanhamento e avaliação. Estes sistemas são, por conseguinte, a principal fonte de informações para o desembolso das parcelas variáveis.

Figura 3

Processo de desembolso

Fonte: TCE, com base nas Linhas de Orientação do Apoio Orçamental da Comissão Europeia.

Âmbito e método da auditoria

O Consenso Europeu sobre o Desenvolvimento, adotado em 2017, reconhece o papel central do apoio orçamental na promoção dos esforços dos países parceiros no sentido da concretização dos objetivos de desenvolvimento sustentável (ODS). Tendo em conta a importância das parcelas variáveis nos pagamentos de apoio orçamental e o facto de os dados de desempenho em que se baseiam esses pagamentos terem origem nos países beneficiários, se os dados não forem corretos ou fiáveis, os pagamentos de apoio orçamental não estarão a recompensar resultados reais, como pretendido. O próprio objetivo do apoio orçamental ficaria gravemente comprometido. A presente auditoria centrou-se, por conseguinte, em examinar de forma aprofundada a quantidade e qualidade (designadamente, a pertinência e a fiabilidade) dos indicadores de desempenho utilizados nas parcelas variáveis e a análise dos pedidos de pagamento efetuada pela Comissão.

A principal questão de auditoria foi a seguinte: «A Comissão utilizou dados de desempenho pertinentes e fiáveis para o desembolso das parcelas variáveis de apoio orçamental?» Para dar resposta a esta questão, o Tribunal subdividiu-a nas seguintes:

Os contratos de apoio orçamental incluíram indicadores que permitem um controlo eficaz dos resultados pertinentes nos setores apoiados?
A Comissão verificou de forma eficaz a fiabilidade dos dados de desempenho apresentados nos pedidos de desembolsos das parcelas variáveis?

A auditoria abrangeu uma amostra de 24 contratos de desempenho da reforma setorial (ver anexo II) celebrados com os oito países parceiros com os maiores desembolsos de parcelas variáveis pagas em 2017³. Estes países receberam 43,29 % do total de pagamentos das parcelas variáveis relativos a esse ano. As parcelas variáveis auditadas para os contratos selecionados envolveram um total de 248 indicadores de desempenho. O anexo III especifica os pagamentos efetuados em 2017 e os setores auditados.

Para os contratos selecionados, o Tribunal examinou a avaliação da Comissão sobre a capacidade dos sistemas dos países para fornecerem dados fiáveis sobre o desempenho. Verificou igualmente a conceção das disposições contratuais de apoio orçamental, em especial a qualidade dos indicadores de desempenho utilizados nas parcelas variáveis. Por último, o Tribunal examinou as verificações da Comissão sobre os dados dos pedidos de desembolso das parcelas variáveis. Ao examinar essas verificações, o Tribunal realizou uma análise documental dos processos de pagamento elaborados pela Comissão e reavaliou a concretização das metas e o cálculo dos pagamentos das parcelas variáveis. Em seguida, comparou as suas conclusões com as da Comissão.

A auditoria incluiu visitas a três países: Jordânia, Geórgia e Bolívia. Durante essas visitas, realizadas em fevereiro e março de 2019, o Tribunal realizou entrevistas com o pessoal da Comissão, representantes das autoridades nacionais e outros doadores ou partes interessadas. Para além dos procedimentos realizados para os restantes países selecionados, nestes três países o Tribunal repetiu as verificações da Comissão relativas aos pedidos de desembolso das parcelas variáveis e aos respetivos pagamentos e comparou os seus resultados com os resultados da análise efetuada pela Comissão. Além disso, cruzou os dados de desempenho declarados pelos países parceiros com outras fontes de provas provenientes de peritos externos e outros doadores, a fim de avaliar a sua fiabilidade.

Observações

A conceção dos indicadores das parcelas variáveis enfraquece a sua pertinência

O Tribunal examinou se: i) os indicadores de desempenho são pertinentes para a concretização dos objetivos dos contratos de apoio orçamental e estão harmonizados com as políticas nacionais e ii) proporcionam uma base sólida para o acompanhamento de resultados significativos.

Os indicadores são coerentes com as estratégias setoriais dos países, mas centram-se sobretudo em ações a curto prazo e não em resultados a mais longo prazo

A Comissão considera o apoio orçamental um meio de prestação de ajuda baseado nos resultados. Enquanto a ajuda baseada em projetos é desembolsada para despesas elegíveis, as parcelas variáveis do apoio orçamental são pagas quando os países parceiros cumprem as condições gerais e atingem os resultados previamente acordados, medidos por indicadores de desempenho selecionados. Por conseguinte, a importância das parcelas variáveis depende de esses indicadores de desempenho medirem ou não resultados significativos.

Existem cinco tipos de indicadores, tal como indicado na caixa 1. Os indicadores de recursos, de processos e de realizações são mais relevantes para a gestão diária dos programas de despesas públicas. Os indicadores de resultados e de impacto medem os efeitos a mais longo prazo, como o progresso das reformas e dos programas no sentido de alcançar os objetivos definidos (por exemplo, os ODS). A figura 4 inclui um exemplo de diferentes tipos de indicadores utilizados para um dos programas de apoio orçamental na Bolívia.

Figura 4

Cadeia de resultados e diferentes tipos de indicadores de desempenho

Fonte: Cadeia de resultados do Comité de Ajuda ao Desenvolvimento da OCDE, utilizada no âmbito das ações externas da UE.

As Linhas de Orientação do Apoio Orçamental permitem a utilização de qualquer um dos tipos de indicadores anteriormente referidos. No entanto, de acordo com a Comissão, deve ser dada preferência aos indicadores de resultados, uma vez que incentivam a elaboração de políticas baseadas na evidência, protegem o espaço político dos países parceiros, permitindo‑lhes escolher as suas próprias políticas e estratégias para os atingir e estimulam a procura de informações estatísticas de alta qualidade. Quanto maior for a confiança na capacidade do governo parceiro para produzir dados fiáveis, maior a ênfase que deve ser dada aos indicadores de resultados. O Tribunal também considera os indicadores de impacto úteis para medir os resultados, em especial a concretização dos ODS.

A análise do Tribunal a 248 indicadores nos contratos auditados mostra que estão harmonizados com as estratégias setoriais dos países parceiros. Contudo, os desembolsos das parcelas variáveis baseiam-se principalmente em indicadores de recursos, processos e realizações, que, em conjunto, representam 87 % do número total de indicadores. Apenas 33 indicadores (13 %) mediam os resultados e o impacto (ver figura 5).

Figura 5

Tipos de indicadores utilizados para parcelas variáveis nos programas auditados

Fonte: TCE:

O Tribunal constatou que a maior parte dos indicadores de resultados e de impacto foi utilizada em países com economias de rendimento baixo e médio baixo, enquanto em países de rendimento médio alto, como a Jordânia e a Geórgia, que tinham uma melhor capacidade para produzir dados de desempenho, apenas foram utilizados quatro indicadores de resultados e nenhum indicador de impacto. Esta situação mostra que a seleção dos indicadores não está necessariamente relacionada com o estado de desenvolvimento dos países.

Os indicadores de recursos utilizados nas parcelas variáveis auditadas diziam principalmente respeito à aquisição de bens (18 casos) e ao aumento das dotações orçamentais (9 casos). O aumento dos orçamentos ou a aquisição de equipamento podem desencadear alterações num determinado domínio de interesse, mas não significam automaticamente que serão alcançados progressos significativos.

Os indicadores de processos podem desempenhar um papel útil, em especial quando a política visa a alteração do quadro regulamentar. No entanto, tal como indicado nas Linhas de Orientação, não devem centrar-se apenas nos processos, mas também medir aspetos qualitativos, por exemplo, os elementos que uma entidade a criar deve cobrir, etc.⁴ Contudo, nem sempre foi esse o caso. A caixa 2 apresenta exemplos de indicadores que não especificaram requisitos mínimos de qualidade relativamente ao conteúdo ou à estrutura das informações a apresentar, o que torna difícil garantir que as parcelas variáveis recompensam os processos de boa qualidade.

Caixa 2

Exemplos de indicadores de processos sem especificações qualitativas

No contrato relativo ao plano de ação para a liberalização do regime de vistos da Moldávia (contrato 15), um indicador diz respeito a um quadro regulamentar aprovado para o registo obrigatório das infrações comunicadas, sem qualquer referência à qualidade ou ao conteúdo desse quadro.

No contrato relativo à energia na Jordânia (contrato 4), a meta de um indicador refere-se a «uma estrutura de diálogo sobre as políticas com as várias partes interessadas, liderada pelo Ministério da Energia e Recursos Minerais, que esteja operacional e reúna regularmente», sem qualquer especificação adicional sobre a frequência com que as reuniões devem ser realizadas.

Um terço dos indicadores não permite medir objetivamente os resultados

Os indicadores utilizados para medir os progressos na execução de uma política pública devem ser específicos, ter metas quantificadas e mensuráveis e, quando aplicável, valores de base fiáveis. Caso contrário, não é possível medir objetivamente os progressos realizados. Os indicadores, os valores de base e as metas devem ser acordados durante a fase de elaboração dos contratos de apoio orçamental e especificados na convenção de financiamento. Embora as Linhas de Orientação indiquem que se devem evitar as alterações dos indicadores, as metas poderão ter de ser alteradas durante a execução do contrato, a fim de refletir novas circunstâncias ou corrigir erros na definição dos valores de base ou no cálculo dos indicadores.

A análise do Tribunal mostra que 72 indicadores (ou seja, 29 % da amostra) não eram suficientemente específicos. Os indicadores não específicos são particularmente problemáticos durante o processo de análise dos pedidos de desembolso, pois corre-se o risco de existirem apreciações contraditórias quanto à concretização das metas. Por sua vez, esta situação pode conduzir à obtenção de muitos resultados diferentes quando se calcula o montante da parcela variável a pagar.

Dos indicadores, 29 % estavam formulados de forma vaga, sem metas quantificadas, utilizando termos como «melhorar», «aumentar a tónica» e «fornecer provas». O Tribunal observou que os contratos no setor agrícola incluíam o maior número de indicadores específicos (86,5 %), enquanto na gestão das finanças públicas (GFP) apenas 60 % dos indicadores eram específicos. A caixa 3 apresenta exemplos de indicadores não específicos e as implicações para o cálculo dos desembolsos das parcelas variáveis.

Caixa 3

Exemplos de indicadores/metas não específicos

No contrato relativo ao «Apoio à segunda fase da reforma da educação na Jordânia» (contrato 1), a meta para o indicador 5 era: «6 novas escolas equipadas e operacionais com meios/ambientes de aprendizagem adequados e recursos humanos adequados». O cumprimento do termo «adequado» e a respetiva quantificação para o cálculo do pagamento não estavam suficientemente especificados na convenção de financiamento, prestando-se assim a diversas interpretações. Por conseguinte, o perito externo que analisou a concretização da meta em nome da Comissão teve de desenvolver a sua própria metodologia para avaliar estes critérios, já que os critérios não tinham sido previamente definidos na convenção de financiamento e, portanto, não tinham sido acordados com o país parceiro.
O indicador 2.1 do contrato relativo ao «Apoio à reforma da política de finanças públicas» na Geórgia (contrato 8) tem a seguinte redação: «O Ministério das Finanças organiza uma série de debates públicos sobre a governação orçamental […]». Este indicador não especifica o número nem a natureza das reuniões.

O Tribunal detetou também bons exemplos de casos em que a Comissão envidou esforços para medir os progressos de indicadores que não eram fáceis de analisar. No caso ilustrado na caixa 4, a Comissão deu o exemplo a toda a comunidade de doadores no domínio da educação.

Caixa 4

Medir a qualidade da educação — um bom exemplo

No contrato «Apoio orçamental ao Ministério da Educação da Jordânia para fazer face à crise dos refugiados sírios», a Comissão utilizou o indicador «Educação de qualidade fornecida aos alunos sírios em escolas de um ou dois turnos em campos e comunidades de acolhimento comparável às normas jordanas e defendida no país».

Trata-se de um indicador de resultados que mede a qualidade da educação ministrada aos estudantes sírios. O valor do indicador foi obtido através de um inquérito realizado numa amostra de escolas. Em cada escola, a qualidade da educação foi medida avaliando dez fatores diferentes (como as observações das aulas, a participação de pais e estudantes, a igualdade de representação entre rapazes, raparigas, refugiados e jordanos) numa escala de quatro pontos. As pontuações obtidas (pontuações de desempenho de qualidade) foram utilizadas para atribuir às escolas notas de A+ (boas) a C– (que necessitam de melhorias).

Este foi o primeiro indicador a medir a qualidade da educação na Jordânia, tendo sido posteriormente utilizado por outros doadores e introduzido no quadro comum de resultados na Jordânia.

No entanto, no que respeita à verificação do cumprimento dos indicadores, o Tribunal detetou algumas insuficiências (ver caixa 10).

Valores de base inexistentes ou incorretos em 41 % dos indicadores de progressos

Para uma medição eficaz dos resultados, não é apenas necessário que os indicadores sejam definidos de forma específica e inequívoca. Os progressos só são mensuráveis se as metas fixadas puderem ser comparadas com a situação existente antes da intervenção: por outras palavras, com valores de base. Entre os 85 indicadores analisados para os quais eram necessários valores de base (ou seja, para os indicadores que analisavam os progressos⁵), o Tribunal detetou problemas em 35, relacionados com i) a falta dos valores de base necessários (15) e ii) valores de base incorretos ou desatualizados (20).

Relativamente a 15 indicadores, não tinham sido indicados valores de base. Encontravam-se em quatro dos 24 contratos de apoio orçamental selecionados (contratos 6, 7, 8 e 17). A principal razão para a falta de valores de base foi o facto de os países parceiros não terem acompanhado a situação antes do início do contrato de apoio orçamental. No entanto, o Tribunal encontrou exemplos em que, numa situação semelhante, a Comissão tinha utilizado a primeira parcela variável do contrato de apoio orçamental para solicitar ao país parceiro que calculasse o valor de base. Noutros casos, a Comissão realizou os trabalhos necessários (ou seja, inquéritos) para calcular os valores de base em falta. O Tribunal considera que se trata de boas práticas. Descreve-se na caixa 5 um exemplo do trabalho necessário realizado pela Comissão para avaliar com exatidão os progressos realizados relativamente ao indicador pertinente em parcelas posteriores.

Caixa 5

Definição de valores de base

O indicador 3 do contrato de reforma setorial para aumentar o desempenho do setor energético do Ruanda (contrato 19) constitui um exemplo de boas práticas na definição de valores de base, substituindo dados em falta por outras fontes de informação. Este indicador é medido ao longo de todo o contrato através de um inquérito anual. No entanto, na fase de elaboração da convenção de financiamento, este inquérito não estava disponível, pelo que não existia um valor de base. A fim de estabelecer o valor de base, a delegação da UE efetuou uma análise exaustiva e uma verificação cruzada de fontes alternativas de dados, como a Estratégia da Energia da Biomassa, de 2009, a avaliação da Global Alliance for Cooking Stove, a partir de 2012, e o relatório Wood fuel Integrated Supply/Demand Overview Mapping. Com base nestes elementos, a delegação da UE conseguiu definir um valor de base pertinente.

Além disso, 20 indicadores apresentavam valores de base incorretos ou desatualizados. Em 11 destes casos, foram disponibilizados novos dados pertinentes para o cálculo correto do valor de base após a assinatura do contrato de apoio orçamental. Embora seja possível alterar a convenção de financiamento correspondente para refletir o valor de base correto, a Comissão não o fez nestes casos. A utilização de valores de base incorretos ou desatualizados levou a que as metas estabelecidas para os indicadores fossem inferiores aos valores de base reais. A caixa 6 apresenta alguns exemplos.

Caixa 6

Exemplos de indicadores com valores de base inexistentes ou incorretos

Falta de valores de base

Relativamente ao contrato «Emprego e ensino e formação profissional» na Geórgia (contrato 7), quando a convenção de financiamento foi assinada em 2014 não foram definidos valores de base para nenhum dos cinco indicadores que medem os progressos. Por conseguinte, o valor de base para o aumento exigido era zero, o que significa que quaisquer progressos comunicados poderiam ser considerados suficientes para atingir a meta. Por exemplo, o contrato incluía metas para aumentar o número relativo de professores que recebem formação inicial e contínua. No entanto, não estavam disponíveis dados sobre o número de professores que já recebiam o tipo de formação medida. Além disso, os conceitos de formação «inicial» e «contínua» só foram desenvolvidos em 2016, pelo que não foi possível conhecer a situação de base quando as metas foram fixadas. Uma vez que não se encontravam disponíveis valores de base, a Comissão considerou a evolução mais ampla no setor da educação, em vez dos valores dos indicadores.

Valores de base não desagregados

Em alguns casos, o valor de base foi fornecido, mas não estava suficientemente desagregado para permitir a medição dos progressos. A meta do indicador 1 de um contrato com a Bolívia (contrato 9) exigia que instituições específicas formassem um determinado número de efetivos em 2016. O valor de base incluía informações sobre o número de cursos de formação propostos em 2013. No entanto, não fornecia o número de efetivos formados por cada instituição, pelo que não estava suficientemente desagregado. A documentação adicional fornecida ao Tribunal mostrou que, em função do centro de formação considerado, o número de efetivos formados em 2013 já ultrapassava as duas metas fixadas para 2016, num caso em 2 % e no outro em 42 %. Neste caso, a falta de um valor de base devidamente desagregado deu origem à fixação de metas modestas.

Valores de base incorretos

No «Programa de Apoio ao Plano no Setor da Educação» no Paquistão (contrato 24), o valor de base para o indicador 5 dizia respeito ao número de estudantes que beneficiam de um regime de bolsas de estudo existente. No entanto, a meta era uma percentagem de raparigas elegíveis que receberam bolsas em tempo oportuno. Por conseguinte, o valor de base não estava diretamente relacionado com a meta fixada.

Os indicadores têm geralmente o efeito de incentivo pretendido, mas são demasiados

Um dos objetivos principais do apoio orçamental é incentivar os países parceiros a seguir a via das reformas acordadas. Para o efeito, os indicadores utilizados para as parcelas variáveis devem exigir um esforço significativo por parte do país destinatário. As metas associadas devem igualmente encontrar um equilíbrio adequado entre ambição e facilidade de realização⁶.

O Tribunal constatou que a maioria das parcelas variáveis examinadas teve o efeito de incentivar os países parceiros a aplicarem determinados aspetos das suas estratégias de desenvolvimento. No entanto, as metas utilizadas para 11 dos indicadores selecionados foram muito fáceis de alcançar. Este número inclui quatro indicadores cujas metas foram fixadas num nível muito baixo devido à utilização de valores de base incorretos (ver pontos 31 e 32). A caixa 7 apresenta exemplos de indicadores com um efeito de incentivo limitado. Além disso, para 12 indicadores adicionais relativos a três contratos celebrados na Moldávia (contrato 16), na Bolívia (contrato 10) e no Paquistão (contrato 23), as metas foram sobretudo alcançadas com o apoio concedido pela assistência técnica paga pela UE ou por outros doadores. Na opinião do Tribunal, a apropriação destes indicadores é limitada e o seu efeito de incentivo é fraco, uma vez que não exigem qualquer envolvimento significativo dos países parceiros.

Caixa 7

Exemplos de indicadores com metas fáceis de alcançar

Num contrato com a Bolívia (contrato 9), parte da parcela variável foi subordinada à organização de duas reuniões plenárias em 2015 por uma instituição responsável pela execução da estratégia de luta contra o tráfico de droga. As reuniões plenárias regulares para acompanhamento da estratégia fazem parte da sua atividade normal, não sendo uma atividade que necessita de incentivo mediante um indicador da parcela variável.

A meta para o indicador 4 do mesmo contrato é a elaboração de um relatório que demonstre que o país parceiro cumpre as condições para beneficiar de apoio orçamental da UE. No entanto, este relatório faz parte do processo de desembolso habitual do apoio orçamental, pelo que não deveria ter sido considerado um indicador da parcela variável.

As Linhas de Orientação sugerem que, em geral, o número de indicadores de uma parcela variável deve ser de três a dez. A existência de demasiados indicadores dilui o efeito de incentivo e torna o acompanhamento mais complicado. Os contratos auditados tinham entre 4 e 34 indicadores por parcela⁷. Estes indicadores foram ainda repartidos em subindicadores, muitas vezes com várias metas. Por exemplo, o contrato de apoio à aplicação de um plano de ação para a liberalização do regime de vistos da Moldávia (contrato 15) incluía 95 metas independentes. Um número tão elevado de indicadores e metas não favorece a concentração nos principais objetivos políticos dos contratos de apoio orçamental. Embora os problemas associados ao elevado número de indicadores tenham sido reconhecidos pela Comissão em documentos internos, este facto não influenciou a elaboração dos contratos (ver caixa 8).

Caixa 8

Elevado número de indicadores

Os documentos preparatórios do contrato «Apoio à agricultura e ao desenvolvimento rural» na Moldávia (contrato 17) referem que «a conceção de um número reduzido de condições específicas é crucial na Moldávia, uma vez que a existência de muitas condições complexas pode contribuir para o fracasso do apoio orçamental setorial». Este aspeto não foi tido em conta durante a conceção, uma vez que o contrato incluía 28 «condições / critérios / atividades de desembolso» compostos para o pagamento da parcela variável de 2017, que foram ainda divididos em 39 subcondições.

A qualidade da verificação, pela Comissão, do cumprimento dos indicadores foi variável, tendo levado a que alguns pagamentos não sejam suficientemente justificados

Os pedidos de desembolso apresentados pelos países beneficiários contêm uma análise dos progressos realizados nos setores apoiados pelos seus contratos de apoio orçamental e informações sobre o cumprimento das condições acordadas e dos indicadores de desempenho. O processo inclui geralmente um relatório sobre os progressos realizados num determinado domínio (setor), relatórios separados sobre o cumprimento de todas as condições e fichas relativas a cada indicador, com documentos justificativos (por exemplo, cartas de um serviço de estatística, relatórios sobre inquéritos, etc.). Ver a figura 3, que descreve o processo de pagamento do apoio orçamental.

Os pedidos dos países parceiros baseiam-se em dados dos seus próprios sistemas de acompanhamento e avaliação. Estes sistemas são, por conseguinte, uma das principais fontes de informação para sustentar as decisões de pagamento. No entanto, os países dispõem de diferentes capacidades e sistemas para a recolha, o armazenamento, a análise e a utilização dos dados. Por conseguinte, antes de iniciar as operações de apoio orçamental, a Comissão tem de avaliar os sistemas em vigor para produzir indicadores de desempenho que serão utilizados em seguida para os pagamentos das parcelas variáveis. Em especial, as delegações da UE devem determinar se as insuficiências dos sistemas estatísticos, a disponibilidade de dados e a análise de políticas prejudicam significativamente a validade dos pedidos de desembolso apresentados pelos países.

Relativamente aos contratos examinados, o Tribunal analisou se, ao selecionar os indicadores de desempenho para as parcelas variáveis, a Comissão avaliou corretamente a fiabilidade dos dados de desempenho. Analisou também se a Comissão procedeu a um exame exaustivo dos pedidos de desembolso das parcelas variáveis e se calculou corretamente o montante a pagar.

A Comissão não tirou conclusões sobre a capacidade dos países para produzirem os dados necessários para os indicadores

As delegações da UE devem apresentar uma panorâmica dos sistemas de acompanhamento e avaliação do país parceiro (para o país em geral e para o setor em causa no caso dos CDRS), avaliando se a política pública do país está em conformidade com os objetivos da UE e se a capacidade institucional é considerada suficiente para executar a política. Além disso, as Linhas de Orientação exigem a análise da fiabilidade e disponibilidade dos dados e a avaliação das insuficiências que afetam os sistemas estatísticos, antes da celebração dos contratos de apoio orçamental.

O Tribunal analisou as avaliações da Comissão com base em critérios estabelecidos pelo serviço de estatística da União Europeia (Eurostat), que desenvolveu uma ferramenta denominada Snapshot para ajudar as delegações da UE a avaliarem os pontos fortes e fracos dos sistemas estatísticos nacionais nos países em desenvolvimento. O Tribunal constatou que as Linhas de Orientação do Apoio Orçamental elaboradas pela Comissão abrangem os requisitos essenciais dessa ferramenta. No entanto, Snapshot é mais abrangente e fornece explicações pormenorizadas sobre a forma de medir domínios específicos⁸, que são pertinentes para a avaliação dos sistemas estatísticos. Em geral, o pessoal das delegações não conhece esta ferramenta.

O exame efetuado pelo Tribunal sobre a apreciação dos sistemas de acompanhamento e avaliação realizada pela Comissão revelou que, na prática, a Comissão geralmente descreve e avalia os elementos mencionados nas Linhas de Orientação, mas em vários documentos separados. Contudo, apesar de terem sido mencionadas algumas insuficiências específicas do setor na maioria dos contratos (18 de 24 contratos), apenas nos cinco contratos na Jordânia a Comissão retirou explicitamente conclusões quanto à fiabilidade dos dados de desempenho necessários para calcular os indicadores da parcela variável⁹. Retirar uma conclusão sobre a fiabilidade dos dados é importante para a seleção dos indicadores, o acompanhamento e a análise dos pagamentos.

A Comissão verificou a fiabilidade dos dados apresentados em apoio dos pedidos de desembolso, mas nem sempre em pormenor

As delegações da UE devem analisar os pedidos de desembolso apresentados pelos países parceiros (incluindo os valores dos indicadores de desempenho associados) antes de efetuar o pagamento da parcela variável. O Tribunal constatou a existência de uma variedade de procedimentos de verificação, alguns dos quais não forneciam a garantia necessária para justificar os pagamentos posteriores.

Globalmente, a Comissão aplicou três tipos diferentes de procedimentos de verificação: i) análise documental e repetição do cálculo aritmético dos valores dos indicadores utilizando os dados fornecidos pelos países parceiros, ii) o mesmo método complementado por visitas no terreno para verificar a fiabilidade dos dados fornecidos e iii) contratação de peritos externos para o cálculo dos valores dos indicadores de desempenho ou da verificação dos dados fornecidos pelo país parceiro.

Os funcionários das delegações da UE efetuaram visitas no terreno para complementar a análise e verificar alguns dos dados fornecidos em 14 dos 24 contratos auditados (ver caixa 9), tendo contratado, por vezes para além das suas próprias visitas no terreno, peritos externos para analisar o cumprimento das condições aplicáveis às parcelas variáveis em 16 contratos. Nos países vizinhos, o recurso a peritos foi sistemático, enquanto nos restantes países auditados, as delegações utilizaram peritos em apenas 5 dos 13 contratos.

As Linhas de Orientação do Apoio Orçamental recomendam o recurso à assistência de peritos nos exercícios de verificação caso existam sérias dúvidas quanto à qualidade dos dados fornecidos. No entanto, sem conclusões claras sobre a capacidade dos países parceiros para produzir esses dados (ver pontos 39 a 41), é difícil decidir se essa assistência é realmente necessária. Para os contratos auditados, o custo médio das missões de verificação de peritos foi de aproximadamente 110 000 euros.

Caixa 9

Verificação dos pedidos de desembolso pela Comissão

Para avaliar o pedido de desembolso do contrato de reforma setorial que visava aumentar o desempenho do setor agrícola do Ruanda (contrato 18), a delegação da UE efetuou uma análise exaustiva das informações apresentadas pelo governo do Ruanda, complementando-a com visitas no terreno e pedidos de esclarecimento às autoridades nacionais. Mais especificamente, no caso do indicador 5a, a meta para o primeiro ano era de 80 000 ha de terra a utilizar na agrossilvicultura em determinadas zonas. A delegação efetuou uma visita no terreno, que demonstrou que as informações apresentadas não eram corretas, uma vez que as atividades na zona não estavam limitadas à agrossilvicultura. Por conseguinte, a Comissão reteve o pagamento relativo a este indicador na parcela.

O Tribunal constatou que, em 6¹⁰ dos 24 contratos selecionados, a Comissão não realizou de forma eficaz verificações adicionais dos dados utilizados como base para o pagamento das parcelas variáveis. Esta situação deveu-se principalmente ao facto de as delegações da UE se terem baseado plenamente na exatidão dos dados de desempenho fornecidos pelos países parceiros ou no trabalho de verificação realizado por peritos externos em nome da Comissão, sem qualquer verificação adicional dos dados fornecidos. Nestes casos, é mais difícil para a Comissão detetar que os dados de desempenho apresentados nos pedidos de desembolso não são fiáveis, aumentando assim o risco de efetuar pagamentos injustificados de parcelas variáveis. A caixa 10 apresenta um exemplo de lacunas num exame externo, que não foram detetadas pela Comissão.

Caixa 10

Exemplos de lacunas detetadas no trabalho dos peritos externos

Para o contrato 2, que concede apoio ao Ministério da Educação da Jordânia para fazer face à crise dos refugiados sírios, a Comissão contratou um perito para avaliar os dados declarados pelo Ministério da Educação relativamente a alguns indicadores da parcela variável. O perito validou os dados declarados pelo Ministério com visitas no terreno a uma amostra de 30 escolas. Com base no relatório do perito, a Comissão pagou a parcela variável.

O Tribunal examinou o trabalho do perito e visitou algumas das escolas incluídas na amostra, tendo constatado o seguinte:

a amostragem das escolas não era aleatória, mas baseava-se em recomendações de uma equipa de consultores externos que colaborava com a UNESCO e tinha sido aprovada pelo Ministério da Educação. Existia um risco de a amostra ser enviesada;
embora o perito tenha efetivamente visitado as 30 escolas da amostra, os dados só foram comparados em relação a 17, porque o Ministério não dispunha das informações relativas às restantes escolas. Por conseguinte, as conclusões do perito externo sobre a fiabilidade do sistema informático do Ministério basearam-se em provas insuficientes;
os controlos no local ao pessoal que trabalhava nas escolas referiam-se apenas aos professores, mas a meta do indicador 1 também se referia a pessoal não docente, pelo que as conclusões obtidas sobre este indicador estavam incompletas;
o perito concluiu que os dados da visita no terreno confirmavam os dados do Ministério. Para os indicadores 1 (número de efetivos) e 2 (número de estudantes), esta conclusão foi alcançada comparando os resultados totais da amostra. No entanto, os resultados individuais por escola apresentam diferenças significativas (positivas e negativas) que são compensadas no cálculo dos totais.

Relativamente a algumas parcelas variáveis, os dados de desempenho fornecidos pelos países parceiros não justificavam os pagamentos efetuados

De um total de 234 milhões de euros de pagamentos de parcelas variáveis examinados, em cinco países de oito, a avaliação que o Tribunal realizou das provas que justificam o cumprimento dos valores dos indicadores da parcela variável revela resultados diferentes dos aceites pela Comissão, num montante de 13,3 milhões de euros. Num país (Paquistão), a diferença em relação aos pagamentos da parcela variável elevou-se a 19 %. Além disso, o Tribunal constatou igualmente que a Comissão desembolsou 3,4 milhões de euros a dois países, com base em indicadores relacionados com valores de base definidos de forma incorreta. Embora existisse uma obrigação contratual de pagamento, uma vez que a meta tinha sido atingida, não tinham sido alcançados progressos reais no domínio medido pelo indicador. O quadro 1 apresenta uma síntese destes montantes para cada país visitado.

Quadro 1 — Discrepâncias em relação às avaliações da Comissão

País	Parcela variável examinada (em euros)	Diferenças em relação à avaliação do Tribunal (em euros)	Referência do contrato e dos indicadores	Motivo das discrepâncias (por indicador)	Montantes pagos sem progressos reais (em euros)
Bolívia	32 800 000	0			0
Etiópia	29 520 000	0			2 000 000 (Contrato 14: indicador 7)
Geórgia	19 400 000	1 000 000	Contrato 6: indicadores 1.2 e 1.7	1.2: meta alcançada dois meses após o prazo 1.7: meta não alcançada	0
Jordânia	45 750 000	6 000 000	Contrato 1: indicador 5	Meta alcançada dois anos após o prazo	0
Moldávia	26 345 111	1 000 000	Contrato 16: indicadores 2.1 e 2.2	2.1: meta alcançada um mês após o prazo 2.2: meta alcançada três meses após o prazo	0
Paquistão	25 665 625	4 968 750	Contrato 23: indicadores 5, 6 e 8 Contrato 24: indicadores 4, 6.2 e 6.3	5,6 e 8: metas não alcançadas 4 e 6.3: provas incorretas 6.2: meta não alcançada	0
Ruanda	27 667 500	332 500	Contrato 20: indicador 2	Meta alcançada um ano após o prazo	1 437 500 (Contrato 19: indicador 5 Contrato 20: indicador 4)
Vietname	27 000 000	0			0
TOTAL	234 148 236	13 301 250			3 437 500

Fonte: TCE:

As principais questões que o Tribunal detetou diziam respeito a i) metas alcançadas com atraso após os prazos fixados; ii) medição dos resultados a partir de valores de base definidos de forma incorreta; iii) provas incorretas ou insuficientes para justificar o cumprimento dos valores dos indicadores; iv) metas não alcançadas de todo. A figura 6 mostra os tipos e a percentagem das discrepâncias detetadas em relação às avaliações da Comissão.

Figura 6

Tipos de discrepâncias

Fonte: TCE:

Na caixa 11, descreve-se um dos casos em que o Tribunal considerou que os países parceiros apresentaram provas incorretas.

Caixa 11

Provas baseadas numa amostra enviesada

A meta relativa ao indicador 6.3 do contrato de educação no Paquistão (contrato 24) era uma taxa de frequência escolar de, pelo menos, 80 % pelos estudantes que recebem vales. As provas apresentadas pelo país parceiro revelaram uma taxa de frequência superior à meta (87 %), pelo que a Comissão considerou que esta meta foi alcançada. Segundo o relatório de conformidade da assistência técnica, as provas fornecidas deveriam abranger todos os estudantes ao longo do ano. No entanto, a análise do Tribunal revelou que as autoridades nacionais apenas tinham tomado em conta um quarto dos estudantes que recebiam vales para o cálculo da taxa de frequência para todos eles. Além disso, esta amostra foi elaborada no início do ano letivo, quando a frequência é mais elevada. Por conseguinte, o Tribunal concluiu que as provas não eram fiáveis, visto que a amostra era enviesada.

Neste caso, a Comissão considerou que as metas foram alcançadas e procedeu ao pagamento integral.

Em quatro contratos, o Tribunal detetou cinco casos de indicadores¹¹ cujas metas tinham sido alcançadas após o prazo fixado nas convenções de financiamento. Além disso, relativamente a cinco indicadores adicionais¹², o Tribunal considera que os países parceiros não alcançaram as metas; no entanto, a Comissão considerou que estavam cumpridas. A caixa 12 apresenta exemplos dos dois casos.

Caixa 12

Metas alcançadas depois dos prazos, parcialmente alcançadas ou não alcançadas

A meta do indicador 5 do contrato de educação na Jordânia (contrato 1) foi alcançada após o prazo. Dizia respeito à construção de seis novas escolas até 2015. As escolas só foram concluídas em 2017 e a parcela variável foi paga em dezembro de 2017. A razão para este atraso considerável foi a morosidade dos procedimentos de adjudicação de contratos, que resultou na execução tardia das obras de construção pelas autoridades nacionais.

Para ter em conta estes atrasos, a Comissão alargou o período de execução do contrato até dezembro de 2017, mas não alterou o prazo previsto para a construção das escolas (2015).

A meta do indicador 6 do contrato de educação no Paquistão (contrato 23) incluía duas atividades: a elaboração do programa da disciplina de inglês e a aprovação de manuais escolares para determinados anos. O Tribunal constatou que apenas metade dos manuais escolares tinha sido aprovada na data do pedido de desembolso e, por conseguinte, considera que a segunda parte da meta não deveria ter sido considerada alcançada.

A meta para o indicador 1.7 do contrato agrícola na Geórgia (contrato 6) era a adoção de um programa nacional sobre regimes de certificação da produção biológica. O Governo considerou este indicador cumprido devido à adoção do seu programa nacional para a reabilitação das plantações de chá. No entanto, o objetivo declarado do programa é apoiar a utilização eficaz das plantações de chá na Geórgia, aumentar a produção de chá, incluindo a produção de chá biológico, e reforçar a autossuficiência e o potencial de exportação, não dizendo respeito aos sistemas de certificação biológica enquanto tal. O Tribunal considera que esta meta não foi alcançada, uma vez que o programa não visa especificamente a certificação de produtos biológicos. Esta foi também a posição do avaliador externo.

Em todos os casos anteriormente referidos, a Comissão procedeu ao pagamento integral.

O Tribunal detetou três casos em que a Comissão efetuou desembolsos em conformidade com as disposições das convenções de financiamento, uma vez que os países parceiros tinham alcançado as metas acordadas. No entanto, devido à utilização de valores de base ou de metas incorretamente definidos, não se registaram progressos reais nos setores em causa. A caixa 13 apresenta mais pormenores acerca de alguns destes casos.

Caixa 13

Metas fixadas com valores de base incorretos — não se registaram progressos reais

O indicador 7 do contrato de transportes na Etiópia (contrato 14) diz respeito à percentagem de camiões sobrecarregados. A meta fixada consistia em reduzir esta percentagem para 9 % em relação a um valor de base de 11 %. O resultado obtido no final do período examinado foi de 6 %. Por conseguinte, a meta foi alcançada e o montante correspondente foi pago em conformidade com as disposições da convenção de financiamento. Contudo, segundo as informações fornecidas pelo país parceiro no pedido de desembolso, o valor de base real era de 6 %. Na verdade, não se registaram quaisquer progressos na redução do número real de camiões sobrecarregados.

O segundo caso de um valor de base incorreto que deu origem a um pagamento sem que se tivessem registado progressos reais suficientes é o indicador 5 do contrato do setor energético no Ruanda (contrato 19). Este indicador mede a parte de eletricidade produzida a partir de fontes renováveis no cabaz energético. O valor de base utilizado no contrato era de 292 GWh produzidos em 2015. O valor real para o ano de referência estava errado. De acordo com os dados comunicados pelas autoridades nacionais, deveria ter sido de 368 GWh. A meta fixada para a parcela variável auditada era a produção de 14,5 GWh adicionais a partir de fontes de energia renováveis, em comparação com o valor de base. O resultado obtido para este indicador no período auditado foi de 361,5 GWh, dando origem ao pagamento do montante correspondente, apesar de ter havido uma diminuição da percentagem de eletricidade produzida a partir de fontes renováveis.

Para além das discrepâncias quantificadas no quadro 1, o Tribunal não conseguiu confirmar a correção de dois pagamentos de parcelas variáveis devido à falta de provas suficientes para justificar os valores comunicados relativamente a cinco indicadores¹³ (ver exemplos na caixa 14). Estes indicadores representam um montante desembolsado de 3,77 milhões de euros.

Caixa 14

Falta de provas suficientes

No contrato 5, que apoia a gestão das finanças públicas na Jordânia, o indicador 1.2 estava relacionado com as lacunas na formação do pessoal das Unidades de Controlo Interno (UCI) nos diferentes ministérios e agências nacionais. A meta consistia em formar o pessoal das UCI que não tinha participado na formação durante o ano anterior (não havia uma meta numérica). Um perito externo contratado pela Comissão concluiu que mais de 85 % do pessoal de todas as UCI participou num curso de formação adicional oferecido. Por conseguinte, concluiu que o indicador foi alcançado. Uma vez que o relatório do perito não especificava a forma como os 85 % foram calculados, não foi possível ao Tribunal repetir o cálculo nem confirmar que todas as lacunas foram cobertas pela formação. Não estavam disponíveis informações ou dados sobre o que estava incluído nos 85 %.

O indicador 3 do contrato relativo ao programa de desenvolvimento comunitário no Paquistão (contrato 22) media a parte das dotações orçamentais destinadas a projetos de desenvolvimento local orientados para a comunidade nas estimativas de custos das estratégias de desenvolvimento distrital. No entanto, não foi possível relacionar as estimativas dos custos distritais comunicadas com as estratégias de desenvolvimento distrital fornecidas como documento justificativo. Do mesmo modo, o relatório elaborado pelo perito contratado pela Comissão para avaliar este indicador não apresenta uma reconciliação entre as estimativas dos custos distritais e as estratégias de desenvolvimento distrital. Por conseguinte, o Tribunal não pôde confirmar os resultados comunicados.

Documentação insuficiente dos pagamentos à Moldávia

Embora não esteja diretamente relacionado com a verificação dos indicadores de desempenho, o Tribunal constatou que a Comissão pagou três parcelas variáveis à Moldávia, num montante total de 26,3 milhões de euros, sem documentar suficientemente os motivos subjacentes a esses pagamentos (ver caixa 15).

Caixa 15

Documentação dos pagamentos à Moldávia

As convenções de financiamento do apoio orçamental incluem o direito de a Comissão suspender a convenção de financiamento se o país parceiro em causa não cumprir uma obrigação relacionada com o respeito pelos direitos humanos, com os princípios democráticos e o Estado de direito, e em casos graves de corrupção (artigo 236.º, n.º 4, do Regulamento Financeiro aplicável ao orçamento geral da União, julho de 2018).

Devido a preocupações sobre a situação da democracia no país, em julho e outubro de 2017 a Comissão decidiu adiar o pagamento de várias parcelas variáveis, tendo declarado que o calendário do pagamento seria clarificado tendo em conta o respeito pelos mecanismos democráticos efetivos, o Estado de direito e os direitos humanos na Moldávia. A principal razão para esta decisão foi a adoção iminente da nova lei eleitoral na Moldávia, que não era coerente com as recomendações da Comissão de Veneza, um órgão consultivo do Conselho da Europa em questões de direito constitucional.

Não obstante, foi emitida uma autorização de pagamento em 11 de dezembro de 2017. Esta não se apoiava numa avaliação que demonstrasse a melhoria dos mecanismos democráticos e dos direitos humanos na Moldávia, que tinha sido a principal razão para reter o pagamento.

Conclusões e recomendações

O Tribunal examinou se a Comissão utilizou dados de desempenho pertinentes e fiáveis para o desembolso das parcelas variáveis de apoio orçamental, tendo concluído, relativamente a um terço dos indicadores de desempenho examinados, que a forma como foram concebidos enfraqueceu a sua pertinência e que não permitem medir os resultados de forma objetiva. Além disso, as avaliações da Comissão quanto à realização dos valores estabelecidos nos indicadores das parcelas variáveis nem sempre eram fiáveis, dando origem a alguns pagamentos sem justificação suficiente.

O Tribunal constatou que os indicadores de desempenho das parcelas variáveis estavam bem harmonizados com as estratégias de desenvolvimento setorial dos países parceiros. No entanto, a maior parte centrava-se em ações a curto prazo e não em resultados a mais longo prazo, incluindo progressos no sentido de alcançar os objetivos de desenvolvimento sustentável. Apenas 13 % dos 248 indicadores analisados pelo Tribunal mediam os resultados ou os impactos nos setores apoiados (ver pontos 22 a 25). A utilização de indicadores de resultados permitiria à Comissão medir melhor os resultados a mais longo prazo nos setores apoiados, incluindo os progressos na concretização dos Objetivos de Desenvolvimento Sustentável.

Recomendação 1 — Aumentar a utilização de indicadores de resultados nas parcelas variáveis

A Comissão deve aumentar a percentagem de parcelas variáveis pagas com base na concretização dos valores estabelecidos nos indicadores de resultados.

Prazo: final de 2021.

Mais de um terço dos indicadores foram definidos de forma vaga ou tinham valores de base incorretos, quando os tinham. Esta situação permitiu diferentes interpretações quanto à concretização das metas, tornando a análise dos pedidos de desembolso mais complexa e menos objetiva (ver pontos 26 a 32).

Recomendação 2 — Melhorar a formulação dos indicadores de desempenho

A Comissão deve reforçar as disposições de controlo da qualidade, a fim de assegurar que os indicadores de desempenho das parcelas variáveis permitem medir de forma objetiva os resultados alcançados pelos países parceiros. Deve ser dada especial atenção aos elementos seguintes:

utilização de indicadores de desempenho específicos e que não permitam interpretações diferentes;
utilização de valores de base e metas.

Prazo: final de 2021.

Um objetivo importante das parcelas variáveis de apoio orçamental é incentivar os países parceiros a realizarem progressos nos seus programas de reformas. A maioria das parcelas variáveis examinadas continha indicadores cujas metas atingiram o equilíbrio adequado entre ambição e possibilidade de realização, pelo que o Tribunal considera que tiveram o efeito de incentivo pretendido. As poucas exceções que o Tribunal detetou diziam respeito a indicadores com metas que eram facilmente alcançáveis, muitas vezes devido à utilização de valores de base incorretos, ou que tinham sido atingidas através do trabalho realizado por outros doadores ou por peritos externos pagos pela UE (ver pontos 33 e 34).

Recomendação 3 — Salvaguardar o efeito de incentivo das parcelas variáveis

A Comissão deve:

atualizar as informações dos valores de base antes da assinatura dos contratos ou corrigir esses valores durante a execução do contrato, se necessário, alterando o contrato de apoio orçamental;
evitar situações em que o país parceiro atinja as metas exclusivamente devido à assistência técnica financiada pela UE.

Prazo: final de 2021.

O número de indicadores utilizados em cada parcela variável era frequentemente demasiado elevado, ultrapassando o número recomendado pelas Linhas de Orientação da Comissão. Este facto tornou o processo de desembolso ainda mais complicado (ver ponto 35).

Recomendação 4 — Simplificar o processo de desembolso das parcelas variáveis

A Comissão deve evitar utilizar subindicadores para limitar o número real de indicadores ao máximo estabelecido nas Linhas de Orientação.

Prazo: final de 2021.

Os pedidos de pagamento das parcelas variáveis contêm dados de desempenho que mostram o grau de cumprimento das condições e dos indicadores de desempenho acordados. Uma vez que estes pedidos são elaborados pelos países parceiros, a fiabilidade dos dados de desempenho subjacentes depende da capacidade destes países para os produzir. O Tribunal constatou que, de um modo geral, a Comissão avaliou a capacidade dos países parceiros examinando os principais elementos dos seus sistemas de acompanhamento e avaliação, tal como exigido pelas suas Linhas de Orientação do Apoio Orçamental. No entanto, em apenas 5 dos 24 contratos selecionados a Comissão tirou conclusões sobre a fiabilidade dos dados de desempenho necessários para calcular os indicadores de parcela variável (ver pontos 36 a 41). Retirar uma conclusão sobre a fiabilidade dos dados é importante para a seleção dos indicadores, o acompanhamento e a análise dos pagamentos.

Recomendação 5 — Melhorar as avaliações da capacidade dos países para fornecerem dados de desempenho utilizados nas parcelas variáveis

Ao conceber uma operação de apoio orçamental, a Comissão deve avaliar a fiabilidade dos dados de desempenho, que serão utilizados como base para o pagamento de uma parcela variável. A avaliação deve chegar a uma conclusão explícita sobre se os sistemas utilizados para produzir estes dados são suficientemente fiáveis ou não e pode basear-se nas avaliações existentes efetuadas por outros organismos reconhecidos.

Prazo: final de 2021.

O Tribunal constatou que as delegações da UE aplicaram diversos procedimentos de verificação ao analisar os pedidos de desembolso. Em alguns casos, o pessoal das delegações da UE efetuou visitas no terreno para verificar os dados fornecidos pelos países parceiros, enquanto noutros casos confiou plenamente nesses dados ou nos exames externos realizados por peritos em nome da Comissão, sem mais verificações. Esta prática não oferece a garantia necessária para justificar os pagamentos das parcelas variáveis posteriores (ver pontos 42 a 46).

Recomendação 6 — Melhorar a verificação dos dados de desempenho usados para desembolsar parcelas variáveis

A Comissão deve:

analisar as provas subjacentes que justificam os dados de desempenho fornecidos pelos países parceiros no pedido de desembolso, a menos que já tenha concluído expressamente que esses dados são fiáveis;
quando recorrer a exames externos, exigir nos cadernos de encargos a verificação da fiabilidade dos principais dados de desempenho fornecidos pelos países parceiros. Antes de pagar a parcela variável, verificar se os peritos cumpriram este requisito.

Prazo: final de 2021.

Quando o Tribunal repetiu as avaliações da Comissão relativas à realização dos indicadores e calculou novamente os pagamentos de parcelas variáveis, detetou discrepâncias em relação aos montantes pagos pela Comissão. Globalmente, com base nas informações disponíveis sobre o desempenho, num montante total de 234 milhões de euros de pagamentos de parcelas variáveis examinados, o Tribunal estima que as discrepâncias se elevam a 16,7 milhões de euros. Deste montante, 13,3 milhões de euros não estavam suficientemente justificados ou não cumpriam as disposições contratuais. Foi pago um montante de 3,4 milhões de euros sem que se tivessem registado progressos reais. Além disso, foram pagos à Moldávia 26,3 milhões de euros relativos a três parcelas variáveis sem que existisse documentação suficiente dos motivos subjacentes a estes pagamentos (ver pontos 47 a 53).

O presente relatório foi adotado pela Câmara III, presidida por Bettina JAKOBSEN, Membro do Tribunal de Contas, no Luxemburgo, na sua reunião de 12 de novembro de 2019.

Pelo Tribunal de Contas

Klaus-Heiner Lehne
Presidente

Anexos

Anexo I — Parte do apoio orçamental nos compromissos bilaterais de ajuda pública ao desenvolvimento

Países	2014	2015	2016	2017	Média (2014-2017)
Áustria	0,69 %	1,01 %	0,10 %	1,24 %	0,76 %
Bélgica	2,50 %	1,85 %	1,41 %	0,15 %	1,48 %
Chéquia	1,52 %	0,00 %	0,00 %	0,44 %	0,49 %
Dinamarca	3,83 %	0,00 %	0,73 %	0,91 %	1,36 %
Finlândia	3,75 %	3,89 %	0,00 %	2,98 %	2,65 %
França	2,86 %	1,86 %	6,11 %	9,30 %	5,03 %
Alemanha	1,29 %	4,55 %	2,12 %	3,42 %	2,84 %
Grécia	1,04 %	0,00 %	0,00 %	0,00 %	0,26 %
Hungria	n/d	0,65 %	0,00 %	0,00 %	0,22 %
Irlanda	2,30 %	3,76 %	0,00 %	0,00 %	1,52 %
Itália	1,28 %	0,40 %	0,24 %	0,56 %	0,62 %
Luxemburgo	3,21 %	0,81 %	2,93 %	1,98 %	2,23 %
Países Baixos	0,67 %	0,00 %	0,00 %	0,00 %	0,17 %
Polónia	0,00 %	0,00 %	0,00 %	0,00 %	0,00 %
Portugal	0,55 %	0,71 %	0,52 %	0,58 %	0,59 %
Eslováquia	0,00 %	0,00 %	0,00 %	0,00 %	0,00 %
Eslovénia	0,00 %	0,00 %	0,00 %	0,00 %	0,00 %
Espanha	1,33 %	1,29 %	0,17 %	0,30 %	0,77 %
Suécia	2,39 %	0,13 %	0,00 %	1,96 %	1,12 %
Reino Unido	2,09 %	1,21 %	0,18 %	0,01 %	0,87 %
Comissão Europeia	9,31 %	12,71 %	14,67 %	9,08 %	11,45 %

Média da UE	2,03 %	1,66 %	1,39 %	1,57 %	1,66 %
Média da UE sem as instituições	1,65 %	1,11 %	0,73 %	1,19 %	1,17 %

Fonte: TCE, com base em https://stats.oecd.org/

Anexo II — Contratos auditados

	Número do contrato	País	Setor apoiado
Contrato 1	282613	Jordânia	Educação
Contrato 2	365198		Educação
Contrato 3	377271		Energia
Contrato 4	389306		Energia
Contrato 5	357967		Gestão das finanças públicas
Contrato 6	387662	Geórgia	Agricultura
Contrato 7	344313		Ensino profissional
Contrato 8	361908		Reforma da política das finanças públicas
Contrato 9	363227	Bolívia	Luta contra a droga
Contrato 10	368977		Água
Contrato 11	337591		Agricultura
Contrato 12	377182		Agricultura
Contrato 13	383001	Etiópia	Saúde
Contrato 14	367551	Etiópia	Transportes
Contrato 15	348701	Moldávia	Plano de ação para a liberalização do regime de vistos
Contrato 16	353323		Reforma da política das finanças públicas
Contrato 17	371907		Agricultura
Contrato 18	376376	Ruanda	Agricultura
Contrato 19	375269		Energia
Contrato 20	364033		Ambiente
Contrato 21	357701	Vietname	Saúde
Contrato 22	337112	Paquistão	Agricultura
Contrato 23	289807		Educação
Contrato 24	356359		Educação

Anexo III — Pagamentos de parcelas variáveis em 2017 relativos a contratos de desempenho da reforma setorial

Países	Total da parcela variável de 2017 (em euros)	%	Setores auditados	Montantes auditados (em euros)
Marrocos	120 984 995	18,75 %
Jordânia	69 506 667	10,77 %	Educação, Energia, Reforma da Administração Pública	45 750 000
Geórgia	37 900 000	5,87 %	Agricultura, Emprego, Finanças Públicas	19 400 000
Bolívia	32 800 000	5,08 %	Agricultura, Luta contra a Droga, Água e Saneamento	32 800 000
Etiópia	29 520 000	4,57 %	Saúde, Transportes	29 520 000
Moldávia	29 345 111	4,55 %	Agricultura, Justiça, Finanças Públicas	26 345 111
Ruanda	27 667 500	4,29 %	Agricultura, Energia, Ambiente	27 667 500
Vietname	27 000 000	4,18 %	Saúde	27 000 000
Paquistão	25 665 625	3,98 %	Agricultura, Educação	25 665 625
Tunísia	25 000 000	3,87 %
Albânia	20 775 000	3,22 %
Níger	17 850 000	2,77 %
Bangladeche	16 500 000	2,56 %
Colômbia	15 000 000	2,32 %
Botsuana	14 510 000	2,25 %
Honduras	12 030 000	1,86 %
África do Sul	10 466 458	1,62 %
Senegal	10 450 000	1,62 %
Burquina Faso	9 700 000	1,50 %
Quirguistão	9 500 000	1,47 %
Argélia	9 000 000	1,39 %
Benim	8 000 000	1,24 %
Indonésia	7 500 000	1,16 %
Ucrânia	7 500 000	1,16 %
Camboja	7 200 000	1,12 %
Arménia	7 000 000	1,08 %
Gana	6 200 000	0,96 %
Nepal	6 000 000	0,93 %
Peru	5 880 000	0,91 %
Gronelândia	4 634 634	0,72 %
Laos	4 000 000	0,62 %
Guiana	3 800 000	0,59 %
República Dominicana	2 687 500	0,42 %
Samoa	2 360 238	0,37 %
Ilhas Falkland	1 000 000	0,15 %
Tonga	375 000	0,06 %
TOTAL	645 308 728	100 %

Fonte: TCE (indicam-se a negrito os países selecionados para a auditoria).

Anexo IV — Síntese da avaliação

	BOLÍVIA				ETIÓPIA		PAQUISTÃO			RUANDA			VIETNAME
	Contrato 9	Contrato 10	Contrato 11	Contrato 12	Contrato 13	Contrato 14	Contrato 22	Contrato 23	Contrato 24	Contrato 18	Contrato 19	Contrato 20	Contrato 21
Avaliação abrangente das capacidades?	N	N	N	P	N	P	N	N	N	P	P	N	P
Número de indicadores (por parcela anual de 2017)	8	10	8	6	6	10	6	8	8	8	7	4	8
Número de indicadores pagos em 2017 dos anos anteriores	0	0	0	0	0	0	0	0	0	0	4	0	0
Metas independentes	24	10	12	12	6	10	6	8	15	8	11	4	12
Indicadores não específicos	1	1	2	2	1	1	1	1	2	0	0	0	0
Sem valores de base (o TCE considera que devia existir um valor de base)	0	0	0	0	0	0	0	0	0	0	0	0	0
Valor de base errado	1	0	0	0	1	10	0	0	1	0	1	2	0
Meta demasiado modesta	1	1	0	0	0	1	0	0	2	0	0	1	0
As delegações da UE realizaram uma visita no terreno para avaliar o cumprimento das condições?	N	N	S	S	N	S	N	N	N	S	N	S	N
Foram contratados peritos externos para avaliar o cumprimento das condições?	N	N	N	N	N	N	S	S	S	S	N	N	S
Erros aritméticos nos pagamentos?	N	N	N	N	N	N	N	N	N	N	N	N	N
A metodologia para o cálculo do pagamento foi aplicada corretamente?	S	S	S	S	N	S	S	N	N	S	S	S	S
Discrepâncias em relação à avaliação do TCE quanto às metas/sub-metas alcançadas	2.2 e 3.3	3.1 e 5	N	N	N	7	N	5, 6 e 8	4, 6.2 e 6.3	N	5	2 e 4	N
Discrepâncias em relação à avaliação do TCE quanto ao montante a pagar	Impacto apenas em novos pagamentos	Sem impacto no pagamento Desempenho >80 %	N	N	N	2 milhões de euros	N	1,50 milhões de euros	3,47 milhões de euros	N	1,2 milhões de euros	0,57 milhões de euros	N

	GEÓRGIA			JORDÂNIA				MOLDÁVIA
	Contrato 6	Contrato 7	Contrato 8	Contrato 1	Contrato 2	Contratos 3/4	Contrato 5	Contrato 15	Contrato 16	Contrato 17
Avaliação abrangente das capacidades?	N	S	S	N	N	S	P	S	S	P
Número de indicadores (por parcela anual de 2017)	11	15	14	0	5	9	10	34	12	28
Número de indicadores pagos em 2017 dos anos anteriores	0	3	0	2	0	0	0	3	0	0
Metas independentes	12	34	21	2	6	10	20	95	22	39
Indicador não específico	0	7	3	2	0	1	5	35	4	4
Sem valores de base (o TCE considera que devia existir um valor de base)	1	5	3	0	0	0	0	0	0	6
Valor de base errado	1	0	0	1	1	0	1	0	0	0
Metas demasiado modestas	0	0	1	0	0	0	0	0	3	0
As delegações da UE realizaram alguma(s) visita(s) no terreno para avaliar o cumprimento das condições?	S	S	S	S	S	N	S	S	S	S
Foram contratados peritos externos para avaliar o cumprimento das condições?	S	S	S	S	S	S	S	S	S	S
Erros aritméticos nos pagamentos?	N	N	N	S	N	N	N	S	N	N
A metodologia para o cálculo do pagamento foi aplicada corretamente?	S	S	S	S	N	S	N	N	S	S
Discrepâncias em relação à avaliação do TCE quanto às metas/sub‑metas alcançadas	indicadores 1.2 e 1.7	N	N	indicador 5	N	N	N	S (todos os indicadores)	N	N
Discrepâncias em relação à avaliação do TCE quanto ao montante a pagar	1 milhão de euros	N	N	6 milhões de euros	N	N	N	5,1 milhões de euros	6,4 milhões de euros	14,8 milhões de euros

NOTA: S: Sim; N: Não; P: Parcialmente.

Respostas da Comissão

Síntese

O apoio orçamental é considerado um pacote que inclui a transferência financeira, o diálogo político, o reforço das capacidades e o acompanhamento do desempenho. Estes elementos são importantes para a eficácia do instrumento. As parcelas fixas estão sujeitas à realização de progressos relativamente às condições gerais decorrentes dos critérios de elegibilidade do apoio orçamental, enquanto o montante das parcelas variáveis será proporcional ao desempenho relativamente a alguns indicadores específicos.

As linhas de orientação do apoio orçamental definem os critérios a aplicar aquando da definição dos indicadores da parcela variável e o respetivo processo de verificação. É dada preferência à adoção de indicadores bem definidos relativamente às políticas e quadros de acompanhamento do desempenho dos países parceiros.

III

Uma vez que os indicadores da parcela variável são concebidos para serem medidos numa base anual, os objetivos a cumprir são, essencialmente, de curto prazo. A Comissão deve identificar objetivos que possam ser razoavelmente alcançados de um ano para o outro. Tal não impede uma maior utilização de indicadores de resultados, especialmente em setores que beneficiaram de assistência da UE de longo prazo, mas é necessário assegurar a combinação de diferentes tipos de indicadores.

A base de dados da Comissão que integra todos os indicadores de desempenho utilizados nos contratos de apoio orçamental de 2014-2018 mostra que uma combinação equilibrada de diferentes tipos de indicadores: recursos, processos, realizações e resultados/resultados a mais longo prazo, são ou foram utilizados. A amostra auditada continha mais programas aprovados antes de 2014 e, por conseguinte, menos centrada nos resultados a mais longo prazo.

As linhas de orientação do apoio orçamental recomendam a utilização de três a dez indicadores. A Comissão reforçará a mensagem de que um elevado número de indicadores pode conduzir a uma perda de concentração estratégica e a uma avaliação mais complicada do pedido de desembolso. No entanto, em casos excecionais, poderão ser aceites mais de dez indicadores, se o quadro político e as preferências dos países parceiros o justificarem.

A Comissão considera que a fiabilidade do sistema estatístico dos países parceiros é analisada na avaliação do cumprimento dos critérios de elegibilidade das políticas públicas para o apoio orçamental e deve também ser determinada no quadro de gestão dos riscos. O modelo da nota de desembolso, recentemente revisto, exige a comunicação de informações atualizadas sobre a capacidade analítica do país e a qualidade dos dados, juntamente com cada pedido de desembolso.

A Comissão considera que o pagamento à Moldávia teve em conta a evolução positiva da situação a nível do respeito dos mecanismos democráticos efetivos, do Estado de direito e dos direitos humanos na Moldávia no momento do pagamento, mas poderia ter sido mais bem documentado.

VII

Primeiro travessão: A Comissão aceita a recomendação.

Segundo travessão: A Comissão aceita a recomendação.

Terceiro travessão: A Comissão aceita a recomendação.

Quarto travessão: A Comissão aceita a recomendação.

Quinto travessão: A Comissão aceita a recomendação.

Sexto travessão: A Comissão aceita a recomendação.

Introdução

Ver resposta à síntese — ponto I.

Para além da promoção dos resultados, utilizando igualmente os sistemas dos países e adaptando-se às políticas dos países, o apoio orçamental também fomenta a responsabilização a nível nacional.

Observações

A Comissão confirma que os pagamentos de apoio orçamental são efetuados ex post para recompensar o bom desempenho. Neste contexto, tal como o TCE corretamente salienta, as condições gerais, ou seja, os progressos na aplicação da política pública relevante, a reforma da gestão das finanças públicas, a transparência e a estabilidade macroeconómica, são todas importantes para a avaliação dos resultados.

A conceção das parcelas variáveis deve ser adaptada ao contexto nacional e político. Os indicadores devem ser escolhidos em função da sua relevância neste contexto. Deve ser dada preferência a indicadores de resultados sempre que possível e, em geral, deve utilizar-se uma combinação de diferentes tipos de indicadores, incluindo indicadores de recursos.

A frequência anual dos pagamentos de apoio orçamental, bem como a capacidade dos países parceiros para controlar os resultados e o impacto, devem ser tidos em conta aquando da definição de indicadores.

Uma avaliação interna da Comissão do conjunto completo de indicadores utilizados em parcelas variáveis (um total de 3 642 indicadores), abrangendo o período de 2014 a 2018, mostra que 33,7 % dos indicadores são indicadores de resultados, 26,8 % indicadores de realizações, 35,4 % de indicadores de processos e a pequena percentagem remanescente (4,1 %) é constituída por indicadores de recursos e de impacto.

A amostra auditada continha mais programas aprovados antes de 2014 e, por conseguinte, menos centrados nos resultados a mais longo prazo. Uma utilização mais equilibrada dos diferentes indicadores é a prática atual.

A seleção dos indicadores está também relacionada com a maturidade da política pública e com uma série de questões de contexto específicas (problemas de atribuição, governação setorial, divisão do trabalho entre os parceiros de desenvolvimento, etc.).

Note-se que, desde 2017, a Jordânia já não é considerada um país de rendimento médio alto, mas sim um país de rendimento médio baixo, de acordo com a classificação do Banco Mundial.

A Comissão considera que os indicadores de recursos podem desempenhar um papel útil em certos casos e, nas fases iniciais da reforma, ajudam a definir as condições para os resultados a mais longo prazo. Nos programas de apoio orçamental desde 2014, a percentagem de indicadores de recursos utilizados nas parcelas variáveis é de apenas 4 % (ver resposta ao ponto 22).

Os indicadores de processos são importantes para avaliar os progressos a nível das capacidades e da boa governação de um setor. Além disso, aquando da apreciação de todo o programa de apoio orçamental, os aspetos qualitativos são analisados aquando da avaliação dos progressos na execução global da política pública. Podem também ser abordados através do diálogo e do reforço das capacidades, daí a importância de não reduzir o impacto do apoio orçamental apenas aos indicadores da parcela variável.

Caixa 2 — Exemplos de indicadores de processos sem especificações qualitativas

Relativamente à Moldávia (contrato 15: plano de ação para a liberalização do regime de vistos)

O plano de ação para a liberalização do regime de vistos é um exercício controlado de perto pelas instituições europeias e pelos Estados-Membros, com base num sistema de acompanhamento externo (UE) muito forte. Embora não exista qualquer referência na matriz política do quadro regulamentar a adotar, a qualidade do quadro está claramente definida no acervo comunitário conexo, pelo que o quadro (critérios de referência para a liberalização do regime de vistos) é definido noutros documentos. Note-se que foram apresentados ao Parlamento e ao Conselho cinco relatórios sobre o plano de ação para a liberalização do regime de vistos, que revelam progressos satisfatórios.

Relativamente à Jordânia (contrato 4: apoio à energia)

O objetivo desta meta consistia em assegurar que a estrutura de diálogo político fosse estabelecida e ficasse operacional (o que significa que se reunisse periodicamente e não apenas instituída administrativamente). A fim de assegurar a apropriação por parte do Governo, a Comissão autorizou o país parceiro a decidir da estrutura, composição e frequência exatas das reuniões.

A Comissão salienta que as conclusões do TCE relativas a indicadores insuficientemente específicos resultam de uma série de razões subjacentes, como ilustram os exemplos referidos no ponto 28 e na caixa 3. Na maioria dos casos, estas não conduziram a conclusões diferentes relativamente à avaliação do indicador pelo TCE e pela Comissão.

Caixa 3 — Exemplos de indicadores/metas não específicos

Relativamente à Jordânia (contrato 1):

O perito externo que analisou o cumprimento do objetivo não desenvolveu plenamente os seus próprios critérios e baseou-se em critérios já especificados nas Disposições Técnicas e Administrativas (DTA) da convenção de financiamento para determinar se o equipamento escolar era adequado, como o facto de as escolas serem construídas e equipadas de acordo com as orientações relativas à Jordânia de 2018 e dotadas de painéis solares para os aquecedores de água e outros sistemas de energias renováveis e de eficiência energética. As DTA estabelecem igualmente que os professores recém-nomeados terão seguido, pelo menos, o curso de formação dos professores.

Além disso, o caráter «adequado» dos meios/ambientes de aprendizagem e dos recursos humanos nessas escolas teve de ser flexível para se adaptar a uma situação de crise muito fluida, com centenas de milhares de novos alunos refugiados que precisavam de ser integrados nas escolas. Por último, o caráter «adequado» foi debatido em pormenor durante o diálogo político periódico realizado entre a Delegação da UE e o Ministério da Educação.

Relativamente à Geórgia (contrato 8):

O objetivo específico do indicador era sensibilizar as partes interessadas para as regras orçamentais e a governação orçamental. Os meios de interpretação foram as atas das reuniões e as entrevistas com as partes interessadas. O indicador visa promover uma cultura de transparência e de responsabilização perante os cidadãos. A avaliação foi exaustiva e analisou as atas das reuniões e as entrevistas com as partes interessadas.

Caixa 4 — Medir a qualidade da educação — um bom exemplo

Esta prática de medição de indicadores relacionados com a qualidade do ensino é essencial e o modelo iniciado no quadro deste programa de apoio orçamental foi posteriormente reproduzido por outros doadores na Jordânia. Continua a ser um aspeto essencial de todo o apoio subsequente ao sistema de educação da Jordânia, prestado pela UE desde então.

Este indicador faz agora parte do Plano Estratégico para a Educação 2018-2022 e a unidade responsável do Ministério da Educação recebeu formação sobre a metodologia a seguir para aplicar as avaliações a nível nacional.

É importante salientar, contudo, que a recolha de dados para um indicador deve fazer parte do exercício periódico de recolha de dados do país, evitando a utilização de métodos ocasionais, dispendiosos e morosos aplicados apenas para efeitos do programa de apoio orçamental.

A Comissão concorda com a definição de valores de base para os indicadores para os quais são relevantes e, se necessário, atualizados.

Ver resposta da Comissão ao ponto 30.

A Comissão concorda que os valores de base devem ser atualizados com os dados relevantes, sempre que possível, tendo em conta os custos das transações decorrentes da alteração dos contratos de apoio orçamental.

Caixa 6 — Exemplos de indicadores com valores de base inexistentes ou incorretos

Relativamente à Geórgia (contrato 7):

O contrato «Emprego e ensino e formação profissional» inclui quatro indicadores que se referem a um aumento (por exemplo, das ações de formação) ao longo do tempo. Em dois casos, a convenção de financiamento refere-se a um valor de base de 31 de dezembro de 2013, que não estava disponível no momento da assinatura da convenção de financiamento.

No que se refere ao caso específico mencionado, não foram definidos valores de base para os indicadores da convenção de financiamento. Por conseguinte, foi necessário recorrer a fontes adicionais para avaliar o indicador 2.2.1 (aumento de 15 % dos professores que recebem formação inicial em conformidade com a nova política de desenvolvimento EFP) e do indicador 2.2.2 (15 % dos professores que recebem formação ao longo da vida). Dado que os indicadores não tinham valores de base, a tendência crescente poderia ter sido considerada por si só suficiente para o pagamento. Por conseguinte, os avaliadores e a Comissão consideraram a evolução no setor para alcançar uma conclusão significativa, dada a natureza do indicador.

Relativamente à Bolívia (contrato 9):

Note-se que, embora os objetivos para 2016 sejam menos ambiciosos em comparação com o valor de base, os objetivos para 2017 e 2018 eram mais exigentes, garantindo assim os resultados pretendidos.

A Comissão salienta que o reforço das capacidades da UE tem geralmente por objetivo contribuir para o aumento sustentável das capacidades nos países parceiros, mesmo após o termo do programa de apoio orçamental. O seu âmbito é mais vasto e complementa em vez de substituir o incentivo proporcionado pelos indicadores. A Comissão considera que foi esse o caso dos três contratos mencionados pelo TCE.

Caixa 7 — Exemplos de indicadores com metas fáceis de alcançar

É importante sublinhar que os indicadores 4 «Reforço do Observatório da Droga da Bolívia» e 7 «Desenvolvimento do quadro institucional do CONALTID» (Consejo Nacional de lucha contra el tráfico ilícito de drogas) dizem ambos respeito ao reforço do papel do CONALTID no que respeita à coordenação interinstitucional, a fim de melhorar a eficácia da estratégia apoiada.

Dada a anterior falta de coordenação interinstitucional, este indicador é uma alternativa útil para medir o nível de empenhamento do Governo relativamente à estratégia.

Embora o indicador (no contrato 9) possa parecer modesto, é muito importante num dado contexto, uma vez que incentiva a necessária coordenação entre os diferentes ministérios envolvidos na luta contra o tráfico de droga e a criminalidade associada. É um exemplo em que, tendo conhecimento do contexto local, a Delegação da UE reconheceu a importância de consolidar a função de coordenação de uma nova instituição (CONALTID). A ambição de um indicador deve, por conseguinte, ser avaliada no contexto específico. O mesmo se aplica ao indicador 4, que é considerado uma prova de que o CONALTID estava a desempenhar o seu papel de coordenação e de que o sistema de monitorização estava a funcionar de forma sustentável.

O número de indicadores no âmbito do plano de ação para a liberalização do regime de vistos da Moldávia decorre do diálogo político e do acordo subsequente com o país parceiro. Neste caso específico, foi dada preferência à inclusão de todos os indicadores na matriz política do Governo. Tal foi considerado pelas autoridades um incentivo adicional à execução de todo o plano de ação.

Caixa 8 — Elevado número de indicadores

A matriz política na Moldávia inclui sete condições ou indicadores principais (conforme estabelecido na convenção de financiamento), correspondentes a sete domínios da estratégia nacional. Existem subsequentemente 28 subindicadores, que são específicos e relevantes para a boa execução da estratégia.

Na fase de conceção, a Comissão avalia a informação relativa à fiabilidade dos dados a fim de decidir qual a fonte de verificação mais adequada e quando esta está disponível. As deficiências do sistema estatístico dos setores apoiados requerem medidas de atenuação, por exemplo, a análise por peritos externos ou a assistência complementar da UE (ou de outros doadores) para melhorar a capacidade estatística.

Ver respostas da Comissão ao ponto V.

A Comissão considera que, ao combinar a análise do critério de elegibilidade das políticas públicas e do quadro de gestão dos riscos, pode obter informações suficientes sobre a qualidade do sistema de acompanhamento e avaliação do país parceiro.

É utilizada uma série de procedimentos de verificação para garantir um nível de garantia que justifique os pagamentos posteriores. Ver ponto 43.

Para cada pagamento, a Comissão aplica uma combinação dos diferentes tipos de procedimentos de verificação para avaliar a conformidade. A análise documental de todos os documentos comprovativos é efetuada para cada pagamento pelos serviços das delegações e da sede. Quando necessário, podem também ser efetuadas visitas no terreno. Do mesmo modo, quando a natureza das informações é altamente especializada, ou quando a avaliação da consecução dos objetivos requer uma avaliação qualitativa sólida, podem ser recrutados peritos externos.

As missões de peritos externos devem ser utilizadas a título complementar. O seu valor acrescentado decorre da sua independência e das competências adicionais, não devendo substituir a verificação e a decisão diretas pela Delegação, mas sim permitir a verificação cruzada dos resultados.

A Comissão partilha a análise do TCE de que a qualidade dos dados dos países parceiros deve ser um fator importante na utilização de peritos para verificação. No entanto, o recurso a peritos externos pode justificar-se mesmo que o sistema de controlo do país seja fiável. Em certos casos, a UE necessita de competências altamente técnicas para verificar os critérios específicos relevantes para o cálculo dos indicadores.

O apoio orçamental, enquanto instrumento de parceria e confiança, tem êxito em vários setores, dependendo os parceiros para o desenvolvimento dos relatórios periódicos dos países parceiros.

A Comissão considera que, nos casos em apreço, os documentos comprovativos fornecidos pelo parceiro de execução, combinados com a avaliação do perito externo e os esclarecimentos sobre a procura por parte das autoridades, forneceram informações suficientes para verificar e chegar a uma conclusão sobre a fiabilidade dos dados.

Caixa 10 — Exemplos de lacunas detetadas no trabalho dos peritos externos

a) A amostragem para o contrato 2 na Jordânia foi realizada em estreita colaboração com outros parceiros relevantes, incluindo a UNESCO. Os critérios de seleção das amostras basearam-se em elementos, nomeadamente:

Escolas públicas do Ministério da Educação nas zonas urbanas (incluindo escolas arrendadas);
Escolas e espaços de aprendizagem nos campos de refugiados;
Escolas de turnos duplos e únicos (alta densidade);
Representação dos ciclos primário e secundário;
Representação na amostra-piloto do SIGE (OpenEMIS, UNESCO);
Correlação de escolas selecionadas com a concentração de refugiados sírios na região/na cidade.

Assim, foram apresentadas propostas para a inclusão das escolas para ter disponível uma ampla variedade de critérios e para assegurar a inclusão de 8 direções com uma elevada concentração de estudantes sírios. O Ministério da Educação não esteve diretamente envolvido na seleção das escolas para a amostra, a fim de evitar eventuais enviesamentos no processo de seleção. Em vez disso, foi a equipa de consultores, juntamente com a UNESCO, que apresentou as propostas após a sua seleção a partir da base de dados das escolas (e não dados SIGE, que não estava funcional nessa altura), devendo o Ministério da Educação evidentemente aprovar a amostra para facilitar o acesso às escolas.

b) Todas as 30 escolas foram incluídas na base de dados para a missão de verificação no terreno; no entanto, o correspondente relatório de missão apenas mencionava 17 escolas (páginas 14 e 16/17), uma vez que, na altura da missão, só estavam disponíveis dados SIGE para aquelas 17 escolas. As conclusões tiradas pelos peritos externos basearam-se assim na melhor amostra disponível nessa altura.

d) Os consultores analisaram os registos escolares efetivos e a inscrição efetiva no dia da visita, tendo sido isso que foi registado na base de dados, nas respetivas colunas. A Comissão considera que tais diferenças são esperadas num contexto de crise muito fluido, em que a população escolar e a assiduidade estavam em constante mudança.

No que se refere ao Paquistão, a Comissão concorda que, para quatro indicadores (indicadores 5 e 6 do contrato 23 e indicadores 4 e 6.3 do contrato 24), os elementos que sustentam os resultados apresentavam deficiências e serão corrigidos no futuro.

Relativamente ao contrato 23 (Programa de educação de Sinde), indicador 8, a Comissão considera que os elementos apresentados apoiavam a realização dos objetivos.

Para o indicador 8, considerou-se que o objetivo foi realizado com base no plano de trabalho anual do PEACE (Centro Provincial de Avaliação da Educação), com um orçamento proposto para os programas PEACE e SESLOAF, bem como com base na página 74 do «Relatório sobre a conclusão da execução do programa SESLOAF de ensino em Sinde», do qual ressalta que o SESLOAF foi executado para melhorar a aprendizagem dos estudantes.

A Comissão aceita que o indicador poderia ter sido formulado de forma mais clara, o que levou a diferentes cálculos, o que apenas conduz a diferenças marginais nos resultados obtidos. No entanto, independentemente do método utilizado, os resultados alcançados são significativos em termos de reforço do sistema de vales, de que resultou um número muito superior de crianças a frequentar a escola.

Para o indicador 4, a Comissão concorda que existem pequenas anomalias nas estatísticas disponíveis. Esta deficiência já foi identificada no momento da identificação e da formulação dos projetos. Por conseguinte, a Comissão prestou assistência técnica ao Sistema de Informação de Gestão da Educação (SIGE) para resolver este problema. Por conseguinte, a Comissão tomou as medidas adequadas e eficazes para atenuar o risco decorrente das deficiências identificadas nas estatísticas.

No que diz respeito à Geórgia e à referência à legislação relativa às sementes, indicador 1.2 (contrato 6), a Comissão reconhece o ligeiro atraso de dois meses. A Comissão considerou que o tempo adicional foi utilizado para melhorar a qualidade do processo (mais participativo e inclusivo, com a participação de todas as partes interessadas) e a qualidade dos resultados (a legislação relativa às sementes cumpre agora as normas internacionais e da UE e estabelece bases sólidas para um setor bem regulamentado). Além disso, a Comissão teve em consideração a decisão do Governo de acelerar as atividades destinadas a compensar a adoção tardia da lei e assegurar uma aplicação rápida (preparação de legislação secundária, mesmo antes da adoção formal da lei, prazo reduzido para a certificação do trigo, apenas 6 meses após a entrada em vigor da legislação relativa às sementes). Tendo em conta o que precede, a Comissão decidiu que, apesar do curto atraso, esses esforços deveriam ser recompensados.

Caixa 11 — Apresentação de provas incorretas

No que diz respeito aos elementos fornecidos para o indicador 6.3 do contrato de educação no Paquistão (contrato 24), não é a assistência técnica que determina a interpretação dos elementos exigidos.

A convenção de financiamento não especifica um método de amostragem para a medição da taxa de participação. Por conseguinte, a Comissão baseou-se nos resultados da taxa de frequência escolar já obtidos, que eram superiores ao valor-alvo, tendo assim considerado o objetivo alcançado.

A Comissão considera que, em três dos cinco casos (indicador 1.2 do contrato 6, indicador 2.1 e 2.2 do contrato 16), o ligeiro atraso de um a três meses no cumprimento do prazo deveu-se a medidas qualitativas adicionais realizadas pela autoridade de execução para assegurar um desempenho de elevada qualidade (ou seja, a conceção de uma lei adotada em conformidade com as melhores práticas da administração pública na sequência de um processo de consulta extensivo) e não teve repercussões nas fases subsequentes da reforma.

Teria sido contraproducente não reconhecer os méritos dos esforços adicionais do parceiro, insistindo num prazo difícil. No quarto caso (indicador 5 do contrato 1), ver resposta à caixa 12.

Caixa 12 — Metas alcançadas após os prazos ou não alcançadas de todo

Relativamente à Jordânia (contrato 1):

Em 2015, o contrato foi prorrogado até ao final de 2017 especificamente para permitir ao Governo finalizar a construção de seis escolas e o cumprimento do indicador 2.2, tal como permitido pelas disposições técnicas e administrativas da convenção de financiamento que declara (artigo 2.º, n.º 2) que, no caso de uma parte dos fundos ter de ficar por utilizar, o beneficiário e a Comissão Europeia podem acordar num desembolso adicional baseado numa avaliação dos objetivos pendentes, efetuada segundo os mesmos princípios utilizados para as duas parcelas variáveis anteriores. Caso se justifique, este desembolso adicional será efetuado até à data final da fase de execução operacional e poderá ser acrescentado ao último pagamento da parcela variável. Foi esse o caso.

1/ O prazo inicial de dois anos foi fixado num contexto político de apoio à crise numa situação excecional. Foi muito ambicioso, tendo em conta os prazos exigidos para o concurso público de obras e o esforço exigido para a construção e o equipamento de seis escolas. Tal foi reconhecido pelas autoridades jordanas que solicitaram proativamente a prorrogação do prazo no momento da introdução deste indicador, bem como mais tarde, durante a execução. A Comissão acompanhou de perto a execução e procedeu às prorrogações necessárias da convenção de financiamento, em função da situação.
2/ A Comissão tinha assumido importantes compromissos políticos de apoio à Jordânia para fazer face às consequências da crise síria, através de várias conferências de doadores e de declarações políticas de alto nível durante todo o período de vigência do contrato. O aditamento do indicador 5 a esta convenção de financiamento fazia parte do pacote da Comissão no âmbito dos referidos compromissos.
3/ O desembolso foi efetuado apenas com base nos objetivos alcançados. Com exceção de uma escola concluída em 2017, as outras cinco escolas acolheram gradualmente os alunos sírios a partir de 2016 e, tendo em conta o número total de refugiados sírios na Jordânia, constituiu um esforço louvável para proporcionar às crianças refugiadas o acesso à escolaridade.

No que se refere ao Paquistão (contrato 23), a meta para o indicador 6 foi amplamente cumprida, uma vez que o programa de estudos em língua inglesa foi desenvolvido e os manuais escolares elaborados.

Relativamente à Geórgia (contrato 6):

No que se refere ao indicador 1.7, o objetivo foi cumprido em conformidade com as disposições da convenção de financiamento no que diz respeito à formulação do objetivo e à sua fonte de verificação, que se refere à adoção de um programa estatal por decreto. O programa nacional para a reabilitação das plantações de chá destinou-se a aumentar a produção de chá, incluindo a produção de chá biológico, entre outros. Considerou-se igualmente que a escolha do chá era estratégica devido ao seu potencial significativo de produção biológica. Embora o indicador pudesse ter sido mais bem formulado, a retenção do pagamento ter-se-ia desviado das disposições da convenção de financiamento e violado as nossas obrigações perante as autoridades georgianas.

Caixa 13 — Metas fixadas com valores de base incorretos — não se registaram progressos reais

Relativamente à Etiópia (contrato 14): Tendo em conta os progressos substanciais registados nos últimos anos na redução de camiões sobrecarregados (como evidenciado no quadro abaixo), a Comissão considerou que o pagamento se justificava, apesar da reavaliação da base de referência 2011/2012 numa análise setorial realizada perto da data de desembolso. Com efeito, os objetivos de longo prazo previstos para 2020 foram alcançados muito mais cedo do que o previsto.

Aquando da convenção de financiamento, a Comissão fixou a base de referência com base nas melhores informações disponíveis e teve de pagar com base no que foi assinado por ambas as partes. A Comissão sustenta que os argumentos jurídicos se referiam a pagamentos baseados no indicador.

Caixa 14 — Falta de provas suficientes

Relativamente à Jordânia (contrato 5):

O indicador 1.2 (no contrato 5, de apoio à gestão das finanças públicas na Jordânia) foi avaliado mediante a revisão das listas de presenças, assinadas pelos participantes nos cursos de formação oferecidos ao pessoal das Unidades de Controlo Interno (UCI). Importa salientar que a criação das UCI é uma das principais realizações recentes em matéria de gestão das finanças públicas, apoiadas pelo programa da UE.

No que se refere ao indicador 3 no programa de desenvolvimento comunitário (contrato 22, Paquistão), os cálculos das estimativas dos custos distritais não foram nem explícitos nem especificamente ligados às estratégias de desenvolvimento distrital (DDS) para efeitos de pagamentos no exercício de 2016/2017. Esta situação será corrigida e, para o exercício de 2018/2019, as estimativas dos custos distritais serão associadas às DDS para o pagamento final previsto para 2020.

Ver a resposta da Comissão à Caixa 15.

Caixa 15 — Calendário dos pagamentos à Moldávia

A Comissão mantém que o pagamento foi justificado, mas que a evolução positiva da situação do respeito dos mecanismos democráticos efetivos, do Estado de direito e dos direitos humanos na Moldávia no momento do pagamento poderia ter sido mais bem documentada.

Conclusões e recomendações

As linhas de orientação do apoio orçamental definem os critérios a aplicar aquando da definição dos indicadores das parcelas variáveis e do respetivo processo de verificação. É dada preferência à adoção de indicadores bem definidos relativamente às políticas e quadros de acompanhamento do desempenho dos países parceiros.

A base de dados da Comissão que integra todos os indicadores de desempenho utilizados nos contratos de apoio orçamental de 2014-2018 mostra que é ou foi utilizada uma combinação equilibrada de diferentes tipos de indicadores — recursos, processos, realizações e resultados/resultados a mais longo prazo. A amostra auditada continha mais programas aprovados antes de 2014 e, por conseguinte, menos centrados nos resultados a mais longo prazo. Uma utilização mais equilibrada dos diferentes tipos de indicadores é a prática atual.

Recomendação 1 — Aumentar a utilização de indicadores de resultados nas parcelas variáveis