O Plano Global de Avaliação do Portugal 2020 (atualização dezembro 2021)
I. Objetivos e âmbito do PGA PT2020
O objetivo global do Plano Global de Avaliação do Portugal 2020 (PGA PT2020) é constituir-se como o documento orientador da avaliação do Portugal 2020, de modo a que a conceção e a implementação das políticas e dos programas possam beneficiar de avaliações de qualidade, suportadas em evidências sobre a eficácia, eficiência e impacto das intervenções. Este objetivo global enquadra-se na missão de contribuir para a boa gestão e utilização dos Fundos Europeus Estruturais e de Investimento (FEEI), reforçando a sua orientação para resultados, garantindo também a qualidade na prestação de contas.
Os objetivos específicos do Plano Global de Avaliação do Portugal 2020 são:
- Construir um quadro lógico, planeado e estruturado, das avaliações a realizar no âmbito do Portugal 2020;
- Contribuir para que se garanta um nível elevado de qualidade das avaliações, nas suas diferentes dimensões: termos de referência, métodos utilizados, conclusões e recomendações e implementação das recomendações;
- Assegurar o uso das avaliações através do envolvimento dos interessados no processo avaliativo, da disponibilização das conclusões e recomendações em tempo útil à tomada de decisão e da criação de mecanismos de monitorização da implementação das recomendações (follow-up);
- Garantir uma adequada divulgação e reflexão pública da avaliação do Portugal 2020;
- Contribuir para o desenvolvimento de uma cultura de avaliação da Administração Pública, sobretudo através da sua capacitação, bem como de um maior envolvimento desta no processo avaliativo do Portugal 2020;
- Garantir que a avaliação do Portugal 2020 se desenvolva no âmbito de uma parceria entre os seus principais intervenientes, no seio da Rede de Monitorização e Avaliação;
- Prever atempadamente as necessidades de informação para a avaliação a recolher dos sistemas de informação dos programas, das estatísticas nacionais, das bases de dados administrativas e junto dos destinatários e beneficiários.
O Plano Global de Avaliação do Portugal 2020 foi desenvolvido em articulação com as entidades responsáveis pela governação dos FEEI, no seio da Rede de Monitorização e Avaliação, e aprovado pela Comissão Interministerial de Coordenação do Portugal 2020.
O Plano Global de Avaliação do Portugal 2020 está alinhado com o desígnio da avaliação para o período de programação 2014-2020, inscrito no regulamento geral dos Fundos Europeus Estruturais e de Investimento da União Europeia, que realça a necessidade da avaliação dos FEEI no sentido de contribuir para melhorar a qualidade da elaboração e execução dos programas, e avaliar a sua eficácia, eficiência e impacto.
Este objetivo global tem subjacente os objetivos comummente associados à função de avaliação:
O âmbito do Plano Global de Avaliação do Portugal 2020 tem a seguinte cobertura:
- Temporal: Período de Programação 2014-2020;
- Institucional: Comissão Interministerial de Coordenação do Acordo de Parceria; Agência para o Desenvolvimento e Coesão, IP; Comissão de Coordenação Nacional para o FEADER; Comissão de Coordenação para o FEAMP; Autoridades de gestão dos programas considerados;
- Geográfica: Continente e Regiões Autónomas;
- Programática:
- 5 Fundos: Fundo Europeu de Desenvolvimento Regional (FEDER); Fundo de Coesão (FC) Fundo Social Europeu (FSE); Fundo Europeu Agrícola de Desenvolvimento Rural (FEADER); Fundo Europeu dos Assuntos Marítimos e das Pescas (FEAMP);
- 4 Domínios Temáticos: Competitividade e Internacionalização; Inclusão Social e Emprego; Capital Humano; Sustentabilidade e Eficiência no Uso de Recursos;
- 16 Programas: 4 programas operacionais temáticos; 5 programas operacionais regionais do Continente; 2 programas operacionais das regiões autónomas; 3 Programas de desenvolvimento rural (Continente e Regiões Autónomas); 1 Programa operacional do mar.
II. Avaliações do PGA PT2020 segundo o Objetivo, Processo e Impacto
Serão desenvolvidos dois tipos de avaliações, em função do seu objetivo: de processo e de impacto. Serão também elaboradas meta-avaliações.
III. Avaliações do PGA PT2020 segundo a incidência: Programa, Temática, Territorial e Global
No âmbito das avaliações de impacto serão realizadas quatro tipos de avaliações, em função da sua incidência: por Programa, Temática, Territorial ou Global.
IV. Avaliações do PGA PT2020 e Critérios de Avaliação
Para cada avaliação serão selecionados os critérios de avaliação mais apropriados à finalidade/foco da avaliação: nas avaliações de processo privilegiar-se-ão os critérios da relevância, coerência e eficiência (sobretudo a operativa), enquanto as avaliações de impacto incidirão, sobretudo, na análise da eficiência, eficácia, impacto e sustentabilidade, podendo contudo englobar a totalidade dos critérios.
As avaliações devem ainda considerar, quando pertinente, a aferição do Valor Acrescentado Europeu (VAE), de acordo com o conceito apresentado na caixa abaixo:
V. Avaliações do PGA PT2020 e Métodos de Avaliação
Serão utilizados dois métodos: Avaliação de Impacto Contrafactual e Avaliação de Impacto Baseada na Teoria.
Nas avaliações de impacto será privilegiada a aferição do contributo das intervenções (impacto) para os resultados esperados, ou seja, a mudança que pode ser atribuída, com credibilidade, a uma intervenção.
VI. Estratégia de Gestão da Qualidade do Processo de Avaliação
A estratégia de gestão da qualidade do processo de avaliação consiste na garantia da existência combinada:
- De um conjunto de atividades, do seu planeamento e desenvolvimento dentro de um quadro lógico;
- Da definição dos produtos a desenvolver, de acordo com standards qualitativos previamente definidos;
- Do estabelecimento do modelo de gestão, designadamente dos atores envolvidos e suas atribuições e responsabilidades. Os mecanismos de articulação dos atores, para além de garantirem a qualidade do trabalho desenvolvido, permitirão uma adequada partilha de conhecimento e o acréscimo da capacitação técnica dos envolvidos.
O esquema seguinte sistematiza aqueles três fatores, apresentando as principais atividades a ser desenvolvidas, quer no âmbito da realização do PGA PT2020, quer de cada exercício de avaliação; consideram-se ainda os produtos a desenvolver e os atores a envolver ao longo do processo avaliativo. O esquema encontra-se dividido em três fases:
- Planeamento e preparação (que inclui a elaboração do PGA PT2020 e a preparação de cada exercício de avaliação);
- Realização das avaliações;
- Divulgação e acompanhamento da implementação das recomendações das avaliações (follow up).
VII. Questões de Avaliação
A importância das questões de avaliação (QA), na qualidade das avaliações, justifica o prosseguimento de um conjunto de princípios essenciais à sua definição.
Princípios Orientadores para a construção das questões de avaliação:
- Estabelecer um encadeamento lógico entre os objetivos específicos, as dimensões de análise do objeto e as questões de avaliação;
- Este encadeamento deve corresponder a uma real necessidade de conhecimento, identificação de novas soluções, correspondente à necessidade de um input para uma tomada de decisão;
- Definir as QA em função dos critérios de avaliação, priorizados tendo em conta as necessidades dos stakeholders e o racional orientador da avaliação;
- Identificar os métodos possíveis para responder às QA e verificar a existência da informação necessária para o desenvolvimento desses métodos;
- Os temas de maior preocupação devem ser abordados por questões de avaliação específicas.
- As QA devem:
- Ser suscetíveis de gerar uma resposta, uma vez que todas as QA devem ser respondidas pela avaliação;
- Ser específicas e focalizadas no objeto de avaliação de forma a possibilitar retirar conclusões objetivas;
- Ser equilibradas em número de acordo com o objetivo da avaliação;
- Decorrer diretamente do(s) objetivo(s) da avaliação.
VIII. Envolvimento e Participação dos Atores no Processo de Avaliação
O planeamento e gestão dos exercícios de avaliação requerem um modelo de gestão específico que contemple quer a definição dos atores e suas responsabilidades, quer os mecanismos de envolvimento destes. Pretende-se que o processo de avaliação do Portugal 2020 seja de responsabilidade partilhada, envolvendo um conjunto alargado de stakeholders, de forma a garantir a utilidade e uma elevada qualidade técnica do mesmo, com o contributo de diferentes competências e perspetivas, bem como assegurar que o próprio processo de avaliação se constitua como um mecanismo de capacitação dos stakeholders.
IX. Utilização, Implementação das Recomendações e Comunicação dos Resultados
O objetivo primordial do processo avaliativo é assegurar o uso alargado e sistemático dos resultados das avaliações promovendo a aprendizagem e apoiando a tomada de decisão tendo em vista a melhoria dos processos e das intervenções. Medir o nível de utilização da avaliação significa encontrar evidências de mudanças nas práticas das organizações e nas políticas induzidas pelos conhecimentos adquiridos nas avaliações.
Um dos fatores de sustentação do uso das avaliações reside no processo de acompanhamento da implementação das recomendações (follow-up), processo devidamente valorizado no Plano Global de Avaliação Portugal 2020 através da criação de instrumentos específicos para o efeito materializados no documento autónomo mas complementar do Plano designado por: “Orientações para o acompanhamento da implementação das recomendações das avaliações do Portugal 2020 (follow-up)”.
Um outro fator que sustenta o uso das avaliações é a comunicação dos seus resultados.
O Plano Global de Avaliação do Portugal 2020 preconiza uma cuidada comunicação externa sobre os resultados da avaliação com o objetivo global de:
- Divulgar os resultados das avaliações ao nível político, institucional e público, potenciando o debate sobre os mesmos, a fim de contribuir para o desenvolvimento de uma cultura de avaliação e de prestação de contas e para a valorização dos processos de avaliação na tomada de decisão e na ação para a mudança.
e com os objetivos específicos de:
- Potenciar o uso das avaliações nos processos de decisão política e de gestão dos programas;
- Divulgar os resultados das avaliações através de diversos meios de comunicação, de ações de informação/formação e com suporte em produtos de comunicação apropriados aos públicos a que se destinam;
- Promover um debate público alargado sobre o processo e os resultados das avaliações, aberto ao questionamento e ao contraditório por pares, peritos e responsáveis de política;
- Aprofundar conhecimento através da criação de um repositório de conclusões e evidências sobre as temáticas avaliadas.
X. Planeamento das Avaliações
O Plano Global de Avaliação Portugal 2020 (PGA) prevê, indicativamente, a realização de 44 avaliações no período de aplicação do Portugal 2020, com a calendarização e características que se resumem nos dois quadros seguintes:
Consulte a lista das avaliações a realizar por programa.
Para cada uma das 44 avaliações existe uma ficha de caracterização (ver página 76 do PGA) na qual se especifica, nomeadamente: objetivos; âmbito; critérios e questões de avaliação; métodos de avaliação de impacto a considerar; informação disponível; procedimento de contratação; entidade responsável, júri do concurso e grupo de acompanhamento; calendarização da aquisição de serviços; e preço indicativo.
Na revisão anual do Plano Global de Avaliação todas as fichas são revistas sendo particularmente aprofundadas as fichas das avaliações programadas para os dois anos subsequentes.