Avaliação de políticas públicas

Avaliação de políticas públicas é o processo analítico e sistemático de exame do desenho, da implementação e dos resultados de uma intervenção estatal, seja ela em planejamento, em curso ou concluída.^[1] Conforme definição da Organização para a Cooperação e Desenvolvimento Econômico (OCDE), trata-se de uma apreciação estruturada e baseada em evidências da relevância, coerência, eficiência, eficácia, impacto e/ou sustentabilidade de uma política em relação aos seus objetivos declarados. Nesse contexto, a avaliação se constitui não apenas como um instrumento técnico, mas também como um mecanismo democrático de controle sobre a ação governamental.^[2][3]

A avaliação é considerada a etapa final do ciclo de políticas públicas, sucedendo a implementação. Nela são confrontados os resultados esperados com os efetivamente alcançados, permitindo correções de rumo, adaptações dos instrumentos utilizados ou até o encerramento da política.^[4] Embora represente uma etapa posterior, a avaliação também pode retroalimentar a fase de formulação, oferecendo subsídios para o redesenho de programas e ações públicas. Dessa maneira, a avaliação tanto pode subsidiar o processo de reformulação da política, quanto atuar como um mecanismo de controle democrático.^[4]

A avaliação de políticas públicas como ferramenta de apoio à tomada de decisões públicas surgiu nos Estados Unidos na década de 1960, antes de se desenvolver no Reino Unido, nos países escandinavos e depois em outras democracias ocidentais, nomeadamente por iniciativa da Comissão Europeia, que a tornou uma exigência regulamentar sistemática no quadro dos financiamentos atribuídos aos Estados membros a partir da década de 1990.^[5]

Na década de 1960, foram os vastos programas sociais iniciados por Lyndon B. Johnson para erradicar a pobreza como parte de sua política da Grande Sociedade que serviram como o primeiro campo experimental em grande escala para avaliação. Os pesquisadores que então estabeleceram protocolos para verificar os resultados dos programas educacionais, de saúde e sociais queriam substituir as práticas mal estruturadas da época por uma abordagem formal e científica para a concepção de políticas públicas. Um pioneiro desta abordagem foi o sociólogo James S. Coleman, que liderou um importante estudo estatístico sobre a segregação escolar, o Igualdade de oportunidades educacionais.^[5]

Nos Estados Unidos, a avaliação de políticas públicas foi impulsionada pela ampliação dos programas sociais e pela necessidade de demonstrar seus efeitos.^[4] Nas décadas seguintes, consolidou-se como instrumento de gestão voltado à medição de resultados e ao controle social.^[6] Na América Latina, foi a partir dos anos 1990 que começou a ser questionada a eficiência do setor público,^[7] sendo implementados sistemas de avaliação das políticas públicas em diversos países.^[8]

No Brasil, a prática avaliativa também se disseminou sobretudo a partir dos anos 1990, acompanhando o fortalecimento das políticas sociais e das reformas administrativas.^[4] Apesar de avanços significativos, estudos indicam que a avaliação de políticas ainda não se constitui plenamente como área consolidada de pesquisa no país, diferentemente do contexto norte-americano.^[6]

As avaliações são utilizadas de forma seletiva para responder a perguntas específicas relacionadas ao desenho, à execução ou aos resultados de uma intervenção pública, com métodos e custos que variam de acordo com o escopo da análise.^[9]

De forma mais ampla, a avaliação visa construir um julgamento sobre o valor da intervenção pública, considerando "os seus resultados, os seus impactos e as necessidades que esta intervenção procura satisfazer",^[10] e com base em dados empíricos recolhidos e analisados especificamente para esse fim. Nesse sentido, avaliar uma política significa investigar se os meios legais, administrativos ou financeiros implementados permitem produzir os efeitos esperados e atingir os objetivos que lhe são fixados. Para isso, devem ser reconhecidos e medidos efeitos isoladamente, distinguindo-se entre os efeitos próprios da política pública e os efeitos exógenos a ela.^[11]

Segundo Imas e Rist (2009), as avaliações costumam se organizar em torno de três tipos de questões principais:

• Perguntas descritivas, que buscam compreender o que está ocorrendo em determinada política, considerando processos, contextos, dinâmicas institucionais e a percepção das partes interessadas.
• Perguntas normativas, que comparam a implementação real com o que foi planejado, avaliando o grau de cumprimento das metas, padrões ou critérios previamente estabelecidos.
• Perguntas de causa e efeito, voltadas à identificação dos impactos gerados pela intervenção, examinando em que medida os resultados observados podem ser atribuídos à ação pública.^[12]

Do ponto de vista metodológico, a avaliação pode adotar enfoques quantitativos, qualitativos ou mistos, combinando análise estatística, estudos de caso, avaliação participativa e métodos experimentais ou métodos quase-experimentais. A OCDE destaca que a diversidade de abordagens metodológicas reflete a amplitude de objetivos e contextos institucionais das políticas a serem avaliadas.^[1]

Não existe uma receita única, pronta e acabada para responder a qualquer tipo de demanda avaliativa. Frente à complexidade do objeto de estudo, e sem prejuízo do rigor metodológico, é preciso que o estudo de avaliação seja conduzido com certa maleabilidade e pluralismo metodológico.^[4]

Cotta (2001) propõe distinções baseadas no momento da avaliação em relação à política (ex ante, durante ou ex post), na posição do avaliador (interna, externa ou semi-independente) e na natureza do objeto avaliado (contexto, insumos, processos e resultados).^[13][14]

Rossi et al. (2003) apresentam uma tipologia que abrange diferentes fases do ciclo da política pública, incluindo a análise da necessidade do programa, o desenho, a implementação e a eficiência.^[15]

Uma das especificidades da avaliação é que ela busca estimar o impacto real de uma determinada intervenção pública, o que deve ser diferenciado/isolado da mudança socioeconômica que pode ser observada.^[16]

É um método que visa imitar, no campo das ciências humanas, os métodos derivados da medicina ou, mais genericamente, das ciências naturais.^[17] Ele consiste em testar uma hipótese de causalidade em uma determinada população, comparando um grupo denominado "experimental" de beneficiários com um grupo "controle" de não beneficiários estritamente idênticos. O método requer a atribuição aleatória de pessoas a um ou outro grupo, de modo a eliminar os riscos de viés de amostragem. O método experimental é frequentemente considerado a única abordagem científica para medir impactos, pois nos permite isolar a influência de fatores contextuais que afetam ambas as amostras da mesma forma.^[18]

Na realidade, a avaliação quase sempre tem que lidar com políticas públicas que são muito complicadas para que seus efeitos possam ser analisados como um todo com um simples contrafactual. Nos métodos mistos, a análise de impacto é geralmente realizada tornando visíveis, passo a passo, as hipóteses causais mais ou menos explícitas que ligam as ações públicas a um ou mais efeitos esperados, e depois verificando de fato se o que foi planejado foi alcançado e por quê. Este método é chamado de análise baseada em teoria (ou theory-based evaluation), porque permite estimar os impactos testando escrupulosamente a teoria de ação da intervenção. Ferramentas específicas são usadas para reconstruir e testar essa lógica, como o quadro lógico, usado principalmente para a avaliação de projetos de desenvolvimento, e o fluxograma.^[19]

A literatura aponta que uma boa avaliação não deve se restringir a declarar o sucesso ou fracasso de um programa, mas sim investigar os fatores estruturais e contingenciais que interferiram na obtenção (ou não) dos resultados esperados. Arretche (2001) argumenta que é necessário considerar os “pontos de estrangulamento” enfrentados durante a implementação, que podem ser alheios à vontade dos formuladores da política.^[20] A autora enfatiza que políticas públicas frequentemente se transformam no momento da execução, influenciadas por dinâmicas institucionais, organizacionais e por contextos locais, bem como pela atuação dos burocratas de nível de rua.^[20]

Avaliação e monitoramento são processos complementares que subsidiam a tomada de decisão e o aprimoramento das políticas públicas. Segundo Ceneviva e Farah (2012), a avaliação deve ser entendida como ferramenta para a melhoria da gestão pública, da qualidade dos gastos e do controle social sobre a eficiência e eficácia das ações governamentais. Sua função não se limita à mensuração de desempenho, mas também à promoção de transparência, aprendizagem institucional e responsabilização.^[21]

Em termos avaliativos, eficácia se refere ao grau em que os objetivos da política foram atingidos; eficiência, à relação entre os resultados obtidos e os recursos utilizados; e efetividade, ao impacto real da política sobre o problema que visa resolver, considerando seu contexto social e institucional.^[1][15] Essa distinção conceitual busca delimitar diferentes dimensões dos objetivos das políticas e orientar a escolha de abordagens, métodos e técnicas avaliativas adequadas a cada uma delas.^[22]

As avaliações são análises sistemáticas, realizadas em momentos específicos, com o objetivo de produzir informações objetivas sobre projetos, programas ou políticas públicas em diferentes estágios (planejamento, implementação ou conclusão). Ao contrário do monitoramento, que ocorre de forma contínua, as avaliações são conduzidas pontualmente e, frequentemente, por especialistas externos.^[9]