Manual "Capacetes": Módulo 4

Como avaliar o programa

4.1 Planejamento da avaliação

4.1.1 Objetivos da avaliação

4.1.2 Tipos de avaliação

4.2 A escolha dos métodos de avaliação

4.2.1 Tipos de estudo para avaliações formativas e de processo

4.2.2 Tipos de estudo para avaliações de impacto e de resultado

4.2.3 Escolha dos indicadores de desempenho

4.2.4 Condução da avaliação econômica de um programa

4.2.5 Determinação do tamanho da amostra

4.3 Disseminação e feedback

Resumo

Referências

O monitoramento e a avaliação de qualquer programa ou intervenção é vital para determinar se ele funciona, para ajudar a refinar o resultado do programa, e para proporcionar evidência de forma a obter apoio contínuo ao programa. A avaliação não só irá dar feedback sobre a eficácia de um programa, como também irá ajudar a determinar se um programa é apropriado para a população alvo, se há problemas com sua implementação e apoio, e se existem áreas de preocupação que precisem ser resolvidas, à medida que o programa é implementado.

Esse módulo descreve o processo de desenvolvimento e condução de uma avaliação de um programa de uso de capacete. Divide-se em três seções-chave:

• 4.1 Planejamento da avaliação: Esse estágio inicial envolve a coleta de dados. É um estudo de base, para analisar a situação antes de prosseguir com o desenvolvimento do programa. Com base na informação reunida, torna-se então necessário definir os objetivos de uma avaliação, e considerar os diferentes tipos de métodos de avaliação que podem ser usados.
• 4.2 A escolha dos métodos de avaliação: Uma vez que tenha sido determinado o tipo de avaliação, há métodos diferentes que podem ser adotados para realizar uma avaliação. Esta seção descreve os diferentes tipos de estudo possíveis, explicando as vantagens e desvantagens de cada tipo de método. Faz um esboço dos tipos de indicadores de desempenho que podem ser usados para mensurar o sucesso de um programa. Essa seção também descreve, brevemente, como conduzir uma avaliação econômica, e dá orientação sobre como calcular o tamanho da amostra.
• 4.3 Disseminação e feedback: Esta seção descreve como dar retorno dos resultados de uma avaliação para os estágios de planejamento e implementação, bem como das formas como os resultados de uma avaliação podem ser compartilhados com diferentes partes interessadas.

4.1 Planejamento da avaliação

O processo de elaborar e implementar um programa de uso de capacete já foi tratado no Módulo 3. O trabalho realizado antes da implementação deve assegurar que o programa esteja claramente definido e que seja implementado de forma consistente e padronizada. É muito mais fácil avaliar o impacto de um programa completo, bem planejado e executado do que de um que tenha sido implementado de forma inconsistente.

É essencial que a estrutura da avaliação seja desenvolvida e implementada juntamente com o programa proposto. Assim sendo, esse trabalho seria realizado pelo grupo de trabalho, à medida que desenvolve o plano de ação para o programa (ver Módulo 3). As medidas de base precisam ser coletadas antes da intervenção ser posta em prática, de forma que possa ser avaliada a mudança dessas medidas através do tempo.

O tipo de avaliação a ser realizada dependerá de uma série de fatores. Incluem-se neles os objetivos da própria avaliação, bem como os objetivos do programa a ser avaliado. O tipo de metodologia escolhida também pode depender das limitações de recursos.

4.1.1. Objetivos da avaliação

A determinação dos objetivos da avaliação ajudará a decidir como melhor executar a avaliação. A avaliação pode ter um ou mais objetivos. Por exemplo, uma avaliação de legislação de uso de capacete e um programa intensificado de cumprimento da lei pode ter como objetivo, em princípio, determinar se os índices de uso de capacete subiram em consequência do programa. No entanto, objetivos secundários podem incluir determinar se a aplicação da lei aumentou, se o treinamento da polícia foi efetivo, e se o programa é aceitável para os stakeholders. Nesse caso, a avaliação precisa ser multifacetária.

A amplitude de uma avaliação será sempre limitada aos recursos disponíveis, e uma avaliação simples, bem planejada, pode ser tão eficaz quanto uma mais complexa.

4.1.2. Tipos de avaliação

Uma avaliação pode tomar formas diferentes, e uma ou mais podem ser apropriadas, dependendo dos objetivos do programa específico a ser avaliado.

Avaliação de processo

Em vez de mensurar a mudança no resultado, esse aspecto da avaliação examina se o programa foi executado conforme planejado. Isso envolve a criação de uma lista de indicadores que precisem ser mensurados, dependendo dos objetivos do programa. Os resultados ajudarão a identificar os pontos fortes e a fracos do programa, e onde ele precisa ser melhorado.

Por exemplo, em uma campanha de mídia planejada para aumentar o uso voluntário de capacete, uma avaliação de processo poderá fazer as seguintes perguntas:

• Os produtos da campanha (cartazes, outdoors, pontos no rádio e na televisão) foram pré-testados?
• Com que frequência foram veiculados os anúncios da campanha?
• Quantas pessoas os viram?
• O grupo-alvo estava sendo alcançado?
• Existem capacetes de alta qualidade disponíveis e a um custo acessível nas lojas locais?
• Se a intervenção envolver aplicação da legislação sobre capacetes:

- Há aplicação visível pela polícia?

- A polícia dá apoio à campanha?

- A penalidade é suficiente para mudar comportamento?

- As pessoas são capazes de evitar o processo (por exemplo, com suborno)?

As avaliações de processo são o que se conhece como “formativas”. Ou seja, as investigações realizadas são destinadas a proporcionar informação que oriente no sentido da melhoria do programa (1). Por exemplo, pode ser considerado importante determinar se os anúncios de TV exibidos como parte de um programa de uso de capacete são apropriados. Eles tratam da questão adequadamente? Os capacetes na publicidade estão de fato disponíveis para compra na região onde os anúncios estão sendo veiculados?

Análise de impacto

Isso vai ajudar a determinar se a publicidade causou mudança. O impacto, ou efeito do programa, refere-se a uma mudança, na população-alvo, que tenha sido provocada pelo programa – ou seja, uma mudança que não teria ocorrido se o programa não tivesse sido realizado (1). Por exemplo, se o programa de capacetes envolveu veiculação de anúncios na televisão sobre o uso de capacetes, a análise de impacto poderia examinar se as pessoas que viram o anúncio acreditam que teriam grande possibilidade de serem multados pela polícia se não usassem capacete. Ao contrário de uma avaliação de processo, isso tenderia a ocorrer ao final de um programa, quando o foco seria sobre o resultado.

Avaliação de resultado

É quando os resultados são mensurados para ver se o programa teve sucesso. Há pessoas, agora, usando mais capacetes do que antes? Foi reduzido o número de lesões na cabeça? Há mais crianças usando capacetes para ir à escola? A mensuração de uma mudança nos resultados talvez seja a forma mais comum de avaliação, já que proporciona informação se o programa ou intervenção realmente fez diferença.

4.2 A escolha dos métodos de avaliação

Os métodos usados para cada tipo de avaliação vai variar. Tanto os métodos qualitativos quanto os quantitativos podem ser usados dentro do planejamento de uma avaliação. Os métodos qualitativos podem ser empregados para as avaliações formativas e de processo, por exemplo, grupos focais, questionários de respostas curtas ou de resposta aberta.

As avaliações de impacto e de resultado podem ser realizadas usando-se uma diversidade de métodos quantitativos. A avaliação de programa mais poderosa é usar um projeto experimental ou quase-experimental para demonstrar uma mudança (ou sua não ocorrência), para detectar mudanças no resultado. O tipo de método usado dependerá do objetivo e do orçamento para a avaliação.

4.2.1. Tipos de estudo para avaliações formativas e de processo

Estudos qualitativos

A pesquisa qualitativa tende a envolver descrições verbais detalhadas de características, casos e cenários, para explicar as razões subjacentes a diversos padrões comportamentais.

As técnicas específicas incluem o uso de grupos focais, entrevistas em profundidade, ou pesquisas de opinião com respostas curtas ou com perguntas de resposta aberta (2,3). Por exemplo, uma pergunta em uma avaliação formativa de uma campanha de mídia com o objetivo de aumentar o uso de capacete poderia ser se os anúncios da televisão tratam da questão. Os grupos focais podem ser formados para determinar se o público acredita que a mensagem dos anúncios na televisão é apropriada. O feedback aumentará ainda mais a evolução da propaganda.

4.2.2. Tipos de estudo para avaliações de impacto e de resultado

Há uma hierarquia bem definida de projetos de estudo para examinar a eficácia de intervenções. Vão desde experimentos de controle randomizados, que fornecem alto grau de evidência, até estudos sem controle, do tipo antes-e-depois, que oferecem evidência muito fraca sobre a eficácia de uma intervenção.

Experimentos de Controle Randomizados (RCT)

O melhor padrão da avaliação, o experimento de controle randomizado fornecerá evidência da mais alta qualidade de que uma intervenção ou programa teve sucesso. Um projeto RCT significa que os indivíduos ou grupos de indivíduos (por exemplo, uma escola, ou aldeia, conhecida como experimento randomizado de agrupamento) são alocados aleatoriamente a receber ou não receber o programa. Como os participantes (ou grupos de participantes) são designados aleatoriamente a fazer parte de um grupo ou de outro, outros fatores que podem influenciar o resultado – mensurados e não mensurados – têm maior probabilidade de ser equilibrados entre o grupo de intervenção e o de não intervenção.

No entanto, embora os projetos RCT devam ser sempre considerados quando se fizer a avaliação da eficácia de uma intervenção, eles requerem recursos significativos e podem ser difíceis de executar com orçamento limitado. Pode também haver considerações éticas em randomizar uma intervenção com benefícios conhecidos (ou seja, ao negar uma intervenção efetiva aos participantes que farão parte do grupo de não-intervenção.)

É importante observar que não há necessidade de conduzir um experimento de controle randomizado sobre a eficácia dos próprios capacetes, como parte de seu programa de uso de capacete. Há evidência suficiente de uma série de estudos que demonstram claramente que os capacetes são eficazes na redução de traumatismos na cabeça e mortes, causados por colisão em motocicleta (ver Módulo 1).

Projetos quase-experimentais

Esses projetos de estudo, embora não sejam tão rigorosos quanto os experimentos randomizados, se bem conduzidos, podem ser usados para estabelecer a eficácia de uma intervenção. Ou seja, usando-se a informação coletada e verificando as tendências dos indicadores medidos, esses estudos permitem que seja extraída conclusões sobre se a intervenção (o programa) esta ou não associada com a mudança no resultado.

Projeto de série temporal interrompido

É possível analisar o efeito de um programa usando-se medidas múltiplas do resultado de interesse antes-e-depois do programa. Há uma série de variações diferentes desse planejamento, alguns envolvendo grupos de controle. Os estudos que usaram esses planejamentos, geralmente, usam medidas coletadas rotineiramente, como índices de mortes, já que são necessárias medidas múltiplas para análise apropriada. Esse projeto de estudo, no entanto, está sujeito a desafios relacionados ao tempo, quanto à sua validade: a possibilidade de que outros fatores ocorram simultaneamente com o programa levou, de fato, ao efeito observado. No entanto, a análise estatística de tais dados pode levar em conta quaisquer tendências seculares, significando que é possível determinar se a intervenção, ou programa, foi responsável pela mudança no resultado.

Estudo antes-e-depois (sem grupo de controle)

Este é com frequência o estudo mais prático para avaliação de programas. A randomização nem sempre é factível, por exemplo, em algumas áreas que já têm adotado uma intervenção. O estudo controle do tipo antes-e-depois inclui observar o resultado de interesse ((por exemplo, os índices de uso de capacete) antes de e depois do programa, tanto nas pessoas que receberam o programa quanto naqueles do grupo de controle. O grupo de controle deve ser o mais semelhante possível ao grupo de programa e qualquer diferença importante entre os grupos precisa ser levada em consideração. Ter um grupo de controle significa que as tendências que possam estar ocorrendo na população, à parte o que estava ocorrendo devido ao programa, sejam levadas em conta.

4.2.3. Escolha dos indicadores de desempenho

Indicadores de desempenho (ou medidas de resultado) são uma medida da extensão do sucesso do programa. A escolha dos indicadores de desempenho será determinada pelos objetivos da avaliação, o tipo de estudo usado, os recursos disponíveis e, até certo ponto, os requisitos da agência financiadora. Por exemplo, as agências de financiamento do governo podem requerer certa informação para garantir o apoio a maior aplicação da lei, ou para extensão do programa.

Resultados de lesões e mortes

A eficácia de capacetes tanto para uso em motocicletas quanto em bicicletas na redução de traumatismos na cabeça e mortes resultantes de colisão já foi bem documentada em muitos estudos, inclusive duas revisões sistemáticas de Cochrane (ver Módulo 1) (10,11) e talvez não haja necessidade de re-demonstrar esses achados em grande escala (e também pode ser caro) em uma pesquisa experimental. No entanto, grande parte dessa pesquisa de eficácia foi realizada em países de renda alta (predominantemente, os EUA), onde os capacetes de alta qualidade são comuns. Há pouca pesquisa publicada examinando a eficácia de capacetes, com pouco peso ou produzidos localmente, na redução de lesões e mortes em países de baixa e média renda, particularmente no que concerne a capacetes para motociclistas. É importante haver mais pesquisa nessa área, já que o uso desse tipo de capacete está aumentando.

É possível usar dados coletados rotineiramente para calcular os índices de traumatismos na cabeça e mortes. No entanto, a eficiência com a qual tais índices podem ser calculados depende da precisão da vigilância local. Se houver um sistema uniforme de captura, codificação e relatório, já montado nos hospitais e/ou departamentos de saúde, pode haver dados agregados disponíveis sobre lesões na cabeça, traumatismos graves na cabeça ou traumatismos na cabeça relacionados a colisão de moto. Do contrário, isso talvez tenha de ser extraído das fontes de dados locais. De forma semelhante, os dados sobre colisões de motocicletas e/ou dados de mortes, podem ser coletados rotineiramente, pelas autoridades policiais e de transportes.

Como a qualidade pode variar, os dados precisam ser verificados, antes de serem usados, para se determinar se são completos e exatos.

Índices de uso do capacete

Outro indicador de desempenho apropriado é a proporção de motociclistas que estão usando capacetes. A observação dos usuários pode ser feita em diversos locais, antes e depois de um programa, para documentar se os índices de uso de capacete mudaram.

Cálculo dos índices

A comparação das mudanças em números absolutos de lesões e mortes , ou em números de motociclistas usando capacetes, antes e depois de um programa não tem utilidade, uma vez que os números absolutos podem mudar devido a um aumento ou decréscimo no número de motociclistas, registrados ou não. É, portanto, importante que os índices sejam calculados. Os denominadores podem incluir o número de motociclistas, as motos registradas, ou os quilômetros rodados. Por exemplo, para resultados de lesões, um índice poderia ser o número de lesões por motociclistas licenciados, ou o número de lesões por 100.000 km rodados. Para uso de capacete, o índice apropriado seria a proporção de motociclistas com capacete sobre o número total observado. Observe-se que é preferível usar um denominador de população (por exemplo, 100.000 pessoas), em vez do número de motocicletas, como denominador. Isto é porque o rápido aumento no uso de motocicletas, em muitos países, pode distorcer os resultados de uma avaliação, se for usada essa última medida.

O Módulo 2 inclui uma seção detalhada de como medir os índices de uso do capacete.

4.2.4. Condução da avaliação econômica de um programa

Também pode ser necessário realizar uma avaliação econômica para demonstrar o “valor do dinheiro” e a economia de custo possível para o governo ao investir em prevenção. A avaliação econômica trata da questão de se uma intervenção representa um uso melhor de recursos do que outra. Em outras palavras, gastar $X no programa A representa melhor investimento do que $Y no programa B? Para tratar desse tipo de questão, ao que parece, é necessária a comparação de duas ou mais opções (às vezes, essa comparação é feita com a alternativa de “não fazer nada” ou de ficar com o “status quo”).

A avaliação econômica baseia-se na comparação de alternativas em termos de seus custos e consequências (12). O termo “consequências” é usado aqui para representar um resultado de valor. Há várias formas de avaliação econômica que podem ser realizadas – cada uma diferente em termos de abrangência, ou seja, da gama de variáveis incluídas na análise. O mais importante é que cada forma de avaliação econômica envolve, tipicamente, um conjunto de pré-supostos para começar; o reconhecimento desses pressupostos é necessário para quem elabora a política ao fazer uso apropriado da evidência de cada estudo.

Um elemento comum através de todas as formas de avaliação econômica é que envolvam os custos de mensuração. Os custos, geralmente, compreendem, pelo menos em parte, os custos diretos do programa – os recursos que são usados para administrar o programa (por exemplo, equipamento, pessoal, bens de consumo). No entanto, em princípio, outros custos talvez sejam relevantes, como os com pacientes, cuidadores e a comunidade maior. Além do mais, há os custos ao longo do processo e economia de custos que podem entrar em consideração, por exemplo, um programa pode resultar em redução no número de hospitalizações e essa economia de recursos pode ser considerada relevante. O tipo de custos selecionados geralmente depende da perspectiva assumida na avaliação e da natureza do problema da alocação dos recursos.

Métodos usados na avaliação econômica

A forma mais comum de avaliação econômica é a análise de custo-eficácia (CEA). Isto envolve o custo total dos programas juntamente com um resultado final definido para produzir uma “razão custo-eficácia” (por exemplo, custo por vida salva, custo por ano de vida salva, ou custo por prevenção de caso). O pressuposto na CEA é que os objetivos das intervenções que estão sendo comparadas sejam capturados adequadamente na mensuração de resultado usada (13). Uma modificação do custo convencional da análise de custo-eficácia é a análise de custo-utilidade, que se baseia em uma medida de resultado, Ano de Vida por Ajuste de Qualidade (QALY), que incorpora mudança na sobrevivência e qualidade de vida e, portanto, permite que um conjunto maior de intervenções sejam legitimamente comparados do que seria possível com a CEA.

Outra forma de avaliação econômica é a análise de custo-benefício (CBA), que busca avaliar intervenções em termos dos custos e dos benefícios totais – ambas as dimensões sendo avaliadas em termos monetários (por exemplo, em dólares). Portanto, se os benefícios forem maiores que os custos, a decisão seria de financiar o programa. A valoração dos benefícios de saúde desta forma pode ser um desafio, mas uma abordagem seria solicitar dos beneficiários de programas o máximo de sua disposição para pagarem por esses benefícios (ou seja, se tivessem de pagar por isso em um mercado hipotético). A ideia por trás dessa abordagem é derivar a valoração de uma intervenção à semelhança da forma pela qual os consumidores valorizam bens e serviços nos mercados.

A escolha do tipo apropriado de análise econômica para as necessidades do programa em particular dependerá dos recursos disponíveis (tanto econômicos quanto humanos) e dos objetivos da avaliação. Levar em conta a qualidade de vida é uma medida poderosa para avaliação de colisões de motocicletas nas quais uma invalidez para toda a vida, causada por traumatismo na cabeça, seja o resultado.

4.2.5. Determinação do tamanho da amostra

É importante ter uma amostra suficientemente grande, para todos os tipos de estudo, de forma a ter certeza de que, se houver um efeito, ele seja percebido. Quanto mais raro o evento, tanto maior o tamanho da amostra para se detectar a diferença. Lesões graves causadas por colisão em motocicleta são eventos relativamente raros, e um estudo que use lesões graves ou morte como resultado teria de envolver uma amostra bem ampla. A mensuração dos índices de uso do capacete requer um número menor de participantes.

Os fatores que precisam ser levados em consideração ao se determinar o tamanho da amostra são a extensão esperada do efeito a ser detectado, a variabilidade nas medidas, e a prevalência da variável de interesse. Para um experimento de aglomeração randômica, os cálculos do tamanho da amostra também levarão em conta o tamanho do aglomerado e as correlações dentro das aglomerações. Para maiores informações sobre cálculos de tamanho de amostra para experimentos de aglomeração randômica, ver a referência 14.

As formas de calcular tamanho de amostra estão disponíveis, gratuitamente, na Internet*, mas seria melhor consultar um estatístico no que se refere a tais estimativas, particularmente quando forem necessários experimentos de aglomeração randômica ou amostras randômicas e/ou estratificadas.

* Podem ser encontrados links para calculadores de tamanho de amostra, on line, em http://calculators.stat.ucla.edu/sampsize/php ou também o pacote estatístico Epi Info pode ser baixado de http://www.cdc.gov/epiinfo/ Um calculador de tamanho de amostra para experimentos de aglomeração randômica pode ser encontrado em www.abdn.ac.uk/hsru/epp/cluster.shtml

Análise estatística

Para projetos de estudo quantitativo, os dados precisarão de análise estatística. Para mais aconselhamento sobre como conduzir essa pesquisa, ver referência 8, ou ver palestras relevantes sobre os métodos básicos e as seções de lesões em www.pitt.edu/~super 1.

Para ler mais, clique aqui

Para voltar ao início do manual ou para baixar o manual inteiro em formato pdf, clique aqui