Una evaluación de impacto es un tipo de evaluación que mediante el uso de estadísticas y un apropiado diseño de investigación como los experimentos controlados, permite establecer un vínculo causal entre una intervención y un conjunto de indicadores de resultado. En el contexto de desarrollo, las intervenciones se refieren a programas o políticas como la pavimentación de vías, transferencias monetarias o equipamiento de clínicas de salud, y los indicadores de resultados podrían incluir aumento de la productividad, reducción de la pobreza, o mejora de la salud. Una evaluación de impacto permitirá determinar si un programa de equipamiento de clínicas de salud resultará en mejoras de salud de los pacientes, por ejemplo. Las evaluaciones de impacto no solo identifican la dirección del efecto del programa, sino también su magnitud, intervalos de confianza y heterogeneidad de estos impactos. Además, los impactos estimados son un insumo clave para análisis costo-beneficio y costo-efectividad, los cuales guían la toma de decisiones al generar información sobre la forma más económica para lograr un objetivo de política determinado.
Las evaluaciones de impacto generan evidencia rigurosa sobre la efectividad de programas y políticas. Los programas de desarrollo típicamente se diseñan para mejorar indicadores de resultados y la pregunta clave de política pública que las evaluaciones de impacto buscan responder es si un programa efectivamente logra cumplir con sus objetivos y/o tiene consecuencias inesperadas. En particular, las evaluaciones de impacto contribuyen a:
1) Guiar la toma de decisiones. Dado que los recursos son limitados, la evidencia de las evaluaciones de impacto ayuda a orientar las decisiones de política y mejora el uso de los recursos, por ejemplo, mediante la expansión de intervenciones costo-efectivas y la eliminación o reformulación de intervenciones con impactos negativos.
2) Mejorar el diseño de los programas. Las evaluaciones de impacto ayudan a entender por qué funciona una intervención y cómo hacer los programas más efectivos.
3) Aumentar la rendición de cuentas. Al generar y reportar evidencia sobre la efectividad de las políticas públicas, las evaluaciones de impacto informan a los donantes, sociedad civil, medios de comunicación, academia y otras audiencias sobre los resultados de las inversiones sociales.
Las evaluaciones de impacto deben llevarse a cabo cuando existe la necesidad de contar con evidencia rigurosa sobre la efectividad de la intervención o cuando se quieren probar innovaciones para mejorar un programa ya existente. Programas grandes o no probados son buenos candidatos para implementar una evaluación de impacto cuando el propósito de la evaluación es guiar las decisiones de política y rendir cuentas. Un proyecto se considera grande cuando representa una proporción sustantiva del presupuesto del país o de una institución en particular y/o afecta a un número considerable de personas. Intervenciones no probabas son aquellas cuya evidencia empírica rigurosa es escasa. Las evaluaciones de impacto también pueden testear ajustes de una intervención en curso para valorar cómo mejorarlo.
La planeación de una evaluación de impacto debe idealmente iniciar en las primeras etapas de la preparación de un proyecto. Las evaluaciones prospectivas son aquellas que se diseñan y planean en paralelo a la intervención misma. La planeación temprana le permitirá al equipo de proyectos y a los evaluadores identificar la metodología más rigurosa compatible con los requerimientos de la implementación del programa. Por otro lado, evaluaciones retrospectivas son aquellas que se diseñan y se llevan a cabo una vez concluido el programa, y como tal, son típicamente más limitadas en términos de metodológicos y de datos.
La duración de una evaluación de impacto dependerá de varios factores, entre los que se incluyen el hecho de tratarse de una evaluación prospectiva o retrospectiva, las fuentes de datos, y el tiempo de exposición al tratamiento. Así, la duración de una evaluación pude variar enormemente; desde un par de meses en el caso de pequeñas pruebas de eficacia, a varios años en experimentos de efectividad grandes. Para tener mejor detalle del proceso que comprende una evaluación de impacto, véase la herramienta de evaluación de impacto: diagrama de Gantt.
Los principales costos en una evaluación de impacto son los que tienen que ver con la recopilación de datos, lo cual puede llegar a representar hasta 70 u 80% del presupuesto de una evaluación, así como la asistencia técnica para el diseño de la evaluación y el análisis de datos. Los costos de una evaluación de impacto pueden ser relativamente menores cuando se planea usar fuentes de datos ya existentes, como información de los sistemas de información administrativos o encuestas de hogares ya existentes; mientras que las evaluaciones que requieren una extensa recolección de datos primarios tenderán a ser más caras. Además, en el contexto de grandes experimentos, para probar la efectividad de una intervención los costos de la evaluación pueden ser grandes en términos absolutos, pero pequeños en relación con los costos generales del programa. En el caso de experimentos pequeños, los costos de la evaluación pueden representar una proporción más grande de los costos totales. Para estimar los costos de una evaluación, véase la herramienta plantilla de presupuesto.
Las fuentes de financiamiento para una evaluación de impacto dependen fundamentalmente de si la evaluación se hace principalmente para generar conocimiento público o privado. Las evaluaciones de impacto cuyo propósito es informar el mejoramiento o escalamiento de un programa particular en un país son más fácilmente financiadas por el presupuesto de monitoreo y evaluación del propio programa. Por otro lado, las evaluaciones de impacto que buscan contribuir a la evidencia global sobre la efectividad de los programas son mayoritariamente financiadas por fuentes externas como donaciones. En muchos casos, dado que las evaluaciones de impacto sirven propósitos tanto públicos como privados, los presupuestos del programa se acompañan también de fuentes de financiamiento externo para cubrir los costos totales de la evaluación.
Una evaluación de impacto debe considerarse como “una operación dentro de una operación”, y como tal, requiere financiamiento, personal y apoyo técnico adecuado. Para una lista detallada de las actividades que conlleva una evaluación de impacto, véase la lista de verificación de evaluación de impacto.
El desafío metodológico principal de muchas evaluaciones de impacto es separar el cambio en el indicador de resultado que es atribuible a la intervención de interés de otras variables que también afectan este indicador de resultado. Para controlar apropiadamente por estas otras variables, las evaluaciones comparan los indicadores de resultado de los grupos de tratamiento y control (comparación). La metodología de una evaluación de impacto se determina por el proceso por el cual se asigna el tratamiento. Las evaluaciones experimentales, también conocidas como evaluaciones aleatorizadas o pruebas de controles aleatorios comparan los indicadores de resultado de grupos donde el tratamiento fue asignado al azar. Bajo ciertas circunstancias, la asignación aleatoria es la forma más robusta para garantizar que los impactos estimados no son sesgados y por tanto, representan el impacto “verdadero” del programa. Un segundo tipo de evaluación de impacto se vale de métodos cuasi-experimentales (o métodos no experimentales). Las evaluaciones cuasi-experimentales intentan construir grupos de comparación a partir de poblaciones que no fueron tratadas, aún si el proceso no fue al azar, y generalmente dependen más intensivamente en modelos estadísticos y econométricos para estimar los impactos. Los experimentos con asignación aleatoria son típicamente superiores a las evaluaciones cuasi-experimentales en el sentido que minimizan el riesgo de sesgo y permiten hacer estimaciones de efectos de tratamiento promedio en la población. Las evaluaciones cuasi-experimentales pueden requerir supuestos más rígidos y estimar impacto que solo son válidos para algunos sub-grupos de la población. Para más información sobre los métodos de evaluación de impacto, pulse aquí.
Las evaluaciones de impacto requieren medidas de indicadores de resultados de alta calidad medidos de la misma forma para los grupos de tratamiento y control. También es útil medir indicadores de resultado intermedios a lo largo de la cadena causal para lograr un entendimiento más completo de cómo son afectados los indicadores de resultado final. Las evaluaciones de impacto también requieren de información detallada sobre la implementación del programa, como qué observaciones reciben tratamiento y cuándo. Finalmente, muchas evaluaciones recolectarán un buen conjunto de variables descriptivas sobre la población de estudio. Los datos para una evaluación deben incluir:
a) Indicadores de resultado preferentemente deben ser seleccionados para ser “SMART”: específicos, medibles, atribuibles, realistas y focalizados. Debe determinarse cuándo se medirán los indicadores de resultado y establecer jerarquías de indicadores, cubriendo desde indicadores de corto a largo plazo.
b) Datos administrativos sobre la operación de la intervención. Se necesita información de monitoreo para saber cuándo empieza un programa y quién recibe sus beneficios, así como para medir la “intensidad” de la intervención en casos cuando no esté llegando a todos los beneficiarios con los mismos componentes, calidad o duración.
c) Datos sobre factores exógenos que pueden afectar el indicador de resultado de interés. Esto ayudará a controlar por influencias externas.
d) Datos sobre otras características. La inclusión de controles o el análisis de la heterogeneidad de los efectos del programa en conjunto con ciertas características hace posible una estimación más fina y minuciosa del efecto del tratamiento.
Cuando se planea y lleva a cabo una evaluación de impacto, en ocasiones surgen cuestionamientos sobre su ética. De hecho, no hacer una evaluación de impacto puede ser anti-ético. Programas y políticas no evaluadas pueden llevar al desperdicio de recursos y generar consecuencias negativas. Así, la puesta en marcha de intervenciones SIN evidencia puede considerarse como falta de ética. La ética de las evaluaciones de impacto se llega a cuestionar cuando se percibe que al grupo control le son “negados” los beneficios por el solo propósito de la evaluación. Esto asume que sabemos que la intervención, de hecho, genera efectos positivos y que hay suficientes recursos para beneficiar a todas las unidades elegibles en una población determinada (persona, comunidad, empresa, etc.). Las evaluaciones de impacto pueden y deber ser implementadas éticamente, incluyendo respetar las reglas de asignación y restricciones del programa tal que los beneficios no sean negados por el solo propósito de la evaluación; así como el apego a las buenas prácticas para la investigación ética y la protección de sujetos humanos.
La página web de Evaluación de Impacto (EI) del BID es un portal que concentra en un solo sitio información y herramientas relevantes para la evaluación de impacto. La estructura de este portal sigue la secuencia de procesos que involucran una evaluación de impacto. En particular, se organiza en cinco secciones: (1) Diseño, (2) Implementación, (3) Recolección de datos, (4) Análisis y diseminación, y (5) Aprendizaje. Las primeras cuatro secciones son secuenciales. La última es transversal a las otras.
(1) Diseño lo (a) ayudará a definir un marco metodológico sólido para su evaluación de impacto, con herramientas para determinar qué evaluar y cómo hacerlo.
(2) Implementación provee herramientas para asistirlo(a) en tareas prácticas como la contratación de apoyo técnico y la identificación de fuentes de financiamiento.
(3) Recolección de datos presenta recursos para encuestas y manejo de datos, incluyendo ejemplos de cuestionarios, manuales y programas de entrada de datos que pueden ser adaptados para aplicaciones específicas.
(4) Análisis y diseminación muestra ejemplos de estrategias de diseminación.
(5) Aprendizaje incluye materiales de capacitación y vínculos a cursos de evaluación de impacto.
El Portal de Evaluación de Impacto provee dos listas de expertos de evaluación de impacto. Estos recursos externos incluyen la lista de especialistas internacionales en evaluación de impacto de 3ie, así como los afiliados de J-PAL.