Un diseño adecuado de una medición de impacto incorpora otras evaluaciones que aseguran la implementación efectiva de la política y comprensión de las claves tras su impacto, según explica el Banco de desarrollo CAF.
De acuerdo con la institución las mediciones de impacto son fundamentales para verificar la efectividad de las políticas públicas, pues nos permiten determinar el efecto causal que tuvo un programa sobre la población objetivo.
“Estas evaluaciones, de carácter cuantitativo, identifican los resultados del programa de una forma objetiva, pero no necesariamente explican las posibles razones específicas que llevaron a lograr dichos resultados, y que pueden representar los aprendizajes más valiosos para los servidores públicos”, suscribe el material lanzado por el CAF. Asimismo discrimina tres tipos de evaluaciones fundamentales.
1. Evaluación formativa: se implementa en la etapa de diseño del programa y tiene como objetivo, por un lado, comprobar que la institución cuenta con las capacidades necesarias para ejecutar la política de acuerdo a lo planificado y, realizar una revisión crítica del diseño y la teoría de cambio detrás de la intervención. En particular, consiste en comparar la cadena causal del programa en cuestión con base en la literatura existente de intervenciones similares, para identificar los insumos, outputs y outcomes medibles, y más frecuentes, que deben ser tomados en cuenta y priorizados durante la implementación del programa en cuestión. Usualmente, estas evaluaciones son realizadas por actores externos que trabajan de la mano de los diseñadores de la política con el fin de ofrecer retroalimentación, identificar riesgos y efectuar los cambios que sean necesarios antes del inicio de la implementación. Definir adecuadamente estos elementos en etapas tempranas resulta clave para asegurar una ejecución efectiva.
2. Evaluación de procesos: permite medir el nivel de cumplimiento de la intervención y la adherencia al programa, es decir, si los insumos fueron entregados a los beneficiarios correspondientes, si las actividades fueron realizadas según lo planificado y/o si los beneficiarios están siendo efectivamente parte del proyecto. Para que una evaluación de procesos, o un sistema de monitoreo, sea realmente efectiva y agregue valor a la política, debe cumplir con las siguientes características: (1) recolectar datos de calidad y confiables; (2) útiles y necesarios para el programa en cuestión y (3) multifuncionales, es decir, que genere información que potencialmente también pueda ser utilizada en otros programas.
Con el fin de tener control sobre la implementación y verificar los procesos que están en funcionamiento durante la ejecución, todas las políticas públicas deberían contar con un sistema adecuado de monitoreo, independientemente de si se va a realizar o no una evaluación de impacto. Por ejemplo, un programa que tiene como objetivo aumentar la asistencia escolar por medio de la entrega de desparasitantes, requiere que los medicamentos sean entregados a todos los beneficiarios. Sin una evaluación de procesos o sistema de monitoreo efectivo, podríamos estar afirmando que la política no tuvo impacto cuando realmente hubo un problema en la implementación.
3. Evaluación cualitativa: esta herramienta ayuda a entender la historia detrás de la intervención y cómo la misma afectó a los distintos grupos de la población objetivo. La recolección de información cualitativa involucra la interacción directa con los individuos y su realidad social, más allá de los números, por medio de entrevistas, grupos focales y casos de estudio. Esta evaluación aporta información valiosa para entender los mecanismos que están en funcionamiento durante la intervención y complementar la información cuantitativa con el “porqué” y el “cómo” que están detrás de los resultados obtenidos.