Hace unas semanas tuvimos a Paul Gertler, experto mundial en evaluación de impacto, en un taller internacional con énfasis en proyectos de agua y saneamiento, gracias a una cooperación entre Banco Mundial, BID, Grade y Universidad del Pacífico.
La evaluación de impacto es una metodología cada vez más usada para identificar los efectos causales de programas de desarrollo, aislándolos de otras variables que hayan podido influir sobre indicadores objetivo. Por ejemplo, cuando hace casi dos décadas iniciáramos Pro Joven, programa que combina formación técnica de jóvenes pobres en aula con práctica laboral en empresas, incorporamos la evaluación de impacto como parte esencial de su diseño.
No bastaba mostrar que los jóvenes beneficiados incrementaban su empleabilidad e ingresos al finalizar el programa. Una buena parte o, quizás, todo el efecto positivo podía deberse al mejoramiento de la economía, maduración de los jóvenes, o su mayor conocimiento del mercado laboral, entre otras razones.
Para aislar el efecto causal de la intervención, la evaluación necesitaba en una primera etapa medir la situación antes del programa (llamada línea de base) tanto de jóvenes que serían beneficiarios como de otros jóvenes lo más similares posibles, pero que no se beneficiarían del mismo (conocidos como grupo de control).
La segunda parte fue la valoración final del proceso (digamos a los 6, 12 y 18 meses de egresados de Pro Joven) midiendo nueva mente la situación laboral de ambos grupos, para así establecer si los cambios observados en el grupo tratado superaban a los ocurridos en el grupo de control.
Los reiterados impactos positivos encontrados en Pro Joven serían una de las razones de su permanencia en el tiempo. Esta es una ventaja de las evaluaciones de impacto: pueden ayudar a consolidar programas eficaces o a desmontar aquellos con impactos nulos o insuficientes.
¿Es costosa una evaluación de impacto? En un balance realizado hasta el 2005, encontramos con Patricia Pérez que podía significar menos de 1% del presupuesto de un proyecto grande y entre 2% y 4% en un proyecto piloto. Vale la pena destinar estos recursos para asegurarse de que el dinero público está bien invertido. Salvo que, como indicara el profesor Gertler, exista suficiente evidencia internacional acumulada que demuestre que la intervención es positiva en todas las circunstancias.
En el caso de programas innovadores con escasa evidencia es importante contar con una unidad de evaluaciones de impacto. Esto es lo que están realizando crecientemente los sectores Educación, MEF, Midis, Salud y Vivienda, lo cual contribuirá a asegurar que los buenos proyectos se conviertan en políticas de Estado permanentes.
Una observación técnica que se suele hacer a esta metodología es que no puede salvar enteramente los problemas de construcción de grupos de control adecuados. La situación ideal es la asignación aleatoria de beneficiarios del programa, pero este esquema puede ser inviable en la práctica.
Esta dificultad se puede solucionar aprovechando implementaciones progresivas de programas, tal como se hizo con Progresa en México, o considerando situaciones de sorteo socialmente aceptadas, como ocurre con el exceso de demanda por vacantes de alumnos en algunos colegios de Fe y Alegría en nuestro país. El análisis de esta experiencia será materia de una próxima columna con Pablo Lavado.
