Evaluación de impacto con poco dinero: metodologías alternativas para demostrar la Acción Anticipatoria
Los datos sobre lo que funciona y lo que no en la Acción humanitaria anticipatoria siguen siendo limitados, mientras que los profesionales del sector están deseosos de saber más. Una nueva investigación pretende explorar metodologías alternativas y más sencillas para evaluar el impacto de las intervenciones de Acción Anticipatoria, con el objetivo de ayudar a los profesionales a generar más y mejores pruebas sobre lo que funciona y lo que debe cambiar.
La base empírica de la Acción Anticipatoria está creciendo, pero en general sigue siendo limitada. La mayoría de los que llevan a cabo acciones anticipatorias se consideran ante todo profesionales de la ayuda humanitaria, no investigadores. No es de extrañar, por tanto, que muchos duden en invertir en formas elaboradas de generar pruebas que puedan parecer excesivamente complicadas o caras. Las encuestas de satisfacción de los beneficiarios con muestras pequeñas son la norma, y no hay duda de que pueden aportar información útil. Sin embargo, a menudo conllevan un sesgo de confirmación inherente para detectar "beneficios" en lugar de evaluar si, y en qué medida, una intervención ha tenido algún efecto discernible.
Explorar el término medio entre el rigor y la practicidad
Hacia el extremo "riguroso" del espectro, una de las metodologías más utilizadas para evaluar la Acción Anticipatoria ha sido el diseño cuasi-experimental (como en el estudio de Bangladesh y en este documento). Este enfoque compara las experiencias de los participantes en el programa con las de los no participantes de una forma estadísticamente rigurosa. Sin embargo, esta metodología suele requerir mucho trabajo y grandes conocimientos técnicos. Mientras que los equipos de Acción Anticipatoria más consolidados sobre el terreno pueden llevar a cabo este tipo de evaluaciones, los que disponen de menos recursos las consideran un reto.
No hay atajos para una evaluación rigurosa, pero sí espacio para explorar el término medio entre el rigor y la practicidad. Esta entrada de blog resume una exploración de metodologías alternativas para evaluar los efectos de la acción anticipatoria. El objetivo era ayudar a reducir el umbral para que los profesionales generen pruebas "tan buenas como sea posible", con una metodología que pueda adaptarse mejor a los recursos y habilidades disponibles en los diferentes contextos de implementación.
Un enfoque de evaluación "sencillo pero sólido
Hemos examinado 18 metodologías, que pueden consultarse en la tesis doctoral en la que se basa esta entrada del blog. Las metodologías incluyen los estudios cuasiexperimentales mencionados anteriormente, así como métodos más cualitativos como el "cambio más significativo". La mayoría eran enfoques de métodos mixtos, que utilizaban alguna combinación de trabajo cualitativo y cuantitativo. Varios se habían utilizado principalmente en proyectos de desarrollo a largo plazo, pero podían adaptarse a la Acción Anticipatoria.
Cada uno de ellos fue puntuado y clasificado en función de la información sobre los diferentes requisitos recibida de las entrevistas con los profesionales, y el "Método del Caso de Éxito" resultó ser el enfoque más adecuado para las evaluaciones de impacto de la Acción Anticipatoria. Sus elementos definitorios se evaluaron en el contexto de las diferentes necesidades y recursos disponibles, según las diversas experiencias de los profesionales. Aunque las Sociedades Nacionales de la Cruz Roja y de la Media Luna Roja sirvieron de punto de referencia, sus criterios de priorización (capacidad, experiencia y preferencias previas en materia de investigación, coste y complejidad de la metodología) son pertinentes para la mayoría de las organizaciones ejecutoras.
El método del caso de éxito: una opción versátil para la evaluación del impacto
El método del caso de éxito se eligió por varias razones. Uno de los factores más importantes planteados en las entrevistas con los profesionales de la Acción Anticipatoria y otras partes interesadas fue la necesidad de realizar comparaciones con los datos, y no limitarse a examinar los casos de éxito. El método general de casos de éxito incluye una comparación, aunque no entre beneficiarios y no beneficiarios. Una versión modificada puede establecer comparaciones entre estos grupos.
Además, la capacidad es un problema para muchas organizaciones que aplican la Acción Anticipatoria. Es posible que no dispongan de la capacidad necesaria para realizar análisis estadísticos complejos o diseñar muestras. El método del caso de éxito presenta un enfoque sencillo, con un muestreo limitado y un análisis estadístico más fácil, por lo que resulta apropiado para quienes tienen una capacidad limitada. Otras consideraciones fueron el coste y la complejidad.
Enestudios anteriores en los que se utilizó esta metodología se observó que era práctica y rentable. Aunque otras metodologías presentaban atributos similares, el Método del Caso de Éxito demostró cumplir ligeramente más de los requisitos exigidos por los entrevistados.
La figura 1 muestra el flujo general del Método del Caso de Éxito. En el enfoque "estándar", hay cuatro componentes:
- Modelo de impactoy modelo de éxito: Antes de evaluar un programa o intervención, esta metodología exige que se desarrollen tanto un modelo de impacto como un modelo de éxito. El modelo de impacto explica cómo se supone que la intervención producirá sus efectos, algo parecido a una teoría del cambio. El modelo de éxito determina lo que se clasificará como éxito en los datos. Estos modelos pueden ser elaborados por quienes realizan la evaluación.
- Encuestas: La primera ronda de evaluación consiste en encuestar a todos (o a una muestra) los que recibieron la intervención. Con ello se pretende determinar quién se considera un éxito y si hay algún fracaso (en el sentido de no corresponder al modelo de éxito) entre los participantes.
- Entrevistas: Después de la encuesta, se selecciona al azar una pequeña muestra de casos de éxito y de fracasos para realizar entrevistas en profundidad y determinar por qué fracasaron los fracasados y por qué tuvieron éxito los casos de éxito. Las entrevistas indagan en las posibles explicaciones del éxito, siendo una de ellas la intervención de Acción Anticipatoria.
- Análisis y difusión: La última etapa consiste en analizar los datos, redactar las conclusiones y comunicarlas a las partes interesadas.
Modificaciones para distintos niveles de capacidad y recursos
Nuestro trabajo analiza varias modificaciones del diseño metodológico. Éstas pueden aplicarse en función del nivel de capacidad disponible. El enfoque "estándar" mostrado anteriormente se centra únicamente en las experiencias de las personas que recibieron ayuda para la acción anticipatoria y compara los "éxitos" con los "fracasos" dentro de este grupo. La primera modificación que proponemos (Figura 2) consiste en muestrear y encuestar tanto a los beneficiarios como a los no beneficiarios, para crear una comparación entre los que recibieron ayuda para la acción anticipatoria y los que no. Esto puede ser utilizado por los ejecutores que tienen más capacidad, incluido el muestreo y los conocimientos estadísticos, así como la financiación para llevar a cabo estudios más amplios.
Esta modificación nos permite aprender de las experiencias y los comportamientos de las personas afectadas por la catástrofe que no recibieron ayuda de Acción Anticipatoria, pero que pueden haber salido relativamente bien paradas (casos de éxito), en comparación con los beneficiarios que pueden no haber sido tan afortunados.
Proponemos una segunda modificación (Figura 3) para los ejecutores que no tengan capacidad para recopilar datos de un grupo más amplio de personas, pero que aun así quieran aprender de los no beneficiarios: se les puede identificar mediante una selección intencionada para realizar entrevistas sobre el éxito y el fracaso. Aunque esto no permitirá realizar comparaciones estadísticas basadas en datos de encuestas, sí ofrece una comparación cualitativa rica y en profundidad entre beneficiarios y no beneficiarios.
Es hora de poner a prueba el Método del Caso de Éxito en la práctica
Las diversas modificaciones que aquí se muestran indican que el Método del Caso de Éxito es adaptable a las necesidades de diferentes organizaciones ejecutoras y a diferentes contextos. El método permite a los profesionales de la Acción Anticipatoria basarse en sus teorías del cambio para definir un modelo de éxito y, a continuación, utilizar las distintas combinaciones de datos cuantitativos y cualitativos en profundidad para comprender los factores que impulsan el éxito o el fracaso, ¡y si la intervención de Acción Anticipatoria tiene algo que ver con ello!
El Método del Caso de Éxito aún no se ha puesto a prueba en la práctica de la acción anticipatoria. Hemos preparado un breve resumen, paso a paso, sobre este enfoque para los ejecutores que quieran ir más allá de las "encuestas de satisfacción de los beneficiarios", pero que no dispongan de los recursos o la capacidad para llevar a cabo una experimentación completa (cuasi). Es hora de intentarlo. Aprendamos juntos.
Este artículo ha sido escrito por Selby Knudsen (Trilateral Research) y Clemens Gros (Centro del Clima de la Cruz Roja y la Media Luna Roja). Se basa en la tesis doctoral de Selby, "Impact Assessment on a Shoestring: Measuring the Impacts of Forecast-based Financing in Resource Limited Settings", University College London. Esta disertación ofrece información más detallada sobre cómo pueden aplicarse los cuatro pasos del Método del Caso de Éxito a las evaluaciones de impacto de la Acción Anticipatoria, incluidas las técnicas de muestreo y las consideraciones sobre el tamaño de la muestra, en función de las capacidades de las distintas organizaciones.
Si está interesado en utilizar el Método del Caso de Éxito en su contexto de Acción Anticipatoria, comuníqueselo a Clemens; estará encantado de ayudarle.
Foto destacada de la Media Luna Roja de Bangladesh