L'évaluation d'impact avec peu de moyens : exploration de méthodologies alternatives pour les preuves d'action anticipatoire
Les preuves de ce qui fonctionne et de ce qui ne fonctionne pas dans l'action anticipatoire humanitaire restent limitées, alors que les praticiens du secteur sont désireux d'en savoir plus. Une nouvelle recherche vise à explorer des méthodologies alternatives et plus légères pour les évaluations d'impact des interventions d'action anticipatoire, afin d'aider les praticiens à générer des preuves plus nombreuses et de meilleure qualité sur ce qui fonctionne et ce qui doit changer.
Les données probantes sur l'action anticipatoire sont de plus en plus nombreuses, mais elles restent limitées dans l'ensemble. La plupart des responsables de la mise en œuvre de l'action anticipatoire se considèrent avant tout comme des praticiens de l'humanitaire, et non comme des chercheurs. Il n'est donc pas étonnant que nombre d'entre eux hésitent à investir dans des méthodes élaborées de production de preuves qui peuvent sembler trop compliquées ou trop coûteuses. Les enquêtes de satisfaction des bénéficiaires avec des échantillons de petite taille sont la norme, et il ne fait aucun doute qu'elles peuvent fournir des informations utiles. Cependant, elles comportent souvent un biais de confirmation inhérent qui consiste à détecter les "avantages" plutôt qu'à évaluer si, et dans quelle mesure, une intervention a eu des effets perceptibles.
Explorer le juste milieu entre rigueur et praticité
À l'extrémité "rigoureuse" du spectre, l'une des méthodologies les plus couramment utilisées pour évaluer l'action anticipatoire est la conception quasi-expérimentale (comme dans cette étude du Bangladesh et dans le présent document). Cette approche compare les expériences des participants au programme avec celles des non-participants d'une manière statistiquement rigoureuse. Toutefois, cette méthodologie tend à exiger beaucoup de travail et de solides compétences techniques. Si les équipes d'action anticipatoire les mieux établies sur le terrain peuvent être en mesure de mener de telles évaluations, celles qui disposent de moins de ressources rencontrent des difficultés.
Il n'y a pas de raccourci vers une évaluation rigoureuse, mais il est possible d'explorer le juste milieu entre la rigueur et l'aspect pratique. Ce billet de blog résume une exploration de méthodologies alternatives pour évaluer les effets de l'action anticipatoire. L'objectif était d'aider à abaisser le seuil pour les praticiens afin de produire des preuves "aussi bonnes que possible", avec une méthodologie qui peut être mieux adaptée aux ressources et aux compétences disponibles dans différents contextes de mise en œuvre.
Une approche d'évaluation "allégée mais robuste
Nous avons examiné 18 méthodologies, qui peuvent être trouvées dans la thèse sur laquelle ce billet de blog est basé. Ces méthodologies comprennent les études quasi-expérimentales mentionnées ci-dessus, ainsi que des méthodes plus qualitatives telles que le "changement le plus significatif". La plupart d'entre elles étaient des méthodes mixtes, qui combinaient des travaux qualitatifs et quantitatifs. Plusieurs d'entre elles ont été principalement utilisées dans des projets de développement à long terme, mais elles peuvent être adaptées à l'action anticipatoire.
Chacune a été notée et classée sur la base des informations relatives aux différentes exigences recueillies lors d'entretiens avec des praticiens, la "méthode des cas de réussite" apparaissant comme l'approche la plus appropriée pour les évaluations d'impact de l'action anticipatoire. Les éléments qui les définissent ont été évalués dans le contexte des différents besoins et ressources disponibles, en fonction des diverses expériences des praticiens. Si les Sociétés nationales de la Croix-Rouge et du Croissant-Rouge ont servi de point de référence, leurs critères de priorisation (capacité, expérience et préférences en matière de recherche, coût et complexité de la méthodologie) sont pertinents pour la plupart des organisations de mise en œuvre.
La méthode des cas de réussite : une option polyvalente pour l'évaluation d'impact
La méthode des cas de réussite a été choisie pour plusieurs raisons. L'un des facteurs les plus importants soulevés lors des entretiens avec les praticiens de l'action anticipatoire et d'autres parties prenantes était la nécessité de faire des comparaisons avec les données, et de ne pas se contenter d'examiner les cas de réussite. La méthode générale des cas de réussite inclut une comparaison, mais pas entre les bénéficiaires et les non-bénéficiaires. Une version modifiée permettrait d'établir des comparaisons entre ces groupes.
En outre, la capacité est un problème pour de nombreuses organisations qui mettent en œuvre une action anticipatoire. Elles n'ont pas toujours la capacité d'effectuer des analyses statistiques complexes ou de concevoir des échantillons. La méthode des cas de réussite présente une approche simple, avec un échantillonnage limité et une analyse statistique plus facile - et est donc appropriée pour ceux qui ont des capacités limitées. D'autres considérations ont été prises en compte : le coût et la complexité.
Desétudes antérieures utilisant cette méthode ont montré qu'elle était à la fois pratique et rentable. Alors que plusieurs autres méthodologies présentaient des caractéristiques similaires, la méthode des cas de réussite s'est avérée répondre à un peu plus des qualifications requises par les personnes interrogées.
La figure 1 illustre le déroulement général de la méthode des cas de réussite. Dans l'approche "standard", il y a quatre composantes :
- Modèle d'impact et modèle de réussite : Avant d'évaluer un programme ou une intervention, cette méthode exige qu'un modèle d'impact et un modèle de réussite soient élaborés. Le modèle d'impact explique comment l'intervention est censée produire ses effets, un peu comme une théorie du changement. Le modèle de réussite détermine ce qui sera considéré comme une réussite dans les données. Ces modèles peuvent être élaborés par les personnes chargées de l'évaluation.
- Enquêtes: La première étape de l'évaluation consiste à interroger toutes les personnes (ou un échantillon) qui ont bénéficié de l'intervention. L'objectif est de déterminer qui est considéré comme une réussite et s'il y a des échecs (dans le sens où ils ne correspondent pas au modèle de réussite) parmi les participants.
- Entretiens: Après l'enquête, un petit échantillon de cas de réussite et d'échec est sélectionné au hasard pour des entretiens approfondis afin de déterminer les raisons de l'échec et de la réussite. Les entretiens portent sur les explications possibles de la réussite, l'une d'entre elles étant l'intervention anticipatoire.
- Analyse et diffusion: La dernière étape consiste à analyser les données, à rédiger les conclusions et à les communiquer aux parties prenantes concernées.
Modifications pour différents niveaux de capacités et de ressources
Notre travail aborde plusieurs modifications de la conception de la méthodologie. Celles-ci peuvent être appliquées en fonction du niveau de capacité disponible. L'approche "standard" présentée ci-dessus se concentre uniquement sur les expériences des personnes ayant bénéficié d'une aide à l'action anticipatoire et compare les "réussites" et les "échecs" au sein de ce groupe. La première modification que nous proposons (figure 2) consiste à échantillonner et à enquêter à la fois sur les bénéficiaires et les non-bénéficiaires, afin d'établir une comparaison entre les personnes qui ont reçu une aide à l'action anticipatoire et celles qui n'en ont pas bénéficié. Cette méthode peut être utilisée par les responsables de la mise en œuvre qui disposent de plus de capacités, notamment en matière d'échantillonnage et de connaissances statistiques, ainsi que des fonds nécessaires à la réalisation d'études plus vastes.
Cette modification nous permet de tirer des enseignements des expériences et des comportements des personnes touchées par une catastrophe qui n'ont pas reçu d'aide au titre de l'action anticipatoire, mais qui s'en sont relativement bien sorties (cas de réussite), par rapport aux bénéficiaires qui n'ont peut-être pas eu autant de chance.
Nous proposons une deuxième modification (figure 3) pour les responsables de la mise en œuvre qui n'ont pas la capacité de collecter des données auprès d'un groupe plus important de personnes, mais qui souhaitent tout de même apprendre des non-bénéficiaires : ces derniers peuvent être identifiés par une sélection raisonnée pour mener des entretiens sur les cas de réussite et d'échec. Si cette méthode ne permet pas d'établir des comparaisons statistiques sur la base de données d'enquête, elle offre une comparaison qualitative riche et approfondie entre les bénéficiaires et les non-bénéficiaires.
Il est temps de tester la méthode des cas de réussite dans la pratique
Les diverses modifications présentées ici montrent que la méthode des cas de réussite est adaptable aux besoins des différents organismes de mise en œuvre et aux différents contextes. La méthode permet aux praticiens de l'action anticipatoire de s'appuyer sur leurs théories du changement pour définir un modèle de réussite, puis d'utiliser les différentes combinaisons de données quantitatives et qualitatives approfondies pour comprendre les moteurs de la réussite ou de l'échec - et savoir si l'intervention anticipatoire y est pour quelque chose !
La méthode des cas de réussite n'a pas encore été testée dans la pratique de l'action anticipatoire. Nous avons préparé une brève note d'information sur cette approche, étape par étape, à l'intention des responsables de la mise en œuvre qui souhaitent aller au-delà des "enquêtes de satisfaction des bénéficiaires", mais qui n'ont peut-être pas les ressources ou les capacités nécessaires pour se lancer dans une expérimentation complète (ou presque). Il est temps d'essayer. Apprenons ensemble !
Ce billet de blog a été rédigé par Selby Knudsen (Trilateral Research) et Clemens Gros (Red Cross Red Crescent Climate Centre). Il est basé sur le mémoire de maîtrise de Selby, "Impact Assessment on a Shoestring : Measuring the Impacts of Forecast-based Financing in Resource Limited Settings", University College London. Cette thèse fournit des informations plus détaillées sur la manière dont les quatre étapes de la méthode des cas de réussite peuvent être appliquées aux évaluations d'impact des actions anticipatoires, y compris les techniques d'échantillonnage et les considérations relatives à la taille de l'échantillon, en fonction des capacités des différentes organisations.
Si vous souhaitez utiliser la méthode des cas de réussite dans votre contexte d'action anticipatoire, faites-le savoir à Clemens; il se fera un plaisir de vous aider.
Photo présentée par le Croissant-Rouge du Bangladesh