Cet article a été initialement publié sur le blog du Learning Lab de l'USAID.

par Lori Ashford avec la contribution de Soumya Alva et Reshma Naik

La plupart des projets mondiaux de santé et de développement comprennent une composante de renforcement des capacités, mais dans quelle mesure mesurent-ils si un renforcement des capacités a été réalisé et quels sont les déterminants sous-jacents de la performance ? Les activités de renforcement des capacités (les intrants) devraient en fin de compte conduire à une amélioration des performances (les résultats). Mais quels sont les meilleurs outils et indicateurs pour mesurer les résultats - les capacités supplémentaires - qui mèneront au résultat de la performance ?

Pour répondre à cette question, un examen du paysage a été réalisé par l'Accélérateur de connaissances MOMENTUM, l'un des six prix mondiaux sous l'égide de MOMENTUM financé par l'USAID, qui travaille avec les pays pour accélérer les améliorations des services de santé maternelle, néonatale et infantile.

Les lacunes des outils existants

L'examen a révélé que la plupart des outils existants ne permettent pas de mesurer les nombreuses dimensions de la capacité qui sont essentielles pour atteindre les objectifs finaux d'une entité. Par exemple, les outils :

• Tendance à se concentrer sur les organisations et à exclure d'autres unités d'analyse, comme les systèmes, les réseaux et les communautés qui influencent les résultats en matière de santé.
• S'appuient souvent sur l'auto-évaluation et utilisent peu les preuves.
• Se concentrent sur la capacité latente (potentielle) plutôt que sur la performance et donnent peu d'informations sur les déterminants sous-jacents de la performance.
• ne sont souvent pas liés à une théorie explicite du changement.
• sont souvent mal adaptés aux environnements très complexes dans lesquels les systèmes sont décentralisés, les tâches ne sont pas simples et les interactions sont dynamiques et peuvent varier en fonction de la situation.

Comprendre la "capacité" et son lien avec la performance

Pour mesurer efficacement les capacités, nous devons comprendre leurs attributs. Au fond, la capacité implique l'aptitude à faire et à réaliser des choses et à apporter des changements si nécessaire, et le développement des capacités implique d'identifier et de traiter les domaines de performance qui doivent être améliorés. Une dimension importante du développement des capacités est l'amélioration de la résilience. Pourquoi la résilience ? Parce qu'elle permet aux individus, aux organisations et aux systèmes de prospérer dans des environnements complexes et imprévisibles, c'est-à-dire d'anticiper les risques, de faire face à l'adversité et de se rétablir de manière opportune et efficace.

La capacité peut être comprise comme les attributs qui permettent à un acteur travaillant à n'importe quel niveau (système, organisation, communauté ou individu) de bien fonctionner dans des conditions de grande complexité. Idéalement, le renforcement des capacités permet également de développer le "capital social", c'est-à-dire la cohésion sociale, la confiance et le sens de la mission partagée, car il s'agit d'une source de vitalité, de croissance et d'efficacité pour les entités qui promeuvent la santé publique.

Choisir les bonnes mesures de capacité

Des mesures appropriées permettant de saisir le rôle de la résilience, de l'amélioration des performances et des capacités à différents niveaux (individu, communauté, organisation et système) sont nécessaires pour examiner l'effet du renforcement des capacités des organisations travaillant dans des environnements complexes. Ces mesures doivent être fiables, faciles à utiliser et capables de produire des résultats exploitables. Elles doivent se concentrer sur les effets des interventions et des activités de programme sur les résultats, les performances et les nouvelles solutions, en utilisant des méthodes de suivi simples et adaptées à la complexité pour collecter et analyser les informations. Les quatre types de mesures impliquent la compilation de preuves à partir de :

• Des entités au niveau de l'organisation, telles que les organisations partenaires locales qui modifient les programmes pour mieux refléter les normes sociales, les valeurs, les croyances et les pratiques locales qui influencent les résultats en matière de santé.
• Des entités au niveau du système, telles que les établissements de soins de santé ou les ONG locales qui s'occupent de la promotion des soins de santé ou de la prestation de services, qui modifient les programmes afin de mieux refléter les normes sociales, les valeurs, les croyances et les pratiques locales qui influencent les résultats en matière de santé.
• Les travailleurs de la santé qui utilisent les commentaires des clients ou d'autres personnes pour améliorer la portée, la couverture ou l'efficacité des programmes.
• Les structures de prestation de services communautaires qui utilisent le retour d'information des clients ou autres pour améliorer la portée, la couverture ou l'efficacité des programmes.

Les approches de collecte de données pour ces mesures peuvent être adaptées en fonction de la nature des activités et des systèmes du projet, ainsi que des ressources disponibles. Dans certains cas, cela peut impliquer des questionnaires et des réponses, tandis que dans d'autres, un simple examen des descriptions écrites. Il est important de noter que les indicateurs proposés se concentrent sur les pratiques qui, lorsqu'elles sont effectuées régulièrement, sont directement liées à l'amélioration de la qualité, de la couverture et de l'efficacité des programmes.

Leçons sur l'évaluation des capacités

L'examen a également permis de dégager d'importantes leçons sur l'évaluation des capacités, tirées d'une étude qui a examiné les expériences de 20 ONG qui ont utilisé un outil d'évaluation des capacités, l'auto-évaluation orientée vers la discussion (DOSA), pendant quatre ans.

L'outil ou la méthode d'évaluation doit :

1. Être intégré dans un processus de transformation plus large qui implique la définition de priorités pour le développement des capacités, la planification des activités et la mesure des résultats.
2. Être fondé sur une théorie du changement qui soit cohérente avec la mission et les objectifs de l'entité.
3. Faire la lumière sur les causes de la sous-performance, qui peuvent inclure des connaissances ou des compétences inadéquates ainsi qu'une faible motivation, un manque d'incitations, un soutien insuffisant de la part des superviseurs, des ressources insuffisantes ou d'autres facteurs.
4. Aider les utilisateurs à identifier comment les différentes capacités (par exemple, la prestation de services, les relations extérieures et la gestion stratégique) sont liées les unes aux autres pour améliorer la performance globale.
5. Promouvoir un dialogue riche entre les participants. Cela améliore considérablement le processus d'évaluation, car les connaissances acquises peuvent favoriser l'apprentissage et créer une vision commune pour guider les décisions futures. Le dialogue permet de développer le capital social, qui à son tour améliore les performances des entités axées sur la mission.

Des outils d'évaluation des capacités bien conçus font eux-mêmes partie du renforcement des capacités ; les outils doivent aider les participants à réfléchir de manière critique au quoi et au pourquoi de la performance. Le processus d'évaluation doit aider les utilisateurs à créer un environnement propice à une démonstration cohérente et continue des capacités. Un résultat important de l'évaluation des capacités est l'apprentissage, qui est une pierre angulaire de la résilience et de la capacité d'adaptation.

Et, en parlant d'adaptation, chaque projet doit développer ses propres approches et indicateurs d'évaluation, spécifiques et adaptés à ses objectifs généraux. Si le personnel du programme chargé de l'élaboration de ces outils intégrait une grande partie, voire la totalité, des leçons tirées de cet examen du paysage, les initiatives de renforcement des capacités gagneraient en efficacité.

Ce blog est basé sur le travail de Beryl Levinger. Pour en savoir plus, lisez le document complet de MOMENTUM intitulé Measuring and Assessing Capacity : A Landscape Review (2021).