Evaluation à mis-parcours du programme PACTE pour le Développement Durable

Report Cover Image
Evaluation Plan:
2019-2023, Burundi
Evaluation Type:
Mid Term Project
Planned End Date:
11/2017
Completion Date:
08/2017
Status:
Completed
Management Response:
Yes
Evaluation Budget(US $):
38,614

Share

Document Type Language Size Status Downloads
Download document IC Evaluation PACTE 2017.docx tor English 50.73 KB Posted 163
Download document EMP-PACTE-draft (3).docx report French 6290.26 KB Posted 84
Download document EMP-PACTE-FINAL.docx report French 6360.79 KB Posted 86
Title Evaluation à mis-parcours du programme PACTE pour le Développement Durable
Atlas Project Number: 00090411
Evaluation Plan: 2019-2023, Burundi
Evaluation Type: Mid Term Project
Status: Completed
Completion Date: 08/2017
Planned End Date: 11/2017
Management Response: Yes
Focus Area:
  • 1. Others
Corporate Outcome and Output (UNDP Strategic Plan 2014-2017)
  • 1. Output 1.1. National and sub-national systems and institutions enabled to achieve structural transformation of productive capacities that are sustainable and employment - and livelihoods- intensive
  • 2. Output 1.5. Inclusive and sustainable solutions adopted to achieve increased energy efficiency and universal modern energy access (especially off-grid sources of renewable energy)
Evaluation Budget(US $): 38,614
Source of Funding: TRAC
Evaluation Expenditure(US $): 38,614
Joint Programme: No
Joint Evaluation: No
Evaluation Team members:
Name Title Email Nationality
Remi Stoquart Mr. remistoko@gmail.com
GEF Evaluation: No
Key Stakeholders:
Countries: BURUNDI
Lessons
1.

Leçons pour le PNUD :

  • Comme l’analyse dans le présent rapport l’a démontré à maintes reprises, la formulation vague et peu opérationnelle du PACTE a beaucoup influé sur l’efficacité et l’efficience du programme. Comme le dit le dicton populaire, « ce qui se conçoit bien s’énonce clairement ». Dans le cas du PAIR, on peut constater qu’un effort méthodologique du PNUD aurait dû être fait au moment même de la formulation. Les différentes unités en charge de la validation du Programme au sein du PNUD auraient dû faire preuve de vigilance quant au périmètre d’intervention proposé, aux thématiques retenues, à la formulation des résultats, au choix des activités, et ce, jusqu’au choix du vocabulaire et de la qualité du niveau de français. Et si le partenaire a effectivement été associé aux premières moutures du PRODOC, la validation finale s’est faite en vase clos et l’on ne saurait demander aux partenaires de se substituer au suivi qualité qui est de la seule responsabilité du PNUD pour de tels documents, si déterminants dans la vie d’un cycle de projet. La leçon à retenir pour l’avenir est de veiller à instaurer un système de suivi-qualité des documents de projets, des rapports annuels ou de tout autre document destiné à être communiqué.
  • Une autre incidence réside dans le fait que les thèmes transversaux n’ont pas été correctement abordés, que ce soit les questions relatives au genre ou à l’environnement, ou encore le suivi-évaluation pour ne citer que ceux-là. De la même façon, la leçon à en tirer est de veiller à l’avenir à faire circuler ces documents pour une analyse croisée par les spécialistes au sein du PNUD dans les domaines concernés (suivi-évaluation, genre, environnement, changement climatique). Seule leur lecture critique, leurs avis et commentaires seront à même de légitimer et de valider les documents de projets ou les rapports annuels.
  • Dernière incidence de cet état de fait : au regard de des incohérences et lacunes du PRODOC, il devenait impossible à quiconque de contrôler la direction vers laquelle allait le projet et le CTP était de ce fait « en roue libre » avec aucun moyen de contrôle de son travail. C’est une autre leçon à tirer : plus les outils de monitoring seront bien définis et partagés, plus les niveaux de contrôle seront clairement définis en amont, meilleure sera la supervision du projet. Et cette logique doit aussi impérativement associer les bénéficiaires du projet afin de les responsabiliser et de les impliquer à tous les stades du cycle de projet.
  • Les réorientations apportées par le nouveau CTP vont toutes dans le bon sens et peuvent se résumer ainsi : partage et confiance réciproque. Cet état d’esprit a déjà porté ses fruits et contribue déjà à jouer sur l’efficience du programme. Les problèmes rencontrés, les perspectives et les leçons apprises vont pouvoir désormais nourrir la réflexion commune et permettre des ajustements rapides, sans avoir à attendre l’évaluation finale.
  • La réorientation proposée dans le rapport (cf. point 5.2 ci-après) autour du développement économique local et de l’appui à la maîtrise d’ouvrage locale peut permettre au PNUD de se positionner dans une niche et une thématique primordiale pour le développement local. Stratégiquement, à un moment où la plupart des PTF sont en retrait, le PNUD peut creuser son sillon et préparer l’avenir, sans pression particulière et avec une certaine garantie que cette théorie du changement puisse être source de financement supplémentaire de la part d’autres bailleurs, pour peu que le projet se réoriente vers des activités tangibles promouvant l’efficacité et des résultats opérationnels.

 

Leçons pour le Gouvernement du Burundi (MDC) :

  • La durabilité du PACTE est avant tout tributaire de la capacité opérationnelle des partenaires bénéficiaires, au premier rang desquels se trouve le MDC. Ce n’est un secret pour personne : le MDC est un ministère sous-staffé et sa capacité opérationnelle demeure très limitée. Si le PNUD doit garder la relation de confiance et d’estime qu’il a construite au fil des ans, il doit aussi savoir se montrer plus exigeant par rapport aux résultats attendus et aux engagements pris. Le MDC doit pouvoir tirer la leçon de ces débuts pénibles du PACTE. Dans un futur proche, le MDC aurait tout intérêt à s’impliquer mieux dans le PACTE qui constitue tout de même une opportunité de soutien financier et humain conséquent, dans un contexte politique où les appuis des PTF se font rares.
  • Pour approfondir cette question, le MDC a aussi pris conscience avec la mission d’évaluation et les nombreux échanges avec le Coordonnateur du PACTE au ministère, de la nécessité d’être plus présent sur le terrain pour mieux accompagner la mise en place des équipes de la MDP. Il est attendu que le MDC en tire des enseignements opérationnels avec la mise en place d’une équipe dédiée au suivi du PACTE (cf. recommandations dans la section suivante).
  • Une autre leçon à tirer pour le MDC réside dans la nécessité d’assurer la cohérence entre les structures partenaires bénéficiaires du PACTE qui sont sous son autorité (CNFAL, FMCR et FONIC). Une programmation commune des missions de terrain, un partage régulier d’informations sur l’état d’avancement des actiovités, des correspondances plus régulières entre institutions sont autant de gages d’une meilleure efficacité du PACTE.
  • Lors de l’entretien que la mission avec Mme la ministre, celle-ci a insisté sur la nécessité de « viser des activités à impact visible ». Il revient au MDC d’évaluer dans quelques mois, idéalement à la fin de l’année, si les activités mises en œuvre concourent effectivement à l’obtention d’impacts visibles. Le MDC est très conscient de ces contraintes et a déjà tiré quelques leçons en demandant au PNUD de réaffecter certaines activités initialement prévues au profit de projets relatifs au DEL et aux chaines de valeur.

 


Findings
1.

Cohérence du programme

Bien que la formulation soit le fruit d’une démarche collective, la logique d’intervention du PACTE est vite apparue comme exogène aux réalités politiques et locales, et ce, indépendamment du contexte politique et sécuritaire qui a sévi en 2015.

Sur le fond, le PRODOC comporte un grand nombre d’incohérences et de lacunes : des résultats dont les intitulés varient au fil des PTA, des résultats qui se confondent avec des activités, un nombre de produits très important et des attentes démesurées dans la formulation. En filigrane, se pose la question de savoir quelle théorie du changement était initialement recherchée dans le cadre du PACTE.

Performance du Programme

Au regard des objectifs démesurément ambitieux fixés originellement, le programme souffre d’une efficacité très faible. Si la crise de 2015 a considérablement affecté le PACTE, tant dans sa logique que dans ses résultats, celle-ci n’explique pas tout. Si l’on compare les objectifs fixés au départ et ceux atteints à ce jour, on constate un fossé très important entre les intentions affichées et la réalité de ce que le PACTE a effectivement réalisé sur le terrain.  Cela amène logiquement à la question de savoir, d’une part, si les activités prévues peuvent mener aux résultats escomptés, et d’autre part, si cette EMP n’est pas l’occasion de revoir ces objectifs et de clarifier les intentions du PACTE.

Dans les faits, le PACTE n’a pas suivi la logique du PRODOC (logique des 3x6 rapidement abandonnée, la crise aidant le partenariat avec les autres PTF n’a pas eu lieu), sans que cette clarification ne soit jamais menée.

Cela a abouti à un financement à la demande, donnant l’impression que les PTA 2015 et 2016 finançaient les besoins des partenaires au « coup par coup » (avec des activités qui ne sont pas dans le cadre de résultats) et non pas ceux du projet.

Efficience du Programme

Du fait d’un rapportage ne permettant pas de saisir les difficultés rencontrées et ne montrant pas le niveau d’atteinte des objectifs (« result oriented »), les principaux problèmes rencontrés, les perspectives pour l’année suivante et les leçons apprises ne reflètent pas le niveau de difficulté auquel le programme a dû faire face.

Jusqu’à encore très récemment, la plupart des résultats du PRODOC n ‘étaient pas planifiés. Par conséquent, les partenaires n’avaient pas de lisibilité sur l’ensemble de la démarche et sont restés, jusqu’à ce début d’année, très perplexes sur l’objectif réel du PACTE.

Durabilité du Programme

 

A ce stade, la question de la durabilité ou de la durabilité probable du PACTE reste très difficile à apprécier. Cela reste prématuré d’analyser la probabilité que les résultats perdurent après la finalisation des aides extérieures, alors que celles-ci sont à peine lancées.

Le contexte politique et sécuritaire ne peut pas être écarté pour mesurer la durabilité probable du projet. Dans un contexte où la plupart des PTF ont quitté le champ du développement local et surtout de l’appui institutionnel aux politiques de déconcentration et de décentralisation, le PACTE demeure un projet isolé à plus d’un titre.

Impact du Programme

Apprécier l’impact d’un programme qui a à peine démarré relève d’une gageure. C’est d’autant plus difficile pour un programme d’appui institutionnel, dont l’impact se mesure sur un temps long. A ce jour, l’impact du PACTE est très difficilement mesurable, ce d’autant que les indicateurs d’impact ont varié d’une année sur l’autre. Une analyse détaillée de ces indicateurs et cibles atteste d’une réalité : le fossé entre les objectifs affichés et la réalité. Il est aussi regrettable qu’il n’y ait pas eu d’étude de référence au début du Programme.


Recommendations
1

Améliorer la gestion du PACTE par le PNUD

2

Renforcer le rôle du Ministère et mieux internaliser ses compétences

3

Capitaliser, diffuser et préparer le retrait du PACTE

4

Améliorer la qualité de la présence de l’UGP sur le terrain

5

Mettre l’accent sur le renforcement du potentiel fiscal des communes

6

S’assurer d’une meilleure implication des communautés bénéficiaires

7

Réviser le document de projet PACTE

 

1. Recommendation:

Améliorer la gestion du PACTE par le PNUD

Management Response: [Added: 2017/08/14] [Last Updated: 2017/08/16]

Acceptée.

  • Cette recommandation est classée à la fois « stratégique » et « urgente » sur la base des observations faites par l’évaluateur. Cela permettra une amélioration de la qualité de mise en œuvre du projet telle que observée par l’évaluateur.
  • Cette recommandation est considérée comme une nécessité d'améliorer  la façon que le projet sera gérée et de mettre en place les outils nécessaires, tout en impliquant le personnel du projet. L’évaluateur a également noté qu’il y a des outils qui existent depuis 2017, notamment en rapport avec la gestion budgétaire et la gestion des partenaires. En outre, il y a eu cette année une formation des partenaires sur la justification des avances et un atelier d’orientation de mis en œuvre du PTA 2017. Cela permet à ce que la gestion et suivi du projet soient  inclusif au niveau des partenaires.

Depuis sa mise en œuvre, les outils de gestion des risques et problèmes ont été utilisés, avec une planification et suivi des activités de suivi/communication dans ATLAS.

Key Actions:

Key Action Responsible DueDate Status Comments Documents
Développer et mettre en œuvre le plan de suivi et évaluation du Projet , le plan de suivi existe.
[Added: 2017/08/16] [Last Updated: 2018/06/06]
Unité Suivi et Evaluation, Unité UDDCE et équipe du projet 2017/12 Completed History
Mettre en œuvre l’outil de gestion budgétaire du PACTE
[Added: 2017/08/16] [Last Updated: 2018/06/06]
unité UDDCE et équipe du projet 2017/12 Completed Cet outil a été développé au cours de cette année et doit être mis à jour. Une formation sur la justification des avances a été organisée à l'intention des partenaires de mise en oeuvre du projet History
Mettre en œuvre l’outil de gestion des partenaires
[Added: 2017/08/16]
UDDCE et équipe du projet 2017/08 Completed Cet outil nécessite d'être mis en oeuvre par les partenaires
Mettre en œuvre l’outil de gestion des partenaires
[Added: 2017/08/16]
UDDCE et équipe du projet 2017/08 Completed Cet outil nécessite d'être mis en oeuvre par les partenaires
Mettre en œuvre l’outil de gestion des partenaires
[Added: 2017/08/16]
UDDCE et équipe du projet 2017/08 Completed Cet outil nécessite d'être mis en oeuvre par les partenaires
Élaborer des plans trimestriels et son plan de décaissement
[Added: 2017/08/16] [Last Updated: 2018/06/06]
Equipe Projet 2017/12 Completed Le plan trimestriel et son plan de décaissement pour le trimestre 3 existe. History
2. Recommendation:

Renforcer le rôle du Ministère et mieux internaliser ses compétences

Management Response: [Added: 2017/08/14] [Last Updated: 2017/08/16]

Partiellement acceptée.

  • Cette recommandation est classée à la fois « opérationnelle » et « importante à mettre en œuvre » et une partie de cette recommandation doit être mise en œuvre par le Ministère sur la base des observations faites par l’évaluateur.
  • Le bureau pays à travers le projet a organisé en avril 2017 un atelier d’orientation de mise en œuvre du plan de travail de l’année. L’un des produits de cet atelier est une matrice des rôles/responsabilités des partenaires y compris le Ministère. Le Ministère devra utiliser cet outil pour coordonner la mise en œuvre des activités. En outre, le bureau pays a réhabilité deux maisons du développement et de la paix (MDP). Les équipements pour faire fonctionner ces MDP ont été achetés dans les années passées. Cette année, le bureau pays a transféré trois véhicules au Ministère pour appuyer la coordination et le suivi régulier des activités dans les provinces de Bujumbura, Makamba et Rumonge.
  • L’évaluateur a noté que le Ministère doit respecter ses engagements contractuels dans la mise en œuvre du projet.

Il ressort de cette recommandation que le bureau pays doit multiplier les cadres d’échange avec le Ministère sur le planification et suivi de mise en œuvre du projet.

Key Actions:

Key Action Responsible DueDate Status Comments Documents
Organiser des réunions d’échange avec le Ministère
[Added: 2017/08/16] [Last Updated: 2018/06/06]
L'unité UDDCE et équipe du projet 2017/12 Completed Le bureau pays à travers le projet a organisé en avril 2017 un atelier d’orientation de mise en œuvre du plan de travail de l’année. L’un des produits de cet atelier est une matrice des rôles/responsabilités des partenaires y compris le Ministère. Le Ministère devra utiliser cet outil pour coordonner la mise en œuvre des activités. History
3. Recommendation:

Capitaliser, diffuser et préparer le retrait du PACTE

Management Response: [Added: 2017/08/14] [Last Updated: 2017/08/16]

Acceptée.

  • Cette recommandation est classée à la fois « stratégique » et « urgente » sur la base des observations faites par l’évaluateur.

Cette recommandation est considérée comme une nécessité de documenter les leçons apprises et  seront capitalisées pour l'élaboration d'une stratégie de sortie du projet. Vu les observations de l’évaluateur sur la description du projet ainsi que sa mise en œuvre, il ressort aussi une nécessité de réviser le document du projet afin de clarifier la logique d’intervention du projet.

Key Actions:

Key Action Responsible DueDate Status Comments Documents
Mettre en place un outil de capitalisation des leçons apprises
[Added: 2017/08/16] [Last Updated: 2018/06/07]
Unité Communication, UDDCE et équipe du projet 2018/03 Completed - L’outil corporate (journal des leçons apprises) est utilisé. - La revue annuelle du projet est un espace utilisé pour discuter et valider avec les partenaires sur les leçons apprises. History
3.3. Développer une stratégie de sortie du projet
[Added: 2017/08/16] [Last Updated: 2018/06/07]
Direction PNUD, UDDCE et équipe du projet 2017/12 Completed C’est fait. History
4. Recommendation:

Améliorer la qualité de la présence de l’UGP sur le terrain

Management Response: [Added: 2017/08/14] [Last Updated: 2017/08/16]

Partiellement acceptée.

  • Cette recommandation est classée à la fois « opérationnelle » et « importante à mettre en œuvre » et une partie de cette recommandation doit être mise en œuvre par le Ministère à travers les Maisons du Développement et de la Paix sur la base des observations faites par l’évaluateur.
  • La présence effective de l'UGP sur le terrain peut  faire à travers  les actions des partenaires de mise en œuvre et les appuis directs aux communes.

Il ressort de cette recommandation que le bureau pays doit négocier avec le Ministère le remplacement des trois VNU Internationaux qui était affecté sur le terrain par les VNU Nationaux.

Key Actions:

Key Action Responsible DueDate Status Comments Documents
Recruter un expert national en développement local
[Added: 2017/08/16] [Last Updated: 2018/06/07]
Ressources Humaines Equipe du projet 2017/12 No Longer Applicable [Justification: Le processus du recrutement a été lancé en 2017 mais mis en suspense vu qu’il y a nécessité de revoir d’abord le projet donc, les besoins en personnel.]
Le processus du recrutement a été lancé en 2017 mais mis en suspense vu qu’il y a nécessité de revoir d’abord le projet donc, les besoins en personnel. History
Négocier avec le Ministère le remplacement des VNU Internationaux affectés sur le terrain par les VNU nationaux
[Added: 2017/08/16] [Last Updated: 2018/06/07]
Direction 2018/01 No Longer Applicable [Justification: Les négociations ont eu lieu mais la décision finale a été de fermer le bureau de terrain à Makamba.]
Les négociations ont eu lieu mais la décision finale a été de fermer le bureau de terrain à Makamba. History
5. Recommendation:

Mettre l’accent sur le renforcement du potentiel fiscal des communes

Management Response: [Added: 2017/08/14] [Last Updated: 2017/08/16]

Partiellement acceptée.

  • Les piliers clés proposés pour la nouvelle programmation du projet sont : Développement économique local et l’appui à la maîtrise communale. Il reste maintenant à savoir le cadre des résultats adopté pour le document du projet révisé.
  • A travers le PACTE, le PNUD a un partenariat avec UNDCF sur le processus SAFIC, l’accord était étendu sans coût jusqu’au mois d’octobre 2017 – date à laquelle les résultats de ce processus seront connus. Le processus SAFIC contribue à la mise en œuvre de la stratégie nationale du développement économique local à travers l’axe du « Développement Financier ».

Par conséquent, il ressort de cette recommandation que le bureau pays doit suivre la mise en œuvre du processus SAFIC pour que les résultats du processus soient connus.

Key Actions:

Key Action Responsible DueDate Status Comments Documents
Documenter les résultats du processus SAFIC.
[Added: 2017/08/16] [Last Updated: 2018/06/07]
Equipe de Projet 2018/04 Completed Done History
6. Recommendation:

S’assurer d’une meilleure implication des communautés bénéficiaires

Management Response: [Added: 2017/08/14] [Last Updated: 2017/08/16]

Acceptée.

  • Cette recommandation est classée à la fois « stratégique » et « urgente » sur la base des observations faites par l’évaluateur.
  • Le processus de planification annuelle du projet tient compte des besoins des bénéficiaires par le biais des Gouverneurs des provinces dans la réunion du Comité de Pilotage. Cela permet l’orientation des actions par rapport aux besoins des populations à la base.
  • Par rapport aux observations faites par l’évaluateur, il ressort de cette recommandation qu’un effort d’appui de proximité plus soutenu d’explication, d’écoute et d’accompagnement individualisé des communes est souhaité.

L’Unité de Communication du bureau pays avait collecté et publié un article sur les témoignages des bénéficiaires des microcrédits.

Key Actions:

Key Action Responsible DueDate Status Comments Documents
Organiser les missions de terrain pour écouter les avis des bénéficiaires et collecter les témoignages par rapport à l’appui du projet. Cela sera fait à travers la mise en œuvre du plan de suivi du projet
[Added: 2017/08/16] [Last Updated: 2018/06/07]
Unité Suivi/Evaluation, UDDCE et équipe du projet 2017/12 Completed Les tdrs des missions de terrain et de suivi ont été produits. History
7. Recommendation:

Réviser le document de projet PACTE

 

Management Response: [Added: 2017/08/14] [Last Updated: 2017/08/16]

Acceptée.

  • Cette recommandation est classée à la fois « stratégique » et « urgente » sur la base des observations faites par l’évaluateur.
  • L’évaluateur a noté qu’il y a une nécessité de réviser document du projet PACTE par rapport au contexte actuel du Burundi et d’avoir une logique conforme à la gestion de cycle du projet.

Il ressort de cette recommandation que le bureau pays doit mettre en place un processus inclusif/consultatif pour la révision du document de projet PACTE.

Key Actions:

Key Action Responsible DueDate Status Comments Documents
Produire un document de projet révisé
[Added: 2017/08/16] [Last Updated: 2018/08/26]
Bureau pays, Unité Suivi/Evaluation, UDDCE et équipe du projet 2018/12 Overdue-Initiated Les Tdrs pour le recrutement d'un consultant pour l'élaboration du nouveau document de projet a été produit( on going) History

Latest Evaluations

Contact us

220 East 42nd Street
20th Floor
New York, NY 10017
Tel. +1 646 781 4200
Fax. +1 646 781 4213
erc.support@undp.org