• Enjeux et objectifs globaux de l'évaluation
• Démarche méthodologique de l'évaluation
• Principaux résultat de l’évaluation basés sur les critères « classiques » de l’opération
• Eléments de résultats basés sur les critères « spécifiques » de l’opération

Enjeu global 

L’enjeu global de l’évaluation est autant d’analyser le programme en lui-même que l’impact qu’a pu avoir la gestion intégrée sur les territoires (bonnes pratiques et critères limitant).

Objectifs directs de l’évaluation

• A l’échelle des sites pilotes / sites tests : évaluer les impacts objectifs et mesurables des divers projets réalisés sur le plan de :

• La gouvernance : actions sur la bonne gouvernance des risques au niveau territorial

• L’intégration : degré de connaissance et d’assimilation des divers acteurs impliqués dans l’opération de gestion intégrée des risques naturels (GIRN) ; et des différentes étapes que composent le cycle de gestion intégrée des risques

• L’innovation : changements imputables à la gestion intégrée dans la mise en relation entre acteurs du territoire et acteurs externes

• A l’échelle de l’opération (Massif des Alpes) : évaluer les conditions de mise en œuvre de l’opération, ses forces et ses faiblesses

Stratégie méthodologique développée par le PARN

La démarche qui a démarrée en 2011 pour se finaliser en 2013 s’est déroulée en 4 étapes :

(1) en 2011, rédaction par le PARN puis validation par le COPIL de la méthodologie de l’évaluation ;

(2) en 2012, production des outils d’évaluation (grille d’évaluation et questionnaires d’évaluation) ;

(3) en 2012 et 2013, collecte des données orales et écrites ;

(4) en 2012 et 2013, proposition des résultats de l’évaluation et de pistes de recommandations.

Les données produites ont essentiellement été qualitatives. En effet, la problématique de « gestion intégrée » nécessite l’émergence d’une gouvernance locale, aspect difficilement évaluable quantitativement. La collecte des données a ainsi combiné des éléments factuels (tels que les réalisations et productions des chargés de mission, les rapports, le nombre de réunions pondéré par le taux de participation, la diversité des acteurs réunis, etc.) avec des éléments discursifs recueillis auprès des acteurs des sites pilotes et de l’opération au travers d’entretiens semi-directifs.

Les résultats de la démarche territoriale ont été analysés au regard des critères de l’évaluation (pertinence, cohérence, efficacité, efficience, adaptabilité, impact, durabilité et reproductibilité) et de leurs indicateurs.

Pour en savoir plus

» Document technique des principes méthodologiques de la démarche » Rapport technique 2012 de l’axe 3 (cf. p. 10) » Annexes du rapport technique

Principales limites de l’évaluation

• Les acteurs des collectivités locales des sites pilotes qui se sont désistés (Syndicat Arlysère et Bourg-Saint-Maurice-les-Arcs) ont peu été rencontrés

• Les entretiens semi-directifs ont pour inconvénients de recueillir des informations qui dépendent des connaissances des personnes interrogées et de leur volonté d’accepter de répondre

Ces facteurs ont été pris en compte dans l’analyse des informations recueillies et ont été recoupées avec d’autres types de sources d’information comme les documents écrits et les dire d’autres types d’acteurs.

Pertinence de la démarche territoriale

"Le critère de pertinence a comme objectif d’estimer dans quelle mesure les objectifs de l'opération correspondent aux attentes, besoins et priorités des territoires bénéficiaires."

La gestion intégrée des risques naturels de par sa démarche méthodologique et sa spécificité partenariale et pluri- « acteurs » prend en compte les attentes et les besoins des acteurs des territoires, ainsi que l’avis des bénéficiaires de l’opération. Ces aspects intrinsèques au concept de GIRN rendent de fait les actions pertinentes que cela soit au niveau de :

• La mise en œuvre de l’opération sur les sites pilotes (cf. logique globale organisationnelle et opérationnelle de l’opération reconnue et acceptée par les sites pilotes)
• La mise en œuvre des projets sites pilotes, sur les sites tests (cf. actions reconnues comme répondant aux besoins locaux relatifs à la GIRN)

Néanmoins, le fait que la thématique de GIRN ne soit pas toujours perçue comme une préoccupation prioritaire par les collectivités locales a pu ralentir la réalisation de certaines actions.

Cohérence de la démarche territoriale

"La cohérence de l’opération peut être définie comme l’appréciation de l’intégration de l’opération et de ses actions dans son environnement au regard des moyens mobilisés qu'il s'agisse de moyens humains, financiers mais aussi du ou des dispositifs mis en œuvre aux différentes échelles territoriales."

La démarche territoriale et les actions qui en découlent s’intègrent globalement de manière cohérente avec leur environnement de par la nature même de la GIRN que cela soit :

• Au niveau des conditions de mise en œuvre de l’opération sur les sites pilotes
  • Articulation adéquate des différentes structures de l’opération
  • Importance des caractéristiques organisationnelles et territoriales de la structure porteuse (cf. rôle et positionnement des structures porteuses face aux collectivités locales)
• Au niveau des conditions de mise en œuvre de l’opération des projets des sites pilotes :
  • Place centrale du chargé de mission
  • Intégration des actions et outils mis en œuvre au niveau des collectivités locales en adéquation avec leur environnement territorial

Néanmoins la capacité d’autofinancement limitée des structures porteuses a pu entraîner un sous dimensionnement du budget des projets au niveau local ; ce qui a pu ralentir leur réalisation.

Efficacité et efficience de la démarche territoriale

"Mesurer l’efficacité de l’opération revient à évaluer si les objectifs de l'action ont été atteints au regard des résultats et réalisations obtenus. Cette mesure est essentiellement qualitative dans le cadre de cette opération."

"Mesurer l’efficience de l’opération a pour objectif d’évaluer si les résultats et réalisations obtenus sont à la hauteur des moyens humains, techniques et financiers mobilisés. L’évaluation porte sur la pertinence du choix de ces moyens au regard des avantages retirés."

Du fait de l’abandon de 2 des 5 sites pilotes, l’efficacité de l’opération est toute relative. Néanmoins les sites pilotes encore actifs fin 2013 ont eu une bonne efficacité. De plus, diverses mesures ont été mises en place afin d’optimiser l’efficacité des projets: démarches d’autodiagnostic (PRT), stratégie d’anticipation, recensement des contraintes, etc. Ceci a permis de réajuster le fonctionnement des projets aux besoins et de dépasser certains blocages territoriaux.

En revanche, l’efficience de l’opération est globalement forte au regard des dynamiques impulsées au niveau local ; et au vue des moyens financiers, techniques et humains engagés (cf. le site pilote de la vallée de la Maurienne avec le site pilote du pays du grand Briançonnais des Ecrins au Queyras ont permis avec 2 chargés de missions d’agir sur 4 sites tests et de mettre en place 10 actions entre 2010 et 2013).

Néanmoins, même si le développement de la GIRN ne demande qu’assez peu de moyens financiers, en revanche un fort investissement humain à court et moyen terme est nécessaire. Ainsi, le « turnover » d’acteurs locaux moteurs (cf. élus) a pu ralentir l’avancement de certaines actions et ainsi amputer leur efficience.

Durabilité (viabilité et pérennité) des sites pilotes et des actions des sites tests

"Le critère de durabilité des sites pilotes et des actions mises en œuvre au sein des sites tests peut être défini comme l’évaluation de la pérennisation des bénéfices après la réalisation de chaque action spécifique."

Les projets de l’opération ont débuté depuis moins de 4 ans et sont tous novateurs. Ainsi, leur niveau de durabilité est de fait difficilement perceptible (cf. pérennisation des outils mis en œuvre au niveau des sites tests, appropriation du concept de GIRN et de son « verbiage », etc.). De plus, la pérennité des projets est encore pleinement conditionnée par les financements extérieurs, l’action des chargés de mission et l’appui méthodologique du PARN.

Néanmoins, la mise en réseau des acteurs de la gestion intégrée doit être soulignée comme gage de durabilité, que cela soit à l’échelle des sites tests, des sites pilotes ou de l’opération.

Impacts de l’opération sur les territoires des sites pilotes et de leurs sites tests

"Le critère d’impact qui a été évalué a été défini comme suit : mesure des effets perceptibles à long terme, positifs et négatifs, primaires et secondaires, induits directement ou non, intentionnellement ou non par les projets et les actions menés sur la dynamique territoriale."

L’opération « sites pilotes » a eu de nombreux effets perceptibles positifs directs (cf. développement de la gouvernance locale des sites tests, mise en réseau d’acteurs autour de la GIRN, sensibilisation aux bénéfices apportés par le travail collectif) et indirects (cf. accélération de la mise en œuvre de PCS des sites tests de l’opération, concertation technique et politique renforcée). De nombreuses dynamiques territoriales novatrices ont ainsi pu être impulsées.

Il n’y a pas eu d’impacts négatifs mais plutôt des impacts dits "limitant". De plus, il est important de noter que l’instrumentalisation politique du projet a été évitée à toutes les échelles territoriales. Ce facteur est essentiel pour des actions dans lesquelles la gouvernance territoriale est au centre des préoccupations.

"L’adaptabilité est l’aptitude d’un projet à changer, à évoluer, à être flexible en fonction de son environnement tout en gardant les même objectifs principaux."

La présence de mesures spécifiques a permis d’anticiper les changements (cf. interaction continue entre le PARN, les sites pilotes et le COPIL) et de réagir au mieux face à l’évolution du contexte des territoires (cf. organisation régulière de COPIL, présence régulière des chargés de mission auprès des acteurs locaux, etc.). Ces aspects ont permis une évolution de la démarche méthodologique en cours d’action en l’adaptant à des critères, paramètres, ou besoins qui n’avaient pas été pris en compte ou identifiés à priori (cf. disponibilité des acteurs, contraintes techniques, etc.)

Néanmoins, la continuité ou l’arrêt de l’opération au niveau des sites tests et des sites pilotes dépend de décisions politiques des collectivités locales et des structures porteuses. De plus, la faible circulation des informations intra services a pu pénaliser sur le degré de réactivité des sites tests et des sites pilotes en cas de « turnover » d’acteurs locaux moteurs.

Reproductibilité / transférabilité des projets au niveau des sites tests

"La reproductibilité est la mesure qui va permettre d’évaluer jusqu’à quel point l’expérience acquise peut être capitalisable pour et par une ou plusieurs autres structures sur d’autres territoires."

Les actions initiées par les sites pilotes ont été réfléchies afin de répondre davantage aux critères de pertinence, de cohérence, d’impact et d’adaptabilité qu’aux critères de reproductibilité et de transférabilité. La compilation des documents et informations des sites pilotes / sites tests dans l’objectif de transférer les actions doit se faire avec les sites pilotes, mais à une échelle plus grande, celle de l’opération. Le PARN prend en charge cette démarche de transférabilité de l’opération et de chacune de ses actions sur la base des outils mis en place par les chargés de mission (cf. comptes rendus de réunion ; power-points de présentation ; PRT ; etc.) et de l’organisation d’échanges et de réunions avec les chargés de mission (cf. atelier de capitalisation).

Néanmoins il est incontestable que certaines actions ont un degré de reproductibilité limité lié à leur très fort ancrage au contexte territorial.

Pour en savoir plus

» Rapport technique 2012 de l’axe 3 -> p. 19