Evaluations prescrites et évaluations orientées vers l'action

Actuellement, les associations doivent répondre à des exigences toujours plus précises posées par les pouvoirs subsidiants, notamment en termes quantitatifs, et ce sur des périodes parfois de plus en plus courtes. Or, pour la plupart, leur action est avant tout une action qualitative, qui s'étend sur le moyen et le long terme.
Nous avons rencontré Cécile Paul du CESEP qui accompagne les associations dans la mise en place de processus d'évaluation. En nous livrant son analyse de la situation actuelle, elle nous dit qu'au-delà de l'évaluation qui leur est demandée institutionnellement, et qui pour une bonne part relève de la justification, il reste aux associations une marge de manœuvre essentielle pour introduire dans leurs pratiques d'évaluation des éléments d'analyse plus qualitatifs. En mettant volontairement ce type d'informations à la disposition des pouvoirs publics ou des pouvoirs organisateurs, elles contribuent à faire évoluer les conceptions de l'évaluation dans le secteur associatif et, dans la foulée, les politiques mises en place…



Les évaluations attendues

S-A.G : Quel type d'évaluation les associations sont-elles aujourd'hui amenées à fournir ?
C.P : On assiste ces derniers temps à une exigence d'évaluation qui est repositionnée dans quasi tous les décrets. Néanmoins, ce qui est attendu sous le vocable 'évaluation' peut recouvrir des concepts et des pratiques en réalité très diversifiés : justification de moyens, justification de volumes d'activité, évaluation des objectifs de l'action et de sa mise en œuvre, autoévaluation… Les attentes étant différentes en fonction des décrets, des conventions ou des appels à projets, cela donne lieu sur le terrain à beaucoup de confusions.

 

S-A.G : Quels sont les autres constats en matière d'évaluation sur le terrain ?
CP : Depuis de nombreuses années, sous la pression des chiffres à fournir, il y a un rétrécissement de la question de l'évaluation vers le quantitatif. La tendance est générale, et les gens confondent littéralement 'justification' et 'évaluation d'un projet' (vérifier si l'on a rempli ses principales missions, touché de nouveaux publics, atteint ses objectifs, fait de bons choix méthodologiques…). La justification fait partie de l'évaluation mais ce n'en est qu'une toute petite partie. Elle résulte d'une demande qui est légitime de la part d'un pouvoir subsidiant octroyant des moyens financiers mais, concrètement, elle demande la mise en place d'outils de gestion qui sont différents de ceux nécessaires pour l'évaluation intrinsèque de l'action. Souvent, la confusion de ces deux notions donne lieu sur le terrain à des pratiques d'évaluation, notamment en termes de choix d'indicateurs, fortement limitatives et souvent incohérentes. Les gens ne comprennent plus ce qu'ils sont en train d'évaluer.

De même, les 'évaluations' sont encore généralement réalisées annuellement (ou par semestre, voire par trimestre) alors que l'on se trouve dans un secteur où l'on travaille avec des publics et sur des processus (apprentissage, accès à la culture, participation, citoyenneté, éducation permanente…) qui durent beaucoup plus longtemps et dont le difficile quotidien de la mise en œuvre s'encombre peu d'une planification conforme à l'année scolaire ou calendrier ! On demande parfois aux gens d'évaluer s'ils ont atteint leurs objectifs dans des durées de temps qui ne sont pas du tout cohérentes par rapport à la durée des projets sur lesquels ils travaillent. Dans le même ordre d'idées, il y a parfois dès le départ une contradiction entre la durée de subventionnement d'un projet et le résultat attendu qui demande un investissement sur une durée beaucoup plus longue. Si l'évaluation est bien menée, elle ne peut que confirmer cet état de fait. Cela ne veut pas dire que les gens n'ont pas travaillé, et que ce qu'ils ont fait sur le temps donné n'était pas pertinent, au contraire. Cela permet juste d'acter que l'évaluation n'est pas le moment où on tente de démontrer envers et contre tout la réa-lisation d'un objectif déjà irréaliste au départ.

Ce qu'on note aussi dans le secteur, c'est une introduction progressive des méthodes d'évaluation qui viennent du privé, en ce compris tout ce qui relève de l'évaluation du personnel, de son parcours professionnel, de sa motivation… On constate souvent une confusion entre 'l'évaluation de projets' et 'l'évaluation individuelle des travailleurs' dans une organisation. La première relève du pilotage de l'action au sens large, et la seconde de la gestion des ressources humaines, plus individuelle. Or, les moments, les lieux sont parfois les mêmes et cela pose d'énormes questions tant méthodologiques qu'éthiques. Dans une organisation, il y a évidemment un lien entre ces deux notions mais une fois encore les outils et les pratiques sont fondamentalement différents.

 

S-A.G : Pourquoi les associations sont-elles aujourd'hui amenées à se faire accompagner pour réaliser leur évaluation ?
C.P : Cela fait plus d'une dizaine d'années que le CESEP propose pour le secteur associatif des formations à l'évaluation. Mais pas n'importe lesquelles : nous tentons d'amener les équipes à réintégrer l'évaluation comme processus continu qui questionne le sens de l'action et les pratiques professionnelles. Néanmoins, il est vrai que ce n'est que depuis 4-5 ans que les associations font plus systématiquement appel à nous. Pourquoi cela s'est-il accéléré ? Parce que, de manière transversale aux différents secteurs, le concept de 'l'autoévaluation' s'est imposé dans de nombreux décrets ces dernières années et que, paradoxalement, malgré son intérêt au regard de tout ce que j'ai raconté précédemment, sa mise en œuvre est loin d'être facile. Pour faire simple, en plus de la justification de l'utilisation des moyens, il est demandé aujourd'hui à bon nombre d'associations de construire elles-mêmes une démarche d'évaluation plus qualitative à moyen terme (généralement le temps d'un contrat-programme) sur leur plan d'actions, d'en livrer une analyse, et d'en dégager des perspectives. En soi, il s'agit d'une bonne évolution dans le sens où l'on oblige institutionnellement les gens à repenser un peu plus qualitativement l'évaluation, et à apprendre à construire ce processus au regard de leur spécificité sectorielle, de territoire, de public(s)… Mais cela pose une difficulté essentielle : c'est un peu comme si on faisait au quotidien du 180° : entre la grille préformatée dans laquelle depuis des années je dois introduire des données qui n'ont pas toujours beaucoup de sens pour moi et… la page blanche, intitulée également 'évaluation', où tout est possible, la panique est un peu généralisée ! Comment s'outiller méthodologiquement pour pratiquer l'autoévaluation et objectiver les pratiques ? Par qui cette autoévaluation doit-elle être menée dans les organisations ? avec qui ? pour qui ? Ce sont des questions qui sont aujourd'hui quotidiennes dans les associations. Par ailleurs, chacun sait que l'évaluation pose énormément de questions en termes de fonctionnement d'équipe, en termes organisationnels et institutionnels. Elle interroge bien d'autres choses que les activités en elles-mêmes. Ce serait donc un leurre de croire que toutes les associations y sont acquises avec la même ouverture.

Parfois, nous jouons aussi un peu le rôle de 'pompier'. On nous appelle quand la situation devient critique, qu'il est nécessaire de questionner le projet, sa place dans l'organisation… Nous accompagnons les équipes. Heureusement, je crois sincèrement que l'augmentation de la demande d'accompagnement vient aussi fondamentalement d'une envie des associations de mieux évaluer, d'aller chercher les bonnes informations, de gagner en crédibilité en matière d'analyse et de questionnements, tout simplement pour mieux valoriser et défendre leur projet.

L'accompagnement ce n'est cependant pas seulement une question de compétences méthodologiques. L'enjeu de se faire accompagner, pas seulement par un intervenant externe d'ailleurs, c'est aussi d'avoir quelqu'un de 'bienveillant' qui vient interroger différemment les choses. Par essence, c'est très difficile de s'autoanalyser, de poser un regard à la fois juste et décalé sur ses pratiques, d'oser se poser les bonnes questions et d'aller chercher les informations qui permettent d'y répondre.

Pour sortir des discussions où l'on reste sur l'impression (" je pense que ", " je crois que ", " j'ai le sentiment que "), pour par exemple enfin distinguer 'évaluation' (" ce que nous avons fait était cohérent, pertinent… ") et 'satisfaction' (" nous sommes ou ils sont contents "), il est nécessaire de mettre en œuvre des pratiques d'évaluation qui tiennent un tant soi peu la route. C'est surtout en cela que nous accompagnons les équipes. Quand on dit par exemple qu'un stagiaire a été 'acteur' de son processus de formation, qu'est-ce que cela veut dire ? Est-ce que l'on compte le nombre de fois où il a été présent, ou est-ce que l'on observe, au cours du processus de formation, la manière avec laquelle il a pris sa place dans le groupe ou dans le parcours qui lui a été proposé ?

Ce qui est très compliqué pour nous, c'est de démystifier l'éva-luation, de montrer l'intérêt qu'elle peut avoir, sans pour autant qu'elle devienne un frein à la mise en place des activités.

 

Les évaluations souhaitables

S-A.G : Du point de vue des bénéficiaires cette fois, quelles seraient les évaluations 'souhaitables' ?
C.P : Fondamentalement, dans une organisation comme Lire et Ecrire, elles seraient pour moi au moins de deux types. Il y a d'une part l'identification des acquis des apprenants : avec quoi repartent-ils concrètement comme bagage après leur passage dans vos groupes (lecture, écriture, compréhension du monde,…) ? En corollaire, il s'agit au minimum de nous interroger comme professionnels sur les contextes ayant facilité ou non ces apprentissages, et sur la pertinence de nos méthodes (formation, animation, accompagnement individualisé…) et ou-tils de travail. L'autre niveau d'évaluation qui me parait souhaitable concerne bien entendu leur parcours chez vous et les processus qui l'accompagnent : quel chemin avons-nous parcouru ensemble ? qu'en avons-nous appris ? qu'en avons-nous fait ? que l'apprenant soit allé ou non au bout de la formation. On a fait un trajet avec un certain nombre de stagiaires ; certains nous ont quittés, d'autres sont restés. C'est intéressant de recueillir des éléments d'évaluation qui portent sur tous les trajets, et pas seulement sur ceux qui sont 'valorisables' en termes de subventionnement. En quoi les parcours, quels qu'ils soient, ont-ils été constructifs ou non ? difficiles ou non ? En quoi ont-ils nourri un processus plus large de construction personnelle, collective ? Etc. Poser ces questions, analyser ces résultats et les diffuser, c'est s'obliger à colorer un peu les indicateurs parfois simplistes et fortement individualisés qui réduisent chaque stagiaire à son seul statut de participant 'modèle', 'consommateur', ou 'perdu' dans une formation !

De mon point de vue, l'évaluation souhaitable pour les bénéficiaires, c'est bien entendu aussi celle qui est fondamentalement conçue pour interroger les pratiques professionnelles, et plus largement les politiques. D'où l'immense enjeu de rompre avec l'autocensure ambiante, ou à l'inverse l'autocongratulation, et d'oser rendre publiques des analyses de qualité, réalisées en interne, qui objectivent et éclairent les modes d'intervention, les processus, leurs résultats, leurs impacts. L'enjeu de l'évaluation est bien à mon sens qu'il y ait une forme d'adéquation continue des politiques et des pratiques à la réalité, aux attentes et aux besoins sociaux actuels, et de certains publics en particulier. S'il n'y a pas cette perspective, l'évaluation n'a pas beaucoup d'intérêt pour les bénéficiaires. Elle devient uniquement un outil de gestion organisationnelle.

 

S-A.G : Quelles sont les conditions à la réalisation d'une évaluation telle que vous la défendez au CESEP ?
C.P : Mettre en œuvre ce type de pratiques nécessite du temps mais permet vraiment d'en gagner par la suite. Cela permet de ne pas répéter plusieurs fois les mêmes erreurs par exemple ou, plus fréquemment, de se tromper d'hypothèse dans la réorientation d'un projet. Cela exige aussi, idéalement, que l'ensemble de l'organisation, les travailleurs, les bénévoles, le conseil d'administration… clarifient quels sont leurs enjeux et leurs intérêts dans le processus d'évaluation et quelle place ce processus doit prendre dans le quotidien de l'association : que veut-on évaluer ? pourquoi est-ce important pour nous ? à quoi cela va-t-il servir ? comment allons-nous nous y prendre ? ...

Tout simplement, il faut aussi qu'au niveau organisationnel ou institutionnel, il y ait un espace qui permette de penser et de travailler dans ce sens : est-ce que l'on peut sereinement interroger les pratiques ? est-ce que l'on peut travailler par essais et erreurs, interrogations, réajustements ? est-ce qu'il y a un espace pour de nouvelles propositions, pour amener, avec un peu de souplesse, un certain nombre de changements ? Si l'on s'engage dans l'éva-luation sans garantie (ou sans volonté) de pouvoir un minimum aménager le futur au regard des résultats obtenus, la situation risque rapidement de devenir inconfortable…

Une autre condition, et on en a déjà parlé, est que l'information puisse circuler dans l'association, même de façon confidentielle, et que les évaluations, en tant que pratiques, puissent être consi-dérées et vécues comme des démarches en soi constructives. Cela nécessite par exemple, au niveau d'une équipe, qu'il y ait une relation de confiance suffisamment construite pour que des informations et des questions qui sont essentielles à l'évaluation de l'action puissent être amenées par les travailleurs et débattues.

 

S-A.G : La participation des bénéficiaires à l'évaluation est-elle pertinente ?
C.P : On observe sur le terrain bon nombre de lieux où les bénéficiaires ''participent' effectivement à l'évaluation des projets. En soi, c'est positif et important. Néanmoins, d'un point de vue méthodologique mais surtout éthique, je ne suis d'accord avec ces pratiques que si elles veillent, dans leur mise en œuvre, à ce que cette participation ne soit pas un leurre, et que l'on ne soit pas en réalité dans une instrumentalisation des publics. Pour être intellectuellement honnête, la participation des bénéficiaires à l'évaluation demande un investissement très important. Elle demande surtout d'avoir notamment clarifié les questions suivantes : est-ce que le contenu, les enjeux de l'évaluation ont été définis/clarifiés ensemble ? est-ce que l'évaluation est réalisée dans un langage/sur un contenu auxquels les bénéficiaires ont accès et dont ils ont la maîtrise ? les conditions (matérielles, temps, relations de pouvoir…) dans lesquelles l'évaluation est réalisée sont-elles adaptées ? permettent-elles la prise de parole, le positionnement ? les bénéficiaires auront-ils accès à l'analyse finale des informations recueillies ? pourront-ils participer à la définition et peut-être à la mise en œuvre des nouvelles perspectives ? …

Par ailleurs, il est important de repréciser que 'faire parler' ou 'faire écrire' les bénéficiaires n'est pas toujours de la plus grande pertinence du point de vue de l'évaluation, loin de là. Pour rappel, l'observation, qui se pratique dans d'autres secteurs de travail (petite enfance, travail social, …) reste fondamentalement de la responsabilité du professionnel. Ce n'est pas parce que les bénéficiaires 'peuvent' aujourd'hui être acteurs de beaucoup de choses dans les associations, dont l'évaluation, qu'il faut leur faire porter des responsabilités qui ne sont pas les leurs. À titre d'exemple, c'est notamment le cas lorsqu'on leur demande de se positionner sur les compétences pédagogiques, d'animation, relationnelles d'un formateur ou d'un animateur.
Personnellement, cela me pose question.

 

S-A.G : Dans le concret, comment mettre en place une telle évaluation, plus qualitative, qui demande du temps ?
C.P : Il faut savoir que c'est matériellement et intellectuellement impossible de tout évaluer. C'est justement là l'intérêt de réfléchir anticipativement à l'évaluation, pour pouvoir identifier à l'avance ce qui est important à évaluer, et se donner une chance d'y arriver. Il s'agira alors de se concentrer sur l'évaluation approfondie d'un ou deux projets par an, c'est-à-dire des projets pour lesquels il y a véritablement un enjeu (volonté de toucher un nouveau public, changement radical de méthodologie de travail, décentralisation d'une ou plusieurs activités, création d'un nouveau partenariat,…). Soit là où il y a un intérêt particulier à construire un processus d'évaluation qui tienne la route dans le temps, à faire participer un certain nombre d'acteurs à cette démarche, bref à mettre en place une dynamique intéressante.

 

Articulation entre l'attendu et le souhaitable

S-A.G : Y a-t-il des contradictions entre les évaluations attendues et les évaluations souhaitables ?
C.P : Aujourd'hui, dans les évaluations qui sont rentrées aux pouvoirs publics notamment, les acteurs de terrain osent encore peu, au-delà des chiffres, 'mettre les choses à plat'. Cette autocensure, bien légitime et compréhensible par ailleurs, empêche le passage de certaines informations essentielles qui aideraient pourtant à la compréhension et à la prise en compte des situations du terrain, avec ses difficultés, ses spécificités, mais aussi toutes ses belles histoires… C'est évidemment à nouveau toute la question du statut et du regard qui va être posé sur l'évaluation qui sont en jeu : à qui l'évaluation est-elle destinée ? qui va la lire, avec quelles 'lunettes'… ? l'évaluation a-t-elle un but formatif ? certificatif ? est-elle sanctionnante ? Pour favoriser une évaluation qui soit plus proche du souhaitable, il est important que les réponses organisationnelles et institutionnelles à ces questions soient plus claires à l'avenir que ce qu'elles ne le sont aujourd'hui. À l'inverse, il est important que petit à petit les associations osent intégrer dans leurs 'rapports', notamment via l'autoévaluation, le contenu de certaines analyses qui leur paraissent pertinentes et susceptibles de nourrir les choix en matière de politiques futures.

Par ailleurs, on ne peut nier qu'aujourd'hui, l'évaluation plus qualitative reste le parent pauvre en termes de valorisation institutionnelle. Pragmatiquement, les responsables d'associations n'ont pas tout à fait tort quand ils pensent que, dans les informations transmises à leurs pouvoirs organisateurs ou pouvoirs subsidiants, les analyses qualitatives n'en mèneront pas large et n'auront absolument aucun poids en termes de reconnaissance, de subsidiation, de sponsoring… au regard des données chiffrées, pragmatiques, vérifiables… À nouveau, il y a là tout un travail à faire, pour valoriser non pas la duplication mais bien la complémentarité de la recherche de différents types d'informations.

 

S-A.G : Comment les associations peuvent- elles sortir de cette contradiction si finalement elle correspond effectivement à une réalité ?
C.P : Quand nous intervenons dans les associations, nous essayons de démystifier la question de l'évaluation en revenant à la base : repositionner fondamentalement l'évaluation comme une exigence de travail d'équipe, comme un moment inhérent à la gestion de projet, et comme un levier pour l'adaptation et le changement. Évaluer et rendre des rapports sont deux choses différentes, qui appellent quasi deux métiers différents. Mais bien sûr, pour toutes les raisons évoquées plus haut, nous pensons qu'il est essentiel que l'un nourrisse l'autre.

 

 

Propos recueillis par Anne-Sylvie Goffinet, article à paraître dans la revue " Le journal de l'alpha " publiée par Lire et Ecrire, n°89, septembre 2011.