LE DÉPLOIEMENT DE L’ÉVALUATION DANS LE SECTEUR DE LA PROJECTION DE L’ENFANCE ET DE LA JEUNESSE :
QUE NOUS RÉVÈLENT LES COMPARAISONS FRANCO-QUÉBÉCOISES ?

Notre communication présente une démarche d’étude et de recherche sur le déploiement de l’évaluation de l’activité dans le domaine de la protection de l’enfance et de la protection judiciaire de la jeunesse, démarche réalisée dans le cadre d’un partenariat regroupant 5 centres jeunesse québécois (Gaspésie, Saguenay lac Saint Jean, Montérégie, Québec, Estrie) et 5 instituts régionaux de travail social français (Lorraine, Bretagne, Basse Normandie, Ile de la Réunion, Poitou Charente). L’objet de cette recherche comparative concerne l’évaluation des politiques, des programmes, des projets et des interventions avec les enfants et les familles; il n’intègre pas l’évaluation clinique des situations.

Trois objectifs guident ce travail entrepris depuis 2011 :
- Repérer les contextes nationaux et locaux du déploiement de l’évaluation,
- Identifier les dynamiques d’évaluation dans les établissements/institutions,
- Apprécier les impacts sur les modes d’animation institutionnelle et sur les personnels impliqués.

La stratégie d’investigation et la démarche d’analyse ont été menées suivant trois modalités principales :
- Recensions documentaires sur les contextes et les enjeux de l’évaluation
- Investigations locales auprès des établissements/institutions
- Analyses croisées par échange de documentation et lors de séminaires conjoints

Ce travail a tout d’abord permis de constater qu’il y avait une certaine analogie entre la France et le Québec dans les productions législatives et réglementaires incitant la mise en œuvre des évaluations. Cependant, cette convergence législative et réglementaire ne s’applique pas dans un même paysage organisationnel, loin s’en faut.
- Au Québec, le paysage institutionnel en protection apparait très intégré, construit à partir d’une logique déconcentrée: il n’existe qu’un établissement par région québécoise (16) ; celui-ci est un établissement public possédant une double mission (protection et jeunes contrevenants).
- A contrario, le paysage français apparait bien davantage fragmenté, construit à partir d’une logique essentiellement décentralisée, composé d’une multitude d’établissements et de services, de tailles très différentes, tantôt publics, tantôt associatifs, positionnés sur une ou plusieurs missions.

La communication est construite autour d’une triple perspective :
• Les convergences mais aussi les spécificités nationales du recours à l’évaluation. À cet égard, dans chaque pays, le déploiement normatif de l’évaluation a au moins trois origines : les textes incitant à l’évaluation des politiques publiques, ceux concernant l’évaluation des politiques sociales et ceux directement en lien avec la protection de l’enfance et de la jeunesse. Dans les deux pays, ce déploiement évaluatif est influencé par les normes internationales et les pratiques du secteur de la santé.
• Les attitudes et réactions des acteurs impliqués à partir de données issues d’une investigation autour d’un échantillon constitué de 11 établissements en France et 5 au Québec (61 personnels interviewés en France et 16 au Québec).
• Une catégorisation des démarches d’évaluation à partir du repérage de la finalité évaluative poursuivie au sein de l’établissement et de la maturité du processus évaluatif mis en œuvre.

Les principaux thèmes abordés sont le positionnement institutionnel face aux exigences externes, les appréhensions des démarches évaluatives par les professionnels, allant d’une forte adhésion à des critiques acerbes, et les voies de passages dans la production d’évaluations adaptées au type d’établissement et à l’objet de la protection.
Afin de contribuer à renforcer la capacité évaluative des institutions, nous présenterons en conclusion les deux axes qui concourent en 2013 à prolonger cette dynamique de recherche :
- La question de la participation des usagers dans ces opérations évaluatives,
- La place de l’évaluation dans la formation et dans l’activité des jeunes professionnels.

Alain Marc et Dessureault Danny (dir.), Elaborer et évaluer les programmes d’intervention psychosociale, Presses de l’Université de Québec, 2010.
ANESM, La conduite de l'évaluation interne dans les établissements et services sociaux et médicosociaux, avril 2009.
Barbier Jean Claude et Matyjasik Nicolas, « Evaluation des politiques publiques et quantification en France : des relations ambigües et contradictoires en disciplines », Revue française de sciences économiques, N°5, 1er semestre 2010.
Barbier Jean Claude, Eléments pour une sociologie de l’évaluation des politiques publiques en France, Revue française des affaires sociales, N°1-2, Janvier Juin 2010.
Bouquet Brigitte, Jaeger Marcel et Sainsaulieu Ivan (dir.), Les défis de l'évaluation, Dunod, 2007.
Brousselle Astrid, Champagne François, Contandriopoulos André-Pierre, Hartz Zulmira, L’évaluation : concepts et méthodes, Les Presses de l’Université de Montréal, 2009.
Dagenais Christain et Ridde Valérie, Approches et pratiques en évaluation de programme, Les Presses de l'Université de Montréal, 2009
Jacob Steve, « Trente ans d’évaluation de programme au Canada : l’institutionnalisation interne en quête de qualité », Revue française d’administration publique, N°3, 2006.
Jacob Steve, « Réflexions autour d’une typologie des dispositifs institutionnels d’évaluation », The Canadian Journal of Program Evaluation, Vol. N°20, 2005.
Jacob, S. (2006). L’évaluation de programme au Québec : un état des lieux, Télescope : Revue d'analyse comparée en administration publique, vol. 13, n° 1, pp. 9-18.
Marceau, R. (2007). L’expérience québécoise des trente dernières années en évaluation. Dans Jacob, S., Varone, F. et Genard, J.-L. (dir.), L’évaluation des politiques au niveau régional (chap. 9, p.143-155). Bruxelles, Peter Lang, Coll. Action publique.
Revue française des affaires sociales, Evaluation des politiques sanitaires et sociales, N°1-2, janvier-juin 2010.
Rouzeau Marc, "Le déploiement de l'évaluation dans le champ des politiques socio-éducatives." in Baron et Matyjasik, L'évaluation des politiques publiques, L'Harmattan, 2012
Saint-Pierre, M., Bégin, C., Joubert, P. et Turgeon, P. (1999). Les arrangements institutionnels d’évaluation dans le domaine de la santé (p.283-339). Dans Bégin, C., Bergeron, P., Forest, P. et Lemieux, V. (ed.). Le système de santé québécois : un modèle en transformation, Montréal, Les Presses de l’Université de Montréal, 439 p.
Turcotte, D. (2009). Recherche et pratique en travail social : un rapprochement continu et essentiel. Intervention, no 131, hiver p.54-64.
Turcotte, D. (2011). Le référentiel de compétences des travailleurs sociaux du Québec : quelle correspondance avec la réalité de la pratique? Intervention, 134, 46-61.

GILLES MIREAULT est chercheur d'établissement à l'Institut Universiatire - Centre Jeunesse de Québec et spécialiste des démarches évaluatives.
PHILIPPE HIRLETest cadre de formation à l’IRTS DE LORRAINE, coordinateur du département de recherche, sociologue, chercheur associé au 2L2S (Laboratoire Lorrain des Sciences Sociales), Université de Lorraine.
MARC ROUZEAU, est responsable Programme Ressources-Expertise- Recherche en Travail Social. AFPE, ARCADES formation, IRTS Bretagne - Professeur associé à l’Institut politiques de Rennes et membre du CRAPE (Centre de recherche sur l’action publique en Europe)
DANIEL TURCOTTE est professeur à la faculté de service social à l'Université de Laval à Québec et membre du laboratoire JEFAR.

La communication porte sur une recherche en France et au Québec dans le secteur de la protection de l’enfance, au sujet du déploiement de l’évaluation de l’activité. L’équipe franco-québécoise réunit des chercheurs du champ académique (3), des formateurs-chercheurs (9) et des représentants employeurs (10).

Pour un recueil de données relativement identiques par les deux pays, la méthodologie a été construite en trois temps : revue de littérature visant à repérer comment la question évaluative est traitée dans chacun des pays, décryptage des cadres nationaux à l’origine des incitations et obligations évaluatives, réalisation d’entretiens centrés sur les processus d’implantation de l’évaluation dans différents organismes de prise en charge .


Traditions nationales et implication des acteurs

Que ce soit en France ou au Québec, l’évaluation se déploie depuis les années 1990 sous l’effet conjugué des :
-Productions normatives issues des organisations internationales,
-Dispositifs interministériels d’évaluation des politiques publiques,
-Obligations plus spécifiques à l’évaluation des politiques sociales,
-Déclinaisons particulières en matière de protection de l’enfance.

En France, la revue de littérature dévoile une dimension critique très importante Dans une période de désengagement de l’Etat, les auteurs associent souvent le déploiement de l’évaluation des pratiques aux dérives du libéralisme : performance, mise en concurrence, uniformisation des pratiques... Cette méfiance vis-à-vis de l’évaluation apparait renforcée du fait que ce type d’activité est tenu à l’écart de l’univers scientifique. A travers les entretiens en France, on note un décalage entre la position des directions et des cadres et celle des intervenants de terrain. Si les premiers considèrent l’évaluation comme un outil de pilotage et de cohésion interne qui permet d’asseoir les décisions sur des données objectives, les intervenants de terrain ont des avis plus partagés.

Cinq niveaux d’implication des acteurs ont pu être repérés :
Résistance affirmée : L’évaluation est envisagée comme une forme de perversion bureaucratique et/ou managériale
Non engagement et retrait : L’évaluation engendre un sentiment de dépossession et la crainte d’être instrumentalisé
Engagement partiel et passivité : L’évaluation est considérée comme trop tournée vers le raffinement méthodologique et non vers le travail sur le sens
Adhésion franche et mobilisation : L’évaluation est vue comme permettant un ajustement constant entre pratiques professionnelles et actes de métiers cliniques
Appropriation stratégique : L’évaluation fonctionne comme une autorisation et est vécue comme un soutien

Au Québec, l’évaluation s’inscrit pleinement dans la planification stratégique, comme un mécanisme de validation des pratiques et d’amélioration continue des services. De plus, l’évaluation des politiques et des programmes est soutenue par les organismes subventionnaires de la recherche. Portés scientifiquement, les écrits consacrés aux évaluations s’orientent vers la présentation des résultats et l’optimisation des méthodologies. L’évaluation n’en est pas pour autant réduite à des aspects positifs. Le temps qu’elle requiert, l’usage fait des résultats, la difficulté de capitaliser les enseignements, font l’objet d’interrogations et de critiques .


Dynamiques institutionnelles et orientations évaluatives

En France, les prises en charge en protection de l’enfance sont confiées à une multitude d’organismes. Les démarches d’évaluation font appel à des méthodologies multiples en fonction des particularités de l’organisation. Ce « bricolage raisonné » s’appuie sur des référentiels et des outils développés localement et sur des emprunts ajustés voire déformés comme dans le cas des recommandations de l’ANESM. L’information concernant les interventions réalisées par les professionnels et la situation des personnes prises en charge n’est que faiblement harmonisée. La centralisation des données confiée à l’ONED s’est heurtée aux résistances des travailleurs sociaux craignant l’étiquetage et une lecture prédictive des profils des jeunes.

Au Québec, le paysage apparaît plus homogène. Les seize Centres Jeunesse (CJ) sont les seuls organismes responsables des prises en charge. Les dispositions de la Loi sur la protection de la jeunesse, les normes relayées par les agences régionales, le regroupement des CJ au sein d’une association et les deux instituts universitaires constituent des facteurs d’harmonisation des démarches évaluatives. Les chercheurs peuvent accéder à une banque de données uniformisée dans laquelle sont consignées des informations concernant les interventions réalisées, la situation des personnes prises en charge et la nature des services.

Cependant les différences nationales n’expliquent pas tout. Que ce soit en France ou au Québec, les entretiens menés témoignent d’un niveau d’engagement dans les démarches évaluatives propre à chaque établissement (moyens dégagés, temps consacré, apprentissages déjà effectués, qualité du portage institutionnel, intensité de l’animation, diffusion des résultats, impacts sur les mode de faire … ) qui se distribuent entre deux grands pôles :
Evaluation imposée : Fermeture, contrôle, attitude défensive et inquiétude - Conformité en réponse aux exigences externes - Actions minimales et faible réception des résultats.
Evaluation intégrée : Ouverture et engagement- Initiatives dépassant le cadre obligé - Reconnaissance de la plus-value de l’évaluation - Utilisation des résultats dans de nombreux segments de l’organisation

Cette recherche amène aussi à percevoir que chaque établissement construit ses démarches évaluatives en leur donnant une orientation spécifique , fruit d’un compromis entre quatre finalités - toutes légitimes -:
-la rationalisation de l’organisation et la performance des procédures et des processus,
-la sécurisation des pratiques, la qualité de services et la gestion des risques,
-la densification du projet institutionnel et la recherche du sens à donner aux missions occupées,
-l’amélioration du climat social et le renforcement de la démocratie interne.

A partir de l’examen des démarches par établissement, nous retrouvons des différences par pays.

En France, les démarches évaluative apparaissent souvent guidées par la volonté de densifier le projet institutionnel. L’évaluation pousse à une formalisation des valeurs, à une élucidation des finalités, à une analyse des constructions stratégiques internes et des dynamiques partenariales. Outil de management participatif, le travail évaluatif se couple avec une mobilisation poussée des professionnels et, plus rarement, des usagers. Cette attention portée aux processus alimente une préférence française pour des démarches évaluatives qui soutiennent l’animation institutionnelle.

Au Québec, les activités évaluatives sont davantage tournées vers l’implantation des « programmes » et l’appréciation de leurs effets. Orientées vers la qualité des services, les démarches évaluatives contribuent à améliorer les modes d’organisation. L’intérêt pour la mesure des résultats, couplé à la volonté de sécuriser les pratiques, alimente une préférence québécoise pour des démarches évaluatives qui soutiennent l’amélioration des pratiques organisationnelles.

Conclusion

Notre travail permet de confirmer que l’évaluation de l’activité est aujourd’hui bien à l’œuvre dans nos deux pays tout en faisant ressortir quatre traits distinctifs entre la France et le Québec :
-une tradition culturelle et intellectuelle dominante : constructivisme critique versus positivisme pragmatique
-une forme d’organisation des établissements : diversité et fragmentation versus homogénéité et cohérence du tissu institutionnel
-une plus ou moins grande diffusion des normes issues du secteur de la santé : passage des évaluations internes aux évaluations externes versus deuxième ou troisième génération d’accréditations
-des relations entre recherche et intervention : découplage versus circuits courts .

Si ce déploiement est influencé par les caractéristiques culturelles, politiques et organisationnelles propres à chaque contexte national , il dépend aussi des dynamiques de chaque établissement : niveau d’engagement et finalité évaluative. Notre travail permet aussi de souligner l’importance que les acteurs soient associés à la démarche d’évaluation de façon à faciliter les processus « d’intéressement » et « d’enrôlement ». Cette attention à l’association des parties prenantes explique donc que nous nous engagions à prolonger notre recherche en interrogeant les contributions des publics à l’évaluation des services.

Non disponible