|
Cette communication vise à éclairer les tensions entre recherche et expertise à l’aune de deux positions assez antagonistes portées chacune par un des auteurs, de leur rencontre et de leur dépassement dans le cadre d’une recherche au sujet d’une séquence experte, celle qui concerne les démarches évaluatives.
La première partie présente les deux postures initiales. Tout d’abord, l’accent est mis sur l’opposition qui existerait entre recherche et expertise et le risque qu’il y a d’extraire des résultats de recherche à des fins de conseil aux « entreprises » du secteur social. Ensuite, une autre posture est avancée, qui vise à reconnaitre une certaine scientificité aux activités de production de connaissances reliées à la décision et à l’intervention.
Dans une seconde partie, les auteurs témoignent de leur engagement conjoint autour d’une recherche collaborative menée en France et au Québec au sujet du déploiement de l’évaluation dans le secteur de la protection de l’enfance. Après avoir présenté le cheminement méthodologique, l’éclairage est mis les conceptions différentes de l’évaluation en France et au Québec, sur les niveaux d’implication des acteurs ainsi que sur les dynamiques institutionnelles et l’orientation des démarches évaluatives propres à chaque établissement.
A partir de cet exemple, les auteurs reviennent sur les facteurs influençant le développement de l’expertise sociale et précisent la notion de recherche-action en mettant en avant sa dimension participative et le souci de transformations sociales.
1.Recherche versus expertise
11. Eviter toute confusion
La première perspective portée par P. Hirlet consiste à mettre l’accent sur l’univers générique de la recherche, d’en proposer une catégorisation en trois sous-ensembles et de les distinguer fortement de la notion d’expertise. Bien que débouchant sur divers degrés de généralisation, ces trois formes de recherche partagent un même but, celui de la production de connaissances pouvant soutenir la critique épistémologique par les pairs et, seulement secondairement, d’être exportables vers les milieux professionnels.
-La recherche fondamentale est produite par des chercheurs reconnus par des instaunces académiques comme les universités, le CNRS ou encore l’Agence nationale de la recherche. Il s’agit là d’un type de recherches dans lesquelles les investigations de terrain ne sont pas systématiquement convoquées. Le chercheur peut rester dans son laboratoire, théoriser sur la globalité des choses, faisant ainsi avancer une connaissance intégrée, en complément ou en opposition aux théories existantes.
-La recherche appliquée vise à produire de la connaissance dans le but de la traduire sous la forme de modélisation. La portée théorique de ces travaux est garantie par un protocole méthodologique respectant les canons académiques et les étapes de la recherche. Les modèles se présentent comme des déductions pratiques tirées de déclinaisons théoriques qui ont pour but de parler aux acteurs de terrain, à des fins de guidance des interventions professionnelles.
-La recherche collaborative est caractérisée par l’implication active de protagonistes occupant une variété de statuts. Aux côtés des chercheurs dont les statuts peuvent être pluriels, les intervenants sociaux, les stagiaires en formation voire les bénéficiaires d’interventions ne sont pas seulement objet de recherche mais participent à la recherche elle-même : construction d’hypothèses, recueil de données, voire analyses.
La posture ici exposée amène à penser que la prise en charge de débouchés organisationnels et opérationnels doit être refusée par les chercheurs. En évitant d’aller trop en avant dans l’accompagnement et le conseil aux entreprises, en mettant à distance la volonté de produire des préconisations trop directement implantables, le chercheur préserve son autonomie et garantit le caractère scientifique de la démarche et la consistance des connaissances produites. Pour les recherches-collaboratives, une vigilance toute particulière s’impose : du fait de la mobilisation des acteurs de terrain, ce type de recherche court le risque d’être confondu avec l’expertise. En n’y prenant pas garde, on en vient à conduire des recherches convoquant trop directement l’espace de l’organisation, ce qui engendre un brouillage des catégories de pensée et d’action. A titre d’exemple, dans une recherche portant sur un dysfonctionnement organisationnel, le chercheur évitera de trop s’investir pour instiller son modèle en entreprise, afin que ses travaux ne soient pervertis par les managers ou les syndicats.
Si une dynamique collaborative peut enrichir le travail scientifique, il convient de veiller à ce que les interactions entre les différentes parties prenantes soient raisonnées, clarifiées et maitrisées. Les différentes légitimités doivent donc être respectées et le rôle du chercheur ne doit pas se retrouver amalgamé avec celui de l’expert.
•Si certains consultants utilisent parfois des schèmes théoriques proches de ceux employés par les sciences sociales, les objectifs qu’ils poursuivent s’avèrent antagonistes par rapport à ceux qui structurent la production scientifique.
•Les intervenants sociaux ne peuvent généralement pas se prévaloir d’une rationalité scientifique suffisante pour être légitimes pour conduire seuls des recherches fondamentales ou appliquées.
•En se donnant pour objectif premier de rétroagir sur les dispositifs et les référentiels, le chercheur prend le risque de diffuser une certaine forme de managérialisme (Hirlet, Jacquot 2007) et se trouve associer à la rationalisation les tâches des intervenants sociaux (Bertaux, Hirlet 2009).
12. Concilier réflexivité et utilité
La seconde perspective portée par M. Rouzeau met l’accent sur le développement de l’expertise sociale, souligne la nécessité de sa distinction avec l’ingénierie sociale puis interroge les rapports entretenus avec la notion de scientificité. Dans la lignée des travaux de J.Y. Trepos, de P. Lascoumes et plus récemment de C. Delmas, l’expertise sociale est entendue comme l’ensemble des processus cognitifs et des dispositifs délibératifs qui contribuent à la stabilisation de références guidant la décision et la mise en œuvre de l’intervention sociale.
-L’analyse d'une dynamique socio-territoriale et la qualification d’une dynamique sociale (personne, groupe, population) constituent la première dimension de l’expertise sociale. Le travail d’observation permet de recueillir et d’organiser des informations multiples : données, discours, expériences vécues… (Hatzfeld et Spiegelstein, 2000). A partir de ces matériaux, il s’agit d’animer un diagnostic orienté vers la valorisation des ressources et une explicitation des enjeux de développement (Lorthois, 1996).
-La seconde dimension se centre sur le fonctionnement et sur les effets de tel ou tel pan de l'action sociale : politique sociale, dispositif institutionnel, intervention professionnelle... L’expertise s’appuie alors sur les éléments issus des suivis-bilans et se fait évaluative en débouchant sur une appréciation de la portée des actions et sur une caractérisation des processus de travail (Monnier, 1992 – Perret, 2001).
Ces opérations d’expertise nécessitent de déconstruire les représentations usuelles, de combiner les démarches compréhensives et explicatives, d'alterner cheminements inductifs ou raisonnements déductifs. Les séquences d’observation et de suivi-bilan demandent de réfléchir le recueil des données et les opérations de catégorisation ; les séquences de diagnostic et d’évaluation impliquent de construire des hypothèses, de mettre en discussion des témoignages afin que progressivement se dégagent des argumentaires.
En analogie avec les processus de recherche, l’entrée en expertise oblige à un décentrement mettant à distance les raisons de l’ingénierie et appelle une mobilisation de rationalités qui ne s’arrêtent pas à celles des seuls opérateurs ou décideurs. Afin de mener à bien sur un temps ramassé les investigations nécessaires et la construction des problématisations, la constitution de l’expertise sociale recourt aux méthodes scientifiques extrayant une partie de ses ressources du creuset des sciences sociales.
-Le travail de diagnostic des espaces et des populations qualifie des besoins sociaux et l'évaluation des effets statue sur les changements apportés à ces phénomènes. Pour cela, les systèmes experts empruntent à l’économie, la sociologie, la géographie sociale, la psychologie sociale. Complémentairement, se référer aux travaux relatifs à la construction des problèmes publics et à leur mise sur agenda (Garraud, 1990) évite de s'enfermer dans une trop grande naturalisation de ces questions.
-En ce qui concerne l'animation des chantiers évaluatifs centrés sur les processus d'action, les cadres réflexifs issus des sciences du politique au sujet de l'action organisée, des réseaux d'action publique ou encore de la gouvernance constituent des ingrédients de premier ordre. Ajoutons à ces apports, ceux que peuvent fournir à l'évaluateur l'étude des apprentissages, des innovations et du changement ainsi que ceux mis en avant par la sociologie des acteurs politiques et des processus de politisation.
Malgré ces emprunts, les démarches d’expertise se démarquent de la recherche proprement dite par leur caractère situé : faisant l’objet de commandes émanant des institutions, elles se déploient sur un temps contraint, participant à réduire les incertitudes non structurées (Thoenig, Duran, 1996). Constitués de « savoirs savants orientés vers la pratique », les énoncés d’expertise ont vocation à rendre les problèmes sociaux traitables et doivent se traduire en perspectives cognitives (idées, valeurs…), en pistes stratégiques (recommandations, éléments normatifs, prescriptions d’action…) ou encore en propositions pré-opérationnelles. La raison d’être de ces contributions réside dans l’appropriation que s’en font les parties-prenantes et dans la contribution qu’elles apportent aux activités de conception et d’ajustement des interventions publiques. Du fait de ce souci assumé de l’utilité sociale, les éclairages issus de l’expertise ne permettent pas de revendiquer la validation scientifique, en "toute connaissance de cause" (Roqueplo, 1997 - Callon, Lascoumes, Barthe, 2001) ; pour autant, se représenter l’expertise sous l’aspect exclusif d’une dérive obscurantiste apparait simpliste et caricatural.
D’une part, la constitution de l’expertise sociale passe de plus en plus souvent par la valorisation de l’expertise d’usage et par un encouragement de la contre-expertise . Elle porte alors une ambition démocratique qui ne se retrouve que rarement au cœur du travail scientifique classique. D’autre part, son développement traduit un souci heuristique - c'est-à-dire une volonté des acteurs d’objectiver leurs interventions à partir de balises documentées et raisonnées – et à ce titre, les enseignements retirés des différentes démarches d’expertise peuvent constituer des ressources documentaires et réflexives pour la production scientifique.
2.Ce que la recherche nous apprend sur l’expertise : le cas de l’évaluation en protection de l’enfance en France et au Québec
Dans cette partie, l’accent est mis sur les résultats d’une recherche menée en France et au Québec dans le secteur de la protection de l’enfance, au sujet du déploiement de l’évaluation de l’activité entendue comme opération d’expertise. L’équipe francoquébécoise réunit des chercheurs positionnés dans le champ académique (3), des formateurs-chercheurs travaillant en milieu de pratique ou dans les centres de formation professionnelle (9) et des représentants employeurs (10).
La problématique concerne le repérage et l’analyse des facteurs qui influencent le déploiement des démarches évaluatives que ce soit au niveau des contextes nationaux, au niveau de chaque établissement ou encore en fonction des types d’acteurs impliqués. La méthodologie a été construite en trois temps afin de permettre un recueil de données relativement identiques par les deux pays : revue de littérature visant à repérer comment la question évaluative est traitée dans chacun des pays, décryptage des cadres nationaux à l’origine des incitations et obligations évaluatives, entretiens centrés sur les processus d’implantation de l’évaluation dans les différents organismes de prise en charge .
21. Traditions nationales et implication des acteurs
Que ce soit en France ou au Québec, le travail mené montre que l’évaluation se déploie depuis les années 1990 sous l’effet conjugué de quatre types d’incitations et obligations :
-Productions normatives issues des organisations internationales,
-Dispositifs interministériels d’évaluation des politiques publiques,
-Obligations plus spécifiques à l’évaluation des politiques sociales,
-Déclinaisons particulières en matière de protection de l’enfance.
En France, la revue de littérature dévoile une dimension critique très importante Dans une période de désengagement de l’Etat, les auteurs associent souvent le déploiement évaluatif aux dérives du libéralisme : performance, mise en concurrence, uniformisation des pratiques... Cette méfiance vis-à-vis de l’évaluation apparait renforcée du fait que ce type d’activité est tenu à l’écart de l’univers scientifique.
A travers les entretiens effectués en France, on note un décalage important entre la position des directions et des cadres et celle émanant des intervenants de terrain. Si les premiers considèrent l’évaluation comme un outil de pilotage et de cohésion interne qui permet d’asseoir les décisions à partir de données objectives, les intervenants de terrain ont des avis plus partagés oscillant entre 5 niveaux d’implication :
- Résistance affirmée : « L’évaluation est envisagée comme une forme de perversion bureaucratique et/ou managériale »
- Non engagement et retrait : « L’évaluation engendre un sentiment de dépossession et la crainte d’être instrumentalisé »
- Engagement partiel et passivité : « L’évaluation est considérée comme trop tournée vers le raffinement méthodologique et non vers le travail sur le sens »
- Adhésion franche et mobilisation : « l’évaluation est vue comme permettant un ajustement constant entre pratiques professionnelles et actes de métiers cliniques »
- Appropriation stratégique : « L’évaluation fonctionne comme une autorisation et est vécue comme un soutien »
Au Québec, l’évaluation est plus qu’une activité ponctuelle; elle s’inscrit dans la planification stratégique car elle est perçue comme un mécanisme de validation des pratiques et d’amélioration continue des services : « L’évaluation permet de faire un portrait des forces et des faiblesses et d’apporter des améliorations aux services offerts » (membre de la direction). De plus, l’évaluation des politiques et des programmes est un élément constitutif du champ de la recherche intégrée et se trouve inscrite dans la programmation des grands organismes. Portés scientifiquement, les écrits consacrés aux évaluations s’orientent vers la présentation des résultats et l’optimisation des méthodologies .
Mais quand on analyse les entretiens effectués au Québec, on se rend compte que l’évaluation n’est pas réduite qu’à des aspects positifs. Le temps qu’elle requiert limite la disponibilité pour rencontrer des usagers et l’usage fait des résultats est parfois sujet à des critiques comme dans le cas des évaluations gestionnaires axées sur des indicateurs de performance (heures de travail, exigences administratives) que sur la mesure des résultats pour les usagers.
22. Dynamiques institutionnelles et orientations évaluatives
En France où les prises en charge en protection de l’enfance sont confiées à une multitude d’organismes, les démarches d’évaluation font appel à des méthodologies multiples, développées pour répondre aux particularités de l’organisme. Ce « bricolage raisonné » s’appuie sur des référentiels et outils développés localement ou sur des emprunts ajustés voire déformés comme dans le cas des recommandations de l’ANESM. L’information concernant les interventions réalisées par les professionnels et la situation des personnes prises en charge n’est que faiblement harmonisée. L’objectif de centralisation des données confié par la loi de 2007 à l’ONED s’est heurté aux résistances des travailleurs sociaux craignant l’étiquetage des personnes et une lecture prédictive des profils des jeunes.
Au Québec, le paysage apparaît plus homogène, sinon uniforme. Les seize Centres Jeunesse (CJ) - implantés chacun dans une région administrative - sont les seuls organismes responsables des situations prises en charge. Les dispositions de la Loi de en protection de la jeunesse, les normes relayées par les agences régionales, le regroupement des CJ au sein d’une association provinciale et les deux instituts universitaires intégrés au sein des CJ de Montréal et de Québec constituent des facteurs d’harmonisation en matière de démarches évaluatives. Les chercheurs en charge des évaluations peuvent accéder à une banque de données uniformisée dans laquelle sont consignées des informations concernant les interventions réalisées, la situation des personnes prises en charge et la nature de ces services.
Cependant ces différences qui traversent nationalement l’organisation des institutions et la production des données n’expliquent pas tout. A cet effet, que ce soit en France ou au Québec, les entretiens menés témoigne d’un niveau d’engagement dans les démarches évaluatives propre à chaque établissement : moyens dégagés, temps consacré, apprentissages déjà effectués, qualité du portage institutionnel, intensité de l’animation, diffusion et des résultats, impacts sur les mode de faire ..
Le cheminement des engagements institutionnels peuevent se schématiser à partir de deux pôles :
- ÉVALUATION IMPOSÉE : Attitude défensive et inquiétude / Fermeture et contrôle / Conformité en réponse aux exigences externes / Actions minimales et faible réception des résultats
- ÉVALUATION INTÉGREE : Ouverture et engagement / Initiatives locales dépassant le cadre obligé / Reconnaissance de la plus-value de l’évaluation / Utilisation des résultats dans de nombreux segment de l’organisation
Outre ce niveau d’engament, cette recherche nous a aussi amené à percevoir que chaque établissement construit et anime les démarches évaluatives en leur donnant une orientation spécifique . Celle-ci apparait est le fruit d’un compromis entre quatre finalités - toutes légitimes qui visent :
-la rationalisation de l’organisation et la performance des procédures et des processus,
-la sécurisation des pratiques, la qualité de services et la gestion des risques,
-la densification du projet institutionnel et la recherche du sens à donner aux missions occupées,
-l’amélioration du climat social et le renforcement de la démocratie interne.
A partir de l’examen des démarches par établissement et de leurs orientations évaluatives, nous retrouvons des différences par pays.
En France, les démarches évaluative apparaissent souvent guidées par la volonté de densifier le projet institutionnel. L’évaluation devient alors un exercice qui pousse à une formalisation des valeurs, à une élucidation des finalités, à une analyse des constructions stratégiques internes et des dynamiques partenariales. Outil de management participatif, le travail évaluatif se couple alors avec une mobilisation poussée des professionnels et, plus rarement, des usagers. Cette attention portée aux processus alimente une préférence française pour des démarches évaluatives qui soutiennent l’animation institutionnelle.
Au Québec, les activités évaluatives sont davantage tournées vers l’implantation des « programmes » et l’appréciation des résultats». Orientées vers la qualité des services, les démarches évaluatives contribuent à améliorer les modes d’organisation. L’intérêt pour la mesure des résultats, couplé à la volonté de sécuriser les pratiques, alimente une préférence québécoise pour des démarches évaluatives qui soutiennent l’amélioration des pratiques organisationnelles.
DISCUSSION CONCLUSIVE
A travers cette analyse du déploiement évaluatif, le travail de recherche dont nous venons de rendre compte propose une série d’enseignements sur ce qui influence la constitution de l’expertise sociale.
Tout d’abord, l’expertise sociale se développe dans des contextes nationaux marqués par :
-une tradition culturelle et intellectuelle dominante : constructivisme critique versus positivisme pragmatique
-une forme d’organisation des établissements : diversité et fragmentation versus homogénéité et cohérence du tissu institutionnel
-une plus ou moins grande diffusion des normes issues du secteur de la santé vers le secteur social : passage des évaluations internes aux évaluations externes versus deuxième ou troisième génération d’accréditations
-des relations spécifiques entre recherche et intervention : découplage versus circuits courts .
A partir de ces toiles de fond et du rôle déclencheur joué par les obligations législatives et réglementaires, le lancement des démarches expertes provoque des mécanismes de méfiance ou de confiance plus ou moins avérés. La distribution de ces sentiments s’avère souvent corrélée avec la place tenue par les acteurs dans l’organisation, facilitant ou compliquant alors les processus « d’intéressement » et « d’enrôlement ». Au sein de chaque établissement, l’intensité des démarches expertes est influencée par les apprentissages déjà effectués et se concrétise dans un niveau d’engagement propre ; l’orientation des démarches expertes fait elle l’objet de combinaisons cognitives et d’intentions stratégiques en lien avec la culture institutionnelle, l’actualité et le mode de pilotage. Dans chaque situation et face à chaque problématique, la constitution de l’expertise oblige à arbitrer entre le travail de production de connaissance jaugé par le test de vérité et le travail de réforme pratique jaugé par le test d’utilité (Leca, 1996).
Ainsi l’expertise donne lieu à des situations réflexives et heuristiques intermédiaires - de moyenne portée donc. Pour faire cheminer les différentes parties prenantes vers des dispositifs plus engageants d’un point de vue scientifique, pour relier cet univers de l’expertise sociale avec celui de la recherche, il convient alors d’ouvrir grandes les portes de l'objectivation, ce qui passe par un effort systématique d'appréciation des connaissances au regard des conditions sociales qui ont participé à leur production. Dans cette perspective, réfléchir à la validité des choix opérés, aux biais accompagnant les observations, à la richesse mais aussi aux raccourcis des inférences s’avèrent donc des impératifs méthodologiques de premier ordre.
L’exemple du processus de recherche que nous venons de présenter permet aussi d’interroger la catégorisation des activités scientifiques proposée dans la première partie. La composition pluraliste de l’équipe et le croisement des rationalités sur lequel s’appuie sur notre démarche sont caractéristiques d’une « recherche collaborative ». En effet, les représentants des milieux de pratique ont été très présents lors des séminaires, incitant à prendre en compte des dimensions que les chercheurs laissaient au second plan, contribuant à des nombreux ajustements et des explicitations au sujet des enseignements retirés.
Cependant cet exemple ne peut être qualifié de « recherche-action » si, au sein de l’ensemble générique formé par les recherches collaboratives, on réserve ce terme pour les démarches véritablement coproduites avec les acteurs de terrain, impliquant des rétroactions répétées entre connaissances et pratiques, ambitionnant d’introduire des transformations durables sur les manières de voir et de faire . La participation des représentants des établissements de prise en charge – d’ailleurs nettement plus effective en ce qui concerne les directions françaises que québécoises - n’a pas pesé sur l’orientation profonde de la démarche. La définition du questionnement, la prise en charge des investigations, la mobilisation du cadre d’analyse, le choix des paradigmes ainsi que le travail rédactionnel sont restés l’œuvre des chercheurs et formateurs-chercheurs. De plus, le déroulement de la démarche n’a pas été structuré dans une optique de modifications des pratiques mais davantage dans une perceptive compréhensive des logiques à l’œuvre .
Par extension, le travail mené incite à réfléchir la relation entretenue entre la pratique et la connaissance scientifique et a minima quatre cas de figure peuvent être repérés.
-Dans une logique de la déduction et de l’application, la connaissance scientifique produite spécifiquement par des chercheurs fait l’objet d’un transfert relativement direct sous la forme d’un modèle pour l’intervention.
-Dans une logique de la mobilisation et de l’appropriation, cette même connaissance scientifique préalablement produite spécifiquement par des chercheurs se retrouve transformée par les milieux de pratique dans le but de construire des balises pour l’intervention.
-Dans la logique de la sollicitation, l’initiative part des milieux de pratiques qui interpellent les acteurs de la recherche afin qu’ils orientent leurs travaux dans le but d’éclairer des thématiques et des questions qu’ils leur soumettent.
-Dans la logique fortement symétrique de la coproduction, les deux types d’acteurs construisent ensemble un dispositif où recherche et action s’hybrident mutuellement et où le processus de travail peut aboutir à un relatif lissage des rôles.
|