L’Agence Nouvelle des Solidarités Actives vient de mener avec six partenaires une étude sur les « what works centres » britanniques. Petite enfance, pauvreté, éducation, chômage…Ces centres proposent un colossal travail de synthèse et de vulgarisation scientifique et recensent les interventions évaluées dans le domaine économique et social en les classant selon leur efficacité. Faut-il s’inspirer de cette méthode pour promouvoir en France des politiques fondées sur les preuves ? L’Ansa a organisé une table-ronde sur le sujet. Nous y étions.

C’est toujours un peu exaltant d’assister à la naissance d’un mouvement dont on se dit que s’il n’est pas tué dans l’oeuf, il pourrait déboucher sur une petite révolution copernicienne. Ce jeudi 23 mars l’Agence Nouvelle des Solidarités Actives (Ansa), épaulée par six partenaires*, a présenté un rapport sur les « what works Centres » (WWC) britanniques et la possibilité de s’en inspirer en France. Ces structures (il en existe 9 aujourd’hui) sont dédiées au transfert de la connaissance dans différents champs de l’action publique afin de remplir un objectif : favoriser des politiques publiques fondées sur la preuve. Les WWC doivent permettre aux professionnels de terrain et aux décideurs de s’approprier les enseignements des évaluations d’impact afin de recourir aux méthodes, pratiques, programmes considérés comme les plus efficaces. Et dans des domaines aussi variés que le développement économique local, la prévention précoce, la lutte contre les inégalités, le décrochage scolaire ou le chômage. Comme le note le rapport supervisé par l’Ansa, les WWC sont devenus des « guichets uniques » vers les évaluations d’impact.

Définir la notion de preuve

Lors de la présentation de ce travail de synthèse, il est évidemment beaucoup question de la notion d’evidence-based, « basé sur la preuve ». Ben Rickey, responsable de projet à l’Ansa, co-auteur du rapport avec Caroline Allard, revient sur cette notion, formalisée dans les années 90 dans le domaine médical et qui vise à permettre « l’utilisation judicieuse des connaissances par les professionnels et les pouvoirs publics. » L‘établissement de la preuve procède de trois étapes : décrire un phénomène, établir un lien causal entre les interventions et les résultats (par l’évaluation expérimentale, quasi expérimentale la et revue de littérature systématique), comprendre les mécanismes (par l’observation participante). Au Royaume-Uni, les neuf centres existants couvrent sept thématiques dont l’éducation des enfants défavorisés, la prévention précoce, la prévention de la criminalité, ou la promotion du bien-être. Nous nous ferons un plaisir de développer ultérieurement les travaux des centres en lien avec nos sujets.
Chacun de ces centres, sur sa thématique, a notamment pour but de favoriser l’essaimage des expérimentations prometteuses. Les WWC ciblent les cadres intermédiaires et les professionnels de terrain pour qu’ils s’approprient localement les nouvelles pratiques et les résultats.
Quels sont leurs outils ?
Ils procèdent d’abord à de rigoureuses synthèses, des revues systématiques de littérature. Pour ce faire ils posent d’abord le cadre de la recherche, puis les chercheurs trient la littérature selon le degré de la preuve et proposent des restitutions synthétiques et appropriables. L’idée est bien d’offrir une vision synthétique de ce qui fonctionne. Une échelle est utilisée pour qualifier la preuve : le fondement théorique doit être robuste, des évaluation avant/après existent, la causalité est mise en évidence, les évaluations d’impacts sont randomisées et répliquées.

Accompagner l’expérimentation et diffuser la connaissance

Les WWC ont aussi pour objet d’accompagner les expérimentations en cours. Ben Rickey donne l’exemple du centre en charge de la réduction des inégalités scolaires. Il est doté d’un fonds de 14 millions de livres par an à dépenser sur 15 ans. Ce qui a permis une vague inédite d’interventions éducatives (127 expérimentations en 6 ans). Enfin, les WWC diffusent les connaissances et font la promotion des pratiques efficaces en rendant accessibles les synthèses et résultats. Caroline Allard illustre le propos avec l’exemple du « Teaching et Learning Toolkit ». Il s’agit d’un site web interactif qui propose une synthèse des synthèses sur l’efficacité de différentes interventions éducatives. Pour parvenir à restituer les résultats de façon concise et directement utilisable par les professionnels de terrain, l’équipe de recherche s’est axée sur une mesure de comparaison : les mois supplémentaires de progrès éducatif pour le groupe test.
Le Teaching et Learning Toolkit se présente donc sous la forme d’un tableau très lisible avec des indicateurs simples (coût, qualité de la preuve, effet des interventions). « C’est l’une des choses les plus enthousiasmantes qu’ont ait vu lors de nos travaux », assure Caroline allard.
Pour les deux co-auteurs, ces méthodes sont aujourd’hui très peu développées en France et il semble judicieux d’étudier l’opportunité de s’en inspirer et de créer un mouvement autour des politiques fondées sur la preuve.

La preuve pour davantage de rationalité et de transparence

Une table-ronde suit cette entrée en matière, animée par Marie-Automne Thépot, chargée de mission innovation sociale et organisation, Ville de Paris – DASES. Elle rappelle en introduction que le présupposé méthodologique sur lequel repose la démarche, à savoir se poser la question des effets (ça marche ou ça ne marche pas?), n’est pas partagé par tous les acteurs. Pour Fabrice Lenglart, de France Stratégie, un argument d’efficience doit prévaloir. « Nous sommes dans un monde où la puissance publique est contrainte par la question de moyens ». Il avance un autre argument : « Notre pays est traversé par des lignes de faille documentées par les statistiques publiques (entre riches et pauvres, entre générations, entre territoires). Quand on interroge les Français ils voient les choses encore plus noires qu’elles ne le sont. Ce pessimisme excessif est dû au fait que nos grandes institutions économiques, sociales, politiques, fonctionnent mal, les Français ont le sentiment qu’elles ne remplissent plus les grandes missions qu’on leur assigne. Pour réhabiliter les politiques publiques, il faut administrer la preuve.»

Julie Micheau, Directrice scientifique à la Caisse nationale de la solidarité pour l’autonomie, souhaite elle aussi une transposition, pas forcément à l’identique, du modèle anglo-saxon. « Lorsque le promoteur d’une initiative nous propose quelque chose qui serait « formidable », on est démunis pour savoir si c’est vraiment le cas. Méthodologiquement on n’a pas beaucoup de ressources pour évaluer les programmes et les interventions.Veut-on un peu de rationnel et de transparence ? On a besoin de savoir ce qui marche ou pas. » Elle estime aussi qu’au-delà du fait de savoir si « ça marche » il faut savoir « combien ça marche ». « Quand une intervention est coûteuse, si c’est pour gagner quelques mois, ce n’est peut-être pas la peine. Quand on agit, même quand c’est probant, ça ne transforme pas radicalement les situations, on joue souvent à la marge. Il est difficile de transformer des réalités sociales. Avec les What Works Centres on aurait un lieu pour une communauté épistémique, pour débattre des objectifs. »

Rassembler une connaissance trop disséminée pour une aide réelle à la décision

Pour Pierre Arwidson, Directeur adjoint de la prévention et de la promotion de la santé à Santé publique France, il s’agit maintenant d’assembler les morceaux d’un puzzle que nous avons déjà. « Il faut des catalogues, des listes, des vitrines, des registres d’« evidence-based programmes », quelque chose qui fasse le lien entre les acteurs de terrain, les décideurs, et la recherche. » Il assure que la transférabilité est souvent moins problématique qu’on ne l’imagine. « Nous sommes en train d’adapter des programmes étrangers. On nous dit souvent « ce n’est pas possible ». Or, ça se passe plutôt bien. » (voir à ce sujet l’adaptation française du « Strenghtening Families Program »).

Emmanuel Dupont, Responsable de l’animation scientifique et de l’innovation au  Commissariat général à l’égalité des territoires, enfonce le clou : « Il y a une profusion de travaux scientifiques. Un rapport chasse l’autre, les chercheurs ne se parlent pas, on trouve peu de débats structurés, les disciplines s’ignorent. On a besoin de lieux de synthèse hiérarchisés. Pour nous, les « what works centres » constituent un dispositif plus qu’une méthode. Ils doivent être être adossés à une communauté de pratiques, épistémique. Il faut embarquer les chercheurs dans cette affaire. Ils vont être en réaction, par rapport à la hiérarchisation et au débat. Ensuite il faut penser à prolonger le travail, savoir comment on fait circuler l’information sur ce qui marche. » Emmanuel Dupont note que dans les territoires, « on a un foisonnement d’initiatives, mais un effet d’enfermement des innovations. » Comment passer d’un dispositif territorial à quelque chose de plus structurant, plus englobant, à une ambition nationale ? « Nous avons un problème de sélection de ces innovations, pose-t-il. Il doit y avoir une détection de ces bonnes pratiques et des dispositifs d’accélérateur ou d’incubateur des politiques publiques. » Pour Pierre Arwidson, il faut « monter un registre alimenté par deux voies, la recherche et les projets de terrain, que les deux se rencontrent ». Il cite en exemple un registre hollandais qui recense 300 interventions provenant de la recherche et 1900 d’interventions de terrain. Un tel registre peut « être un lieu d’acculturation ».

Attention à la dérive scientiste et au tout randomisé

Laure de la Bretèche, Secrétaire générale pour la modernisation de l’action publique, souhaite modérer les ardeurs : « On a affaire à des décideurs qui n’ont peut être pas l’esprit scientifique évoqué ici. Il faut travailler sur le réel sinon on va avoir un problème. Notre but est de rendre la décision bonne. Il ne faut pas construire un contre-système qui crée de la connaissance qui ne servira à personne. » Elle ajoute : « Il y a une attente, un besoin. Il faut un essaimage sans duplication. Etre très en soutien mais ne pas être trop exigeant sur la pureté du modèle. »
Fabrice Lenglart précise pour sa part qu’il faut se garder de « tomber dans le scientisme. » « Cette démarche réclame de l’humilité. Certaines décisions resteront du domaine du politique. » Autre réserve venue cette fois de Daniel Lenoir, directeur général de la CNAF, qui rappelle que les évaluations d’impact randomisées posent des questions éthiques. « Quand on a un dispositif dont on pense qu’il marche et qu’on doit attendre plusieurs années pour le vérifier, en attendant, il y a des gens à qui on ne le donne pas. » Il estime qu’il existe d’autres moyens que l’expérimentation randomisée pour « dissiper les nuages d’inconnaissances ».
Julie Micheau rappelle de son côté que selon les leçons tirées de l’expérience anglaise, plus le domaine couvert par un seul centre est étroit, plus le dispositif est probant. Elle plaide aussi au passage pour l’indépendance de chaque structure,ce qui permet davantage de stabilité. « Oui mais l’indépendance ne rend pas responsable des décisions prises » répond Daniel Lenoir. Dans la salle un intervenant argue que l’organisation britannique n’a rien à voir avec la France finalement plus décentralisée. Pour Fabrice Lenglart, la décentralisation plaide justement en faveur des WWC. Plus un pays est décentralisé plus il trouvera un intérêt à ce type de dispositifs.

La conclusion revient à Jérôme Filippini, Secrétaire général de la Cour des comptes, chargé de livrer quelques commentaires de synthèse. Il pointe « trois défis compliqués pour notre névrose française ». Le premier : « accepte-t-on de tenir compte de la réalité ? » Citant un sociologue il lâche qu’en France « on est très doué pour rendre compte, il faudrait qu’on soit capable de se rendre compte ». Le deuxième : accepter d’expérimenter et d’évaluer pour cerner le « combien ça marche ». « Nous avons tous la « culture du 19,5 », tant qu’on n’a pas 20, ça ne va pas ». Il enjoint à passer de « la culture de l’excellence à la culture de l’astuce ». Le troisième défi : Comment passe t-on à l’échelle ? Ce qui ne veut pas forcément dire généraliser. Il invite à regarder du côté des start-up, de l’état d’esprit béta, à se garder de la tentation de chercher une panacée et de tomber dans le scientisme.
En conclusion il lâche : « Nous avons besoin de politiques qui s’intéressent plus aux résultats qu’aux promesses, ce serait une révolution copernicienne. » Convaincre de la nécessité de l’évaluation : sur le terrain aussi, le travail ne va pas manquer.

*France Stratégie, Secrétariat général pour la modernisation de l’action publique (SGMAP), le Commissariat général à l’égalité des Territoires (CGET), Santé Publique France, la CNAF, Caisse Nationale de solidarité pour l’autonomie (CNSA)