Faux savoir et vrai pouvoir - article Jacques Cornet (CGé) et Nico Hirtt (Aped) - 2 février 2018

De Durkheim à Bonnéry, en passant par Bourdieu, Lahire, Dubet et tous les autres, la recherche en éducation a réalisé des centaines de recherches et publié des milliers de pages. Chaque recherche se confrontant aux précédentes et s’en enrichissant. Comme pour toutes les recherches scientifiques, ce qui en garantit la recevabilité, c’est :

l’indépendance des chercheurs, leur inscription académique et, de préférence, un financement public les protégeant d’intérêts privés ;

la transparence de leur méthodologie, de leurs hypothèses de travail et de leur modèle explicatif en lien avec les recherches précédentes (revue de la littérature) ;

cette transparence permettant le contrôle par les pairs et le débat scientifique autour de leurs conclusions.

Ce que McKinsey prétend être un rapport de recherches ne correspond à aucun de ces critères. Rien ne protège les auteurs (qui ne le souhaitent d’ailleurs pas) des intérêts privés de leur employeur privé, aucune explicitation des hypothèses de recherches ni d’un quelconque modèle explicatif, opacité de la méthodologie, aucune référence à aucune recherche dans le même domaine… Quand on est le premier conseilleur au monde, on n’a besoin des conseils de personne et on se permet d’en donner à tous sans aucune recevabilité scientifique.

Dans son analyse des pratiques de consultance, Pascal Nicolas-Le Strat[[La relation de consultance. Une sociologie des activités d’étude et de conseil, L’Harmattan 2003, présenté par Sciences Humaines n° 147, mars 2004.]] montre qu’une entreprise de conseil peut difficilement se défaire de l’emprise épistémique du système, de ne pas relayer les évidences faibles, de ne pas entériner confortablement ce que le grand nombre pense, particulièrement parmi les commanditaires (les clients ou futurs clients de leurs services). Nous ne doutons pas que de nombreux pouvoirs organisateurs, enseignants, parents et… mandataires publics seront séduits par les évidences faibles de ce rapport.

Nous nous devons de dénoncer cette stratégie savante avec la plus grande exigence intellectuelle possible.

Entre amis

Les auteurs du rapport McKinsey ont d’abord fait appel à une autre multinationale de consultance spécialisée dans l’analyse de big data : SparkBeyond qui dispose de la machine intelligente 3.0 ! Celle-ci leur aurait permis d’identifier les variables les plus pertinentes pour expliquer la réussite scolaire des élèves. Nous utilisons le conditionnel car ce logiciel privé échappe à tout contrôle et il est donc impossible de vérifier ou de contester la validité de ses conclusions.

Trois grandes catégories de variables ont ainsi été sélectionnées et soumises à une analyse statistique classique : les mentalités (ou état d’esprit) des élèves, les pratiques pédagogiques des enseignants et l’usage des technologies de l’information. Ces analyses conduisent les auteurs de l’étude à trois grandes conclusions :

– l’état d’esprit des élèves, en particulier leur motivation, est plus déterminant que leur milieu socioéconomique pour expliquer leur performance aux tests Pisa ;

– la méthode d’enseignement la plus efficace est celle qui combine beaucoup d’instruction dirigée avec une dose limitée d’expérimentation par les élèves, à condition toutefois que cette dernière soit bien structurée ;

– les technologies de l’information ont une influence favorable sur l’apprentissage à l’extérieur de l’école, mais plus mitigée en son sein. C’est leur usage par les enseignants, plutôt que par les élèves, qui produit les meilleurs résultats.

Belle mentalité et pauvreté statistique

Les mentalités des élèves étudiées par McKinsey se divisent en deux catégories :

– l’état d’esprit par rapport à la discipline étudiée. L’élève se reconnait plus ou moins dans des affirmations du genre : « J’aime étudier les sciences », « Je m’intéresse à l’univers », « La pollution de l’air est un phénomène inquiétant » ;

– l’état d’esprit général. « Ce que j’apprends à l’école m’aidera à trouver un boulot », « Je me sens bien à l’école », « Je suis ambitieux », « Si je fais des efforts, je peux réussir »…

McKinsey affirme que ces mentalités expliqueraient 29 % des écarts de réussite aux tests Pisa, contre seulement 18 % expliqué par l’environnement familial, 8 % par d’autres facteurs propres aux élèves, 20 % par des facteurs liés aux établissements scolaires, 15 % par des facteurs liés aux enseignants et 9 % par des facteurs divers. Et McKinsey de conclure que « renforcer le mental des élèves pourrait donc être un moyen prometteur d’améliorer leurs performances ».

Ces données et cette conclusion appellent plusieurs critiques.

Premièrement, cette façon de présenter les effets des six catégories de facteurs est pour le moins simpliste, pour ne pas dire extrêmement douteuse. En effet, aucune méthode statistique[[Sauf les statistiques bayésiennes que McKinsey n’a pas utilisées.]] ne permet de construire un tel tableau, en s’affranchissant des corrélations et interactions entre variables. Par exemple, la motivation au travail scolaire est nécessairement corrélée avec l’environnement familial : le jeune qui ambitionne de devenir ingénieur comme papa bénéficie d’emblée d’un rapport très positif à l’école et aux savoirs scolaires (ou du moins à certains de ces savoirs) qui tend à encourager cette motivation. Il se peut aussi que le fait d’être motivé et d’appartenir en même temps à un milieu socioéconomique particulier engendre un effet positif supplémentaire, au-delà de la simple addition des effets individuels de chaque variable. C’est pourquoi il est d’usage, en statistique, de présenter les résultats de régressions non pas en disant : « telle variable explique x % de la variation étudiée », mais « telle variable augmente de x % le pouvoir explicatif de tel modèle ».

Considérons un exemple concret. Une régression linéaire entre le statut d’immigration des élèves francophones et leurs performances en mathématiques fournit un coefficient de détermination de 6 %. Cela signifie que le statut d’immigration (autochtone, immigré de première génération ou immigré de deuxième génération) explique 6 % des écarts (variance) de résultats Pisa en mathématique. Si on ajoute à ce modèle une deuxième variable, à savoir l’indice socioéconomique des élèves, le pouvoir explicatif grimpe à 27 %. Peut-on pour autant conclure, à la façon de McKinsey, que l’origine socioéconomique explique 21 % des performances et le statut d’immigration 6 % ? Eh bien non, car si l’on change l’ordre d’apparition des variables dans le modèle, on obtient des résultats différents. Une régression avec le seul indice socioéconomique explique déjà 25 % de la variance des performances en mathématiques. Et l’ajout de la variable immigration n’apporte donc que 2 % de pouvoir explicatif supplémentaire. Comment expliquer cette différence ? C’est que le statut d’immigration est lui-même corrélé avec l’appartenance socioéconomique. Tout ce que l’on peut conclure des résultats, c’est que l’immigration seule explique 2 % (= 27 % – 25 %) de la variance des scores en math et l’origine sociale seule 21 % (= 27 % – 6 %). Leur effet conjoint (ou effet d’interaction) explique donc 4 % de cette variance. Encore convient-il de préciser que par effet de l’immigration seule, il faut entendre l’effet du statut d’immigration et les effets d’interaction de ce statut avec toutes les variables autres que l’origine sociale. De même l’effet de l’origine sociale seule est en réalité l’effet de cette origine et de son interaction avec toutes les variables autres que le statut d’immigration.

Cet exemple était très simple, car il ne comptait que deux variables explicatives. Avec un nombre plus grand de variables, il devient vite extrêmement difficile de distinguer les effets propres de chaque variable de leurs effets conjoints. Dans le cas de l’étude McKinsey, il y a exactement cent variables (choisies par l’algorithme Sparkbeyond dont on ne sait rien). Dans un souci compréhensible de simplification, les auteurs les ont regroupées en six catégories (mentalités, contexte familial, etc.), ce qui devrait conduire à nous présenter un modèle complexe avec de multiples effets d’interaction. Ou, au moins, un tableau où les six groupes de variables sont intégrés successivement au modèle, dans un ordre clairement indiqué et qui permet alors de juger de leur effet additionnel par rapport à un modèle donné.

Rien de tout cela dans l’étude McKinsey. Lorsqu’elle affirme que les différences de mentalités expliquent 29 % des différences de réussite en sciences, que l’origine familiale explique 18 %, les facteurs établissement 20 %… la question qui nous vient immédiatement à l’esprit est : quelle est la part des effets propres et la part des différents effets conjoints de ces variables ? On n’en sait rien. Dans quel ordre les variables (ou groupes de variables) ont-elles été intégrées au modèle ? On n’en sait pas davantage.

Dans une petite note de fin, les auteurs de l’article McKinsey expliquent avoir regroupé dans une même catégorie les variables qui avaient de fortes chances d’être colinéaires c’est-à-dire linéairement corrélées. Sous-entendent-ils par là qu’ils ont supposé qu’il n’y aurait pas de corrélation entre les six catégories, donc pas de corrélation entre l’environnement familial et les facteurs scolaires, pas de corrélation entre la mentalité et l’environnement familial… ? Ce serait absurde.

Notre deuxième critique est plus sérieuse encore. Même en supposant que les résultats annoncés soient statistiquement corrects, qu’est-ce que cela prouve ? Ouvrez le premier cours de statistique descriptive venu, vous y trouverez en bonne place cette mise en garde élémentaire : ne jamais confondre corrélation et causalité ! Les pays où l’on mange le plus de chocolat ont les meilleurs scores Pisa. Est-ce l’effet bénéfique de la fève de cacao ? Non, bien sûr. Les pays où l’on mange davantage de chocolat sont des pays plus riches, qui ont, de ce fait, des niveaux de scolarisation et des dépenses éducatives plus élevés. La consommation de chocolat n’est ni la cause ni la conséquence de la réussite scolaire. L’un et l’autre sont la conséquence du niveau de vie du pays.

Observer que les élèves les plus performants sont également les élèves les plus motivés, les plus heureux à l’école, ceux qui prennent plaisir à apprendre, c’est une chose. Mais, en conclure qu’il réussissent mieux grâce à leur état d’esprit, grâce à leur motivation, c’est une confusion inadmissible entre corrélation et causalité.

En principe, la conclusion d’une causalité à partir de l’observation d’une corrélation n’est possible que s’il existe un modèle explicatif des mécanismes de cette causalité et si la causalité inverse ou résultant d’une tierce variable explicative est logiquement exclue. Par exemple, l’environnement socioculturel familial des élèves ne peut manifestement pas être une conséquence de leurs performances scolaires puisque ces conditions préexistent généralement à la scolarité de l’enfant. Dans ce cas, le sens de la relation causale est évident, c’est l’environnement familial qui détermine les performances et non l’inverse.

La relation entre mentalité et performances Pisa n’est pas aussi simple. Or, dans le commentaire McKinsey cela devient : « La mentalité éclipse l’environnement familial comme prédicteur des performances des élèves. » L’utilisation du mot prédicteur est particulièrement pernicieuse. En statistique, il désigne une variable dont la valeur permet d’anticiper la fourchette probable où se situe une autre variable. Si je connais le modèle de votre voiture (une Opel Corsa ou une Porsche Cayenne, par exemple), je peux prédire l’ordre de grandeur probable de votre revenu/patrimoine. Mais, évidemment, personne n’affirmera que la voiture dans laquelle vous roulez est la cause ou l’explication de votre revenu. C’est exactement ce genre d’erreur (?) grossière que commet McKinsey dans son rapport lorsqu’il formule la recommandation douteuse d’agir sur le mental des élèves pour améliorer les performances scolaires.

Le plus incroyable, c’est que les auteurs du rapport déclarent : «  Nous avons exclu de l’analyse des variables où la direction de la relation causale allait de la performance vers la caractéristique mentale et non de cette dernière vers la performance. Par exemple, nous avons estimé que les performances académiques influencent plutôt les projets d’études futures que le contraire et nous avons donc exclu cette variable projets d’étude de notre modèle. » Cette phrase montre que les auteurs sont parfaitement conscients du problème que pose le passage de la corrélation à la causalité. Mais, le choix des variables retenues ou non est parfaitement arbitraire. Comme nous l’avons déjà indiqué, il est tout à fait probable que la motivation est au moins autant le résultat que la cause de bons résultats scolaires. Alors que les espoirs d’études futures, qui sont fortement liés à l’appartenance sociale des élèves, sont certainement un puissant facteur de réussite scolaire parce qu’elles forgent un rapport positif à l’école et aux savoirs scolaires.

Belle mentalité et mauvais esprit

« Certains traits de caractère et comportements ressortent comme particulièrement déterminants. C’est le cas notamment des dynamiques de motivation des élèves[[Rapport McKinsey en français, p. 7.]]. » En voilà une découverte : les élèves motivés réussissent mieux que les pas motivés ! Quelles intentions se cachent derrière cette porte ouverte enfoncée ? Car, il y a bien des intentions quand on isole une variable en prétendant contrôler les autres ? Lesquelles ? Comme ces affirmations sont présentées comme un fait statistique, on ne peut guère faire que des hypothèses quant à leurs… motivations et à leurs effets souhaités ou non.

Insistons d’abord sur la portée implicite de ces affirmations. Faire de l’état d’esprit un facteur explicatif de la réussite scolaire indépendamment de l’environnement des élèves, c’est laisser croire et renforcer le sens commun concernant l’immanence de la personnalité. Ils ne l’affirment pas, mais cela laisse sous-entendre que cette mentalité aurait quand même quelque chose d’inné. Ce qui était devenu politiquement incorrect depuis une cinquantaine d’années avec les travaux sur les races, sur les genres… est en train de redevenir exprimable. Avec les intelligences multiples, et ici la motivation, c’est la bonne vieille idéologie des dons qui resurgit. En Flandre, c’est déjà le cas, des intellectuels et des acteurs de l’enseignement osent affirmer l’explication génétique en matière d’inégalités de réussite[Voir N. Hirtt, Les négationnistes de l’inégalité : [http://k6.re/RIfKq]]. Car, si on se demande ce qui peut bien favoriser des apprentissages précoces et rapides en maternelle et si l’environnement familial l’explique moins que l’état d’esprit, la cause étant antérieure à l’effet, serait-ce que l’état d’esprit est congénital ?

La première intention de cette étude pourrait donc être simplement de partager cette évidence avec ceux qui aiment l’entendre et de favoriser ainsi une empathie mobilisatrice autour de conceptions essentialistes. Ce n’est pas l’existence, l’histoire de vie des élèves dans leur environnement qui compte, mais bien leur essence, leur état d’esprit, leur motivation, leurs caractéristiques intrinsèques. C’est faire d’une pierre deux coups, se rendre sympathique aux yeux de la majorité des enseignants et des cadres de réseaux et, en même temps, affirmer la supériorité des explications idéalistes contre les explications matérialistes. Ce n’est pas la (in) salubrité du logement, la précarité des moyens d’existence, l’équipement numérique et son usage en famille, les leçons particulières, la fréquentation du théâtre et des musées… qui comptent, mais bien la qualité d’une motivation constitutionnelle, persévérer sur des tâches jusqu’à ce que tout soit parfait et aller au-delà des attentes[Voir N. Hirtt, Les négationnistes de l’inégalité : [http://k6.re/RIfKq]]…

Car, si l’effet positif d’une bonne compréhension de la motivation est, en outre, particulièrement marqué pour les élèves issus des établissements scolaires les moins performants et si dans ces écoles, faire preuve d’une bonne compréhension de la motivation équivaut, en termes de performance scolaire, à appartenir à un milieu favorisé sur le plan socioéconomique[Voir N. Hirtt, Les négationnistes de l’inégalité : [http://k6.re/RIfKq]], alors les politiques éducatives doivent en tenir compte. Plus besoin de mixité, d’encadrement différencié, de régulation des inscriptions… Le Pacte peut aller se rhabiller, sauf, sans doute, pour ce qui est d’un management qui favorise un bon état esprit…

En effet, c’est aussi imposer une explication individualiste niant toute explication collective. Le système scolaire n’est pas injuste, il ne renforce pas les inégalités sociales, il n’y a aucune raison de le remettre en question puisque, indépendamment des familles et des établissements, c’est la motivation personnelle qui compte. Des explications essentialistes, idéalistes et individualistes niant des conceptions existentialistes, matérialistes et collectives. Mais, c’est bien sûr nous qui faisons de la politique et qui avons un mauvais esprit.

Nous ne nions évidemment pas les corrélations entre variables intrinsèques et variables extrinsèques. Nous plaidons au contraire pour une conception systémique d’interactions multiples entre de multiples variables. Dans la vie de la classe, l’enseignant ne peut contrôler aucune variable et doit faire face à la complexité de sa tâche sauf, bien sûr, si on lui en propose une explication simple et déresponsabilisante.

Et si on fait de la motivation[[Faisant de la motivation un facteur déterminant, paradoxalement, le rapport n’en fait aucune construction conceptuelle, aucune référence aux recherches sur cette question (Viaud pour la motivation ou, on préfère, Escol pour la mobilisation, par exemple).]] un facteur de réussite important, le moins qu’on puisse faire, c’est de se demander comment la favoriser chez tous les élèves. Mais, alors, il devient impossible de nier le lien entre motivation et reconnaissance symbolique, ce qui exigerait de remettre en cause un système qui, par de multiples moyens, produit de la démotivation…

Juste milieu et pauvreté didactique

La deuxième grande conclusion du rapport McKinsey, c’est le juste milieu : quand les élèves bénéficient d’une combinaison d’instruction dirigée et d’apprentissage fondé sur l’exploration, ils obtiennent les meilleurs résultats. Elle est fondée sur la mise en relation des performances des élèves dans les tests de sciences avec les pratiques pédagogiques de leurs enseignants. Cela pose d’emblée un sérieux problème méthodologique, à savoir que les pratiques prétendument observées — mais, en réalité, seulement relevées sur la base des déclarations des enseignants — sont celles que les élèves vivent au moment où ils passent le test PISA, donc à l’âge de quinze ans. Or, leur niveau de maitrise actuel en science résulte sans doute moins du travail de leur professeur actuel que de celui des collègues qui les ont précédés durant une dizaine d’années. Cela est particulièrement vrai pour les pays où l’enseignement fondamental est structurellement séparé de l’enseignement secondaire inférieur, ce qui est le cas de presque tous les pays européens à l’exception des nordiques. Or, les données de l’enquête Pisa ne permettent pas de fournir la moindre information longitudinale sur les différentes pédagogies vécues ou subies par les élèves durant leur carrière scolaire.

Et, indépendamment de cette validité contestable (effets longitudinaux), cette conclusion est à nouveau basée sur un raisonnement simpliste : la méthode la plus efficace est celle qui combine l’instruction dirigée dans la plupart des cas avec une dose limitée d’expérimentation dans certains d’entre eux[[Rapport McKinsey en français, p. 10.]]. Pourquoi faire compliquer quand on peut rassurer simplement ! Il y a deux (!) méthodes d’enseignement des sciences et c’est en les combinant qu’on est le plus efficace.

À nouveau, aucune référence aux recherches antérieures, en didactique des sciences cette fois. Par exemple, l’Asbl Hypothèses propose une analyse des différentes manières (ils en comptent six et pas une) d’expérimenter en classe[Lire Les activités scientifiques expérimentales [http://k6.re/vDrE_]]. Une de leurs conclusions est que la méthode la plus utilisée au cours de sciences, l’expérience illustrative est aussi, sans doute, la moins efficace en termes d’apprentissage. Mais McKinsey se contente de deux variables fourretouts non construites (l’instruction dirigée et l’expérimentation) et d’indicateurs absolument non fiables pour ces variables (les déclarations des enseignants) pour en tirer une conclusion triviale.

Et, cette fois encore, avec quels effets souhaités ou non  ? Dans toutes les matières, l’écart entre les recherches en didactiques disciplinaires et les pratiques courantes des enseignants ne cesse de grandir, la recherche se poursuivant et les pratiques se reproduisant. L’enjeu ici est la formation initiale et continuée des enseignants. Mais, si c’est la combinaison de beaucoup d’instruction dirigée et d’un peu d’expérimentation qui est la plus efficace, alors il n’y a aucune raison de changer quoi que ce soit. D’autant plus que chacun interprète comme il l’entend instruction dirigée et expérimentation… L’effet conservateur est garanti, la grande majorité des enseignants de sciences se reconnaitront dans ces excellentes pratiques. Que les didacticiens gardent pour eux leurs élucubrations…

Il faut rappeler qu’à l’occasion du projet de réforme de la formation initiale en Fwb, les débats ont porté (et portent sans doute encore) sur le niveau de certification. Pour les uns, le niveau 5 est suffisant, pour les autres (dont les auteurs de ce projet de décret) le niveau 6 est requis. La différence entre les deux niveaux porte principalement sur la capacité critique (niveau 6), la capacité à agir pour transformer le système dans lequel on est inséré alors que le niveau 5 exige uniquement la capacité à s’adapter au système dans lequel on est inséré. Certains acteurs institutionnels et leurs relais politiques estiment que l’enseignement est plus efficace avec des enseignants-exécutants qui se conforment aux directives et appliquent les bonnes pratiques créées par d’autres.

La recherche en didactiques disciplinaires montre le contraire pour toutes les matières. C’est de praticiens-chercheurs dont l’enseignement a besoin, d’enseignants capables d’une analyse critique des bonnes pratiques et de leur dé-re-construction en situations particulières de classe, d’enseignants capables de repérer les obstacles épistémologiques et de construire des situations pour les surmonter, d’enseignants capables de repérer les malentendus cognitifs inévitables et de les expliciter pour les dépasser, d’enseignants capables d’articuler pour les élèves implication-mobilisation et distanciation-explicitation… toutes choses inutiles pour faire beaucoup d’instruction dirigée et un peu d’expérimentation.

La pauvreté didactique de ce juste milieu est affligeante. Elle entérine le sens commun : la meilleure méthode d’enseignement est celle qu’on a toujours pratiquée, pas besoin de recherches, pas besoin de formation et pas besoin de capacité critique. Avec de bons protocoles d’instructions dirigées et d’expériences illustratives à appliquer, les enseignants seront efficaces. On ne voit à nouveau aucun autre effet à cette conclusion que le maintien en l’état du système, malgré ses résultats désastreux.

Drague complaisante et conservatisme larvé

On peut difficilement s’empêcher de lire ce rapport comme autre chose qu’une entreprise de drague. Ce rapport dit en effet ce que souhaitent entendre la majorité des acteurs de l’enseignement en faveur de la conservation du système :

c’est la motivation personnelle et la bonne mentalité des élèves qui comptent, sans se demander ce qui pourrait les favoriser pour tous ;

c’est beaucoup d’enseignement transmissif et un peu de pédagogie active combinés qui constituent la méthode la plus efficace, sans se questionner sur les différents modes de transmission et d’activités exploratoires ;

c’est en dotant les enseignants et non les élèves de technologies numériques que l’enseignement est plus efficace.

Quitte à faire des statistiques, nous serions curieux de connaitre le pourcentage d’enseignants, de parents et de cadres des réseaux qui ne seraient pas d’accord avec ces trois affirmations. Elles ne plaident en tout cas ni pour un changement du système scolaire ni pour une plus grande professionnalisation des enseignants.

Contents