VN-Ch10-14Robustesse des classements et de l’analyse par rangs

Texte de la pièce

Texte extrait du volume pour la lecture à l’écran, la recherche et la citation. Le PDF fait foi pour la mise en page des tableaux et des figures.

Complément du chapitre 10, sections 10.8, 10.10, 10.11 et 10.16

10.16. Robustesse des classements et de l’analyse par rangs

Les résultats des sections précédentes reposent sur des classements : rangs des parties du manuel, rangs des obstacles chez les enseignants et chez les élèves. Un classement peut être exact pour l’échantillon et fragile dès qu’on change quelques répondants. Cette section le vérifie par rééchantillonnage : chaque enquête est retirée 5 000 fois avec remise, au même effectif, et le classement est recalculé à chaque tirage (graine 2026). Les simulations rééchantillonnent les répondants obtenus : elles mesurent la stabilité d’un résultat face aux fluctuations d’échantillonnage, jamais le biais de recrutement d’un échantillon de convenance.

10.16.1. Stabilité des rangs

La figure VN-21 donne, pour chaque obstacle, la proportion des tirages où il occupe chacun des sept rangs. Chez les enseignants, la hiérarchie est d’une grande stabilité : l’enzyme assimilée à un acide est première dans 96,3 % des tirages, et les trois obstacles de tête (O4, O1, O3) figurent parmi les trois premiers dans au moins 99,7 % des tirages ; seul l’ordre entre le broyage et la confusion entre aliment et nutriment hésite. Le tube linéaire est dernier dans 89,1 % des tirages. Chez les élèves, aucun obstacle n’est premier dans plus d’un tiers des tirages : la confusion entre aliment et nutriment l’est dans 32,5 %, le finalisme dans 25,8 %, l’absorption automatique dans 20,3 % et l’enzyme assimilée à un acide dans 19,3 %. Ces quatre obstacles forment un bloc dont l’ordre interne n’est pas déterminé par les données ; le bas du classement, en revanche, est stable (l’intérieur du tube confondu est dernier dans 78,4 % des tirages).

Figure VN-21 : Probabilité, sur 5 000 tirages avec remise, que chaque obstacle occupe chaque rang, chez les enseignants (points de Borda, B2) et chez les élèves (prévalence, B4).

Le même calcul confirme le profil d’usage du manuel dans B1 : les documents, les exercices et le texte de cours occupent les trois premiers rangs des parties utilisées souvent dans au moins 99,8 % des tirages.

10.16.2. L’analyse complémentaire par rangs sous rééchantillonnage

Dans l’échantillon observé, un seul obstacle, la confusion entre aliment et nutriment, figure parmi les trois premiers dans les deux sources (section 10.20). La figure VN-22 montre que ce constat est fragile. En tirant indépendamment les enseignants et les élèves, au moins deux obstacles communs aux trois premiers rangs apparaissent dans 58,4 % des tirages, un seul dans 41,6 %. Le résultat ne change pas si le classement des enseignants est fait sur les cotations plutôt que sur les points de Borda (58,2 %). La condition est presque toujours remplie avec les quatre premiers rangs (100,0 %) et presque jamais avec les deux premiers (6,7 %). Dans l’échantillon observé, les quatre premiers rangs partagent trois obstacles (O3, O4, O5). La seconde condition de cette analyse complémentaire, au moins deux parties du manuel majoritairement jamais utilisées, est remplie dans 100,0 % des tirages.

Figure VN-22 : Nombre d’obstacles communs aux premiers rangs des enseignants (Borda, B2) et des élèves (B4), selon le nombre de rangs retenu, sur 5 000 tirages.

Deux conséquences en découlent. Le résultat de la première condition se joue à une fluctuation d’échantillonnage près : avec les trois premiers rangs, les données ne permettent de trancher ni dans un sens ni dans l’autre. Et la définition de « se détacher », que le chapitre 2 ne fixe pas, décide du résultat plus que les données. C’est pourquoi cette règle par rangs est traitée comme une analyse de sensibilité (section 10.20). Les trois premiers rangs restent la lecture de référence de cette analyse, et ce choix n’est pas modifié au vu du résultat qu’il produit.

10.16.3. Groupes de passation et règle d’exclusion

Les élèves de B4 ont répondu en quatre séances supervisées (P1 à P4, une classe chacune) et, pour trois d’entre eux, hors séance (P0). La figure VN-23 place, pour chaque obstacle et chaque groupe, l’écart standardisé entre la prévalence du groupe et la prévalence globale, en fonction de l’effectif du groupe. Sur 35 points, 1 sort des limites à 95 % (le broyage dans P3), quand le hasard seul en ferait attendre 1,8, et aucun ne sort des limites à 99,8 %. Aucun groupe ne s’écarte donc du profil d’ensemble obstacle par obstacle. Le nombre total d’obstacles diffère en revanche légèrement entre les quatre groupes, H(3) = 7,93, p = ,048, ε² = ,07, N = 116 : 4,30 obstacles en moyenne dans P3 contre 3,00 dans P1. P3 est la seule classe de tronc commun littéraire ; l’écart peut donc tenir à la filière autant qu’aux conditions de passation, sans que les deux puissent être séparés.

Figure VN-23 : Graphique en entonnoir des prévalences d’obstacle par groupe de passation (B4) ; tirets : limites à 95 %, pointillés : limites à 99,8 %.

La règle R3 écarte les questionnaires remplis en moins du tiers de la durée médiane. Le tableau VN-37 refait les principales analyses sans cette règle et avec des seuils au quart et à la moitié de la médiane. Aucune conclusion ne dépend du seuil : les trois premiers obstacles restent les mêmes dans les deux sources, les statistiques globales varient dans la deuxième décimale et les tailles d’effet de la même façon.

Tableau VN-37 : Sensibilité des principaux résultats au seuil de la règle R3 (durée minimale de complétion).

Note. Les effectifs B2 sont ceux des analyses quantitatives (après R1 et R2). L’écart entre intention (H1) et conditions déclarées reste significatif (p < ,001) à tous les seuils.

10.16.4. Ce que les résultats nuls permettent de dire

Plusieurs associations attendues sont absentes. Une absence ne prouve rien si l’échantillon ne pouvait pas détecter l’effet cherché. La figure VN-24 compare chaque coefficient observé à l’effet minimal que l’effectif permettait de détecter avec une puissance de 80 % (test bilatéral à 5 %). La fréquence de recours aux compléments et l’usage du manuel dans B1 (a : τ = ,00, n = 83), les résultats déclarés et le score de prérequis dans B2 (b : ρ = −,18, n = 112), l’intention et l’usage des ressources numériques (c : ρ = −,06, n = 116) se situent tous sous le seuil, qui correspond pour le premier à un τ d’au moins ,20 (soit une corrélation de l’ordre de ,30), et à ,26 en ρ pour les deux autres. Ces données excluent une association forte ; elles n’excluent pas une association faible. Le point d, issu de l’étude 2, est commenté au chapitre 9. Restent les réponses ouvertes des questionnaires, qui n’entrent dans aucun de ces classements.

Figure VN-24 : Effet minimal détectable (puissance 80 %, α = ,05) selon l’effectif, et coefficients observés des associations non significatives (a à c : étude 3 ; d : étude 2).