(Déjouer) le paradoxe de Simpson

Dans un contexte de (gestion de la) formation, en quoi consiste le paradoxe de Simpson? Comment le déjouer pour avoir une lecture vraie des données connexes à sa stratégie de formation.

1. Déjouer le paradoxe de Simpson Il y a 3 sortes de mensonges : les petits mensonges, les gros mensonges, et les statistiques. (Mark TWAIN) Proposer la bonne interprétation de son projet de formation Grégoire ARIBAUT , M.A M.Sc.Ed MBA Conseiller pédagogique et technopédagogique CPU, Université de Montréal Nathalie LOYE , PHD Professeure agrégée Faculté des sciences de l'éducation - Département d'administration et fondements de l'éducation, Université de Montréal durée : 15 min Présentation ADMEE Montréal 2018

2. P aradoxe - statistique décrit par Edward Simpson ( 1951 ) et George Udny Yule ( 1903) . Cause (s) : une mauvaise stratification des données identification manquée de(s) facteur(s) de confusion Conséquence(s) : le même jeu de données permet de soutenir une première hypothèse opposée à une seconde hypothèse qui soutient l'inverse Introduction ← Edward Simpson George Udny Yule → MOOC Formation en ligne (fermée) note : L’animation de cette page n’illustre pas le paradoxe mais les concepts de stratification et du facteur de confusion

3. L’apprentissage machine a besoin de bien apprendre (déjouer le paradoxe) Machine learning L’évaluation du projet de formation B esoin d’appuyer l’analyse sur une expertise solide pour : être capable de comprendre et interpréter les données à analyser identifier les (év entuels) f acteurs de confusion les éléments de stratification interpréter leur(s) impact(s) sur la lecture finale Effets de l ’absence d’ expertise : analyse des résultats au mieux influencée voir déontologiquement discutable impossibilité d’identifier les données qualitatives qui permettent l’identification : des éléments de straficitation des facteurs de confusion Avoir accès aux données n’est pas suffisant, il faut savoir les interpréter . Big data Open data Expertise

4. Le piège de l’analyse globale Le résultat observé à l'intérieur de plusieurs groupes donne l'illusion de s'inverser lorsqu'on combine les groupes. e.g Interprétation(s) possible(s) : Le nombre d’apprenants est décroissants = la formation est de moins en moins populaire = elle ne fait pas revenir (effet d’annonce) I l faut réviser la stratégie ! A

5. Le piège de l’analyse globale Le résultat observé à l'intérieur de plusieurs groupes donne l'illusion de s'inverser lorsqu'on combine les groupes. e.g Interprétation(s) possible(s) : Il faut réviser la stratégie… ? il y a plusieurs groupes (phases) de formation ; les groupes sont de plus en plus petits mais à chaque fois le volume augmente jusqu’à la fin de la phase de diffusion. La stratégie technopédagogique est un succès ! B3 B1 B2 A

6. Possibilité.s de l’analyse de données (learning analytics) Les SGA (LMS) produisent plusieurs types de rapports qui permettent l’ analyse des données connexes à l'activité en ligne de l'apprenant. Ces données permettent d’identifier : Facteurs (formation obligatoire, incitatives, etc.) Variables (nombre de travaux non-remis ou remis en retard, carnet de note, etc.) Contexte (gestion du changement, déploiement TI, Mooc, cours siglé, etc.) Intégrés dans un écosystème à un PGI, il est possible de coupler les données de la plateforme de formation avec des données annexes : Situation familiale (famille monoparentale, étudiant-parent, etc.) Géographique (distance avec l’université, nombre de déménagement, etc.) Personnelles (étudiants étrangers, langue maternelle, attribution d’aides financières, etc.)

7. Possibilité.s de l’analyse de données (learning analytics) L es données permettent d’ analyser les comportements et les habitudes de consommation de la formation pour identifier : ce qui fonctionne au niveau de la fréquentation du SGA au niveau cognitif (réf. évaluations) * ce qui attire → ce qui fait rester → * plusieurs visites consulte plusieurs ressources durée de consultation ce qui fait revenir → * Stratégie d’inclusion Visites Visiteur unique Pages vues

8. En fait, le paradoxe de Simpson c’est quoi? La manière dont les données sont interprétées permet d’aboutir à une 1ère conclusions qui est l’opposée d’une 2nde. C’est l’identification de possible(s) facteur(s) de confusion(s) qui permet d’éviter ce paradoxe. Le conseiller pédagogique / technopédagogique doit avoir l’expertise pour être en mesure de les identifier. Conclusion #1 : X > Y (macro) Conclusion #2 : X < Y (micro) Réseau de neurones Stratification Facteur de confusion

9. Exemples de facteurs de confusion (axiomes d’identification de données) La phase d’analyse permet au conseiller pédagogique d’identifier plusieurs facteurs avec une approche prospective. Données PROJET Données CONTENU Données DIDACTIQUE Problématique Contexte Cibles de formation Disponibilité Appétences Niveaux d’études/langue Objectif(s) du projet Contraintes Temps Matériel et technologique Géographique Incitative(s) possible(s) Résultats attendus et critère de succès Compétences et niveaux taxonomiques visés Stratégie technopédagogique et alignement pédagogique Environnement de formation Niveaux pédagogique et médiatique de la formation Approche pédagogique Parcours de formation (AR et stratégie d’inclusion)

10. Format(s) populaire(s) Vidéo Capsule normée Papier Evaluation Classe virtuelle Biais Stratification Algorithme de préparation Apprentissage machine modélisé par l’Apprentissage profond Résultat Facteurs de confusion identifiés par l’IA parcours linéaire vs complexe granularité faible vs élevée niveau pédagogique simple vs complexe Capsule normée

11. Cas pratique : On a un facteur (un niveau pédagogique élevé ) qui impacte sur le niveau médiatique des ressources à produire. L’analyse des données doit alors tenir compte de ces éléments pour traduire correctement les impacts didactiques. Les facteurs de confusion (impact) Dans des projets d’APC (Approche par compétences) le conseiller doit : Valider les compétences visées Valider les niveaux taxonomiques à atteindre L’alignement pédagogique permet l’ identification d’éléments de stratification et/ou facteurs de confusion : Niveau pédagogique Niveau médiatique Analyse de projet Analyse de contenu Analyse de pédagogique Conception Design

12. B = vidéo B’ = guide papier C = niveau pédagogique élevé C’ = niveau pédagogique faible Un groupe d’apprenants a 2 ressources dans son parcours P(A|B)= .30 < P(A|B’)= .43 La ressource B est complétée par 30% des étudiants La ressource B’ est complétée par 43% des étudiants Les ressources sont présentes dans 2 modules de formation P(A|BC)= .25 > P(A|B’C)= .20 1.1. La ressource B est complétée par 25% des étudiants dans le module C 1.2. La ressource B’ est complétée par 20% des étudiants dans le module C P(A|BC’)= .50 > P(A|B’C’)= .45 2.1. La ressource B est complétée par 50% des étudiants dans le module C’ 2.2. La ressource B’ est complétée par 45% des étudiants dans le module C’ Comment est-ce possible? .30 ={ .80 }( .25 )+{.20}( .50 ) .43 ={.10}( .20 )+{.90}( .45 ) On note que le module C a un poids de 25% et 20% alors que le module C’ a un poid de 50% et 45% pour l’utilisation des ressources. Cela indique que le poids du contenu ( nb de ressources ) du module C’ > C ce qui rend le poids des guides plus important au niveau du parcours (pondération). Facteur de confusion B = vidéo B’ = guide papier C = niveau pédagogique élevé C’ = niveau pédagogique faible

13. Résultat de l’analyse des données La s tratégie technopédagogique doit répondre à des besoins qui vont au-delà du didactique : vidéos attirent et font revenir l’apprenant supports papiers n’ont pas pour objectif de le faire revenir Analyse de projet Analyse de contenu Analyse de pédagogique Conception Design Stratification : la contrainte temporelle Le projet de formation a-t-il plusieurs phases distinctes? Ou doit-il diffuser plusieurs mises à jour progressivement? L’impression papier a tendance à générer des visites uniques ; le trafic est-il un objectif? oui/non (ou) la complétion du parcours est l’objectif vidé?

14. Problème d’éthique Les ressources papier offrent un meilleur taux de mémorisation et d’assimilation? Couper la population d’apprenants en 2 : Groupe#1 est formé avec des vidéos et autres capsules elearning avec un niveau médiatique élevé Groupe#2 est formé avec des supports papier Problème de logistique : Temps Ressources Budget Etude comparative Études [prospectives] vs. [rétrospectives] et la contrainte de l'éthique