Un module informatisé d'analyse diachronique de l'erreur adapté aux besoins de l'enseignement à distance

Un module informatisé d'analyse diachronique de l'erreur adapté aux besoins de l'enseignement à distance

  

Christian Depover, Karine Rakofsky

VOL. 9, No. 2, 1-20

Résumé

Dans ce travail, nous nous sommes intéressés à une forme d'encadrement pédagogique qui s'apparente au tutorat dans laquelle l'étudiant transmet par courrier postal ses devoirs au tuteur; ce dernier les corrige, les évalue et les commente.

Après avoir mis en évidence un certain nombre de lacunes liées à cette forme de suivi d'une formation à distance, nous présentons les principes de conception et d'implémentation d'un système informatisé d'analyse de l'erreur (MADER) qui intègre une dimension diachronique dans l'identifi-cation de l'origine des difficultés rencontrées par les apprenants.

Ainsi, face à une configuration d'erreurs relatives à une activité particulière, MADER est capable, pour expliquer l'origine d'une difficulté, de proposer soit une hypothèse simple quant à la forme de maîtrise acquise par un apprenant soit plusieurs hypothèses alternatives. Lorsque plusieurs hypothèses peuvent être retenues, MADER suggérera au formateur de proposer à l'apprenant des exercices d'un type clairement spécifié afin d'obtenir les informations qui lui permettront de départager les hypothèses concurrentes.

En outre, les auteurs soulignent les limitations actuelles liées au contexte d'utilisation de MADER et propose des possibilités d'élargissement dans le cadre d'un enseignement à distance qui exploiterait davantage les possibilités de rétroaction offertes par les réseaux télématiques.

Abstract

This article focuses on a model of tutoring, wherein the student submits assignments through the mail for correction, commentary, and evaluation.

After pointing out the problems with this evaluative and corrective feedback approach, the authors describe the design and implementation of a computer-based error analysis system (MADER), which factors in a diachronic identification of likely sources of learner difficulties.

Confronted with a portrait of errors common to a particular task, MADER is able to indicate the likely source of difficulties by proposing either a simple hypothesis of the student's acquired mastery, or a set of alternative hypotheses. In the latter case, MADER suggests that the student be assigned a specific set of exercises that will help him or her decide between the hypotheses.

The authors also note the limitations of applicability of the MADER system and suggest possible extensions, in the framework of distance teaching, which might make better use of the feedback capacity of telematic networks.

1. Contexte

Ce travail a pour point de départ un constat de carence dans la prise en charge de l'encadrement par correspondance dans un système d'enseignement à distance. Plus précisément, nous nous sommes intéressés à une forme d'encadrement qui s'apparente au tutorat dans le cadre duquel l'étudiant transmet, par courrier postal, ses devoirs au tuteur; ce dernier les corrige, les évalue et les commente.

Dans le travail qui lui incombe, il est impératif que le tuteur puisse rencontrer deux exigences qui, à ses yeux, se présentent parfois comme contradictoires. La première est le souci d'une correction de qualité conduisant à un feed-back transmis à l'apprenant qui soit précis et détaillé. La seconde est la nécessité de respecter un délai de traitement le plus court possible de manière à éviter la démotivation des apprenants pour qui les corrigés constituent souvent la seule forme de contact personnalisé avec le système de formation.

Pour fonder notre travail qui portera sur la conception d'un système informatisé d'analyse de l'erreur, nous avons étudié le comportement des tuteurs qui prennent en charge le suivi d'un cours d'initiation à la logique et au langage BASIC organisé par le service de l'enseignement à distance de la Communauté Française de Belgique.

Sans entrer dans le détail des procédures mises en oeuvre par les différents tuteurs qui, outre des indications méthodologiques très générales, disposent d'une très large autonomie, nous pensons néanmoins utile, pour justifier l'approche que nous proposerons par la suite, de dégager un certain nombre de styles de tutorat et d'en souligner les limites et les faiblesses.

D'une manière générale, on peut mettre en évidence cinq styles différents caractérisant la manière dont est prise en charge la fonction de feed-back, styles qui ne sont pas nécessairement mutuellement exclusifs mais peuvent coexister chez le même tuteur.

  • Le style informatif direct : qui consiste à se contenter de barrer les erreurs des apprenants pour les remplacer par la réponse correcte sans fournir d'explication complémentaire.
  • Le style appréciatif : qui consiste à délivrer un feed-back sous la forme d'une appréciation globale par référence à une échelle de notation.
  • Le style inconstant : qui tantôt laisse passer certaines erreurs par inattention tantôt fournit des appréciations différentes pour des devoirs dans lesquels des formes d'erreurs similaires ou voisines peuvent être mises en évidence.
  • Le style intuitif : qui consiste à corriger et à noter des devoirs en se basant sur son intuition personnelle sans recourir à aucune forme de systématisation.
  • Le style explicatif : qui constitue le modèle du tuteur efficace soucieux d'informer l'apprenant de manière précise et détaillée sur ses difficultés mais aussi sur la manière de les dépasser.

Il ne s'agit pas là, bien entendu, d'un système de caractérisation qui ait l'ambition d'être exhaustif mais plutôt d'une base de réflexion qui devrait nous permettre de faire mieux percevoir au lecteur la nécessité d'une approche systématique dans la prise en charge de l'erreur. Cette nécessité se comprend d'autant mieux lorsque l'on sait que, parmi l'échantillon de correcteurs étudié, aucun n'a adopté un style réellement explicatif et que l'intuition et l'inconstance constituent les caractéristiques les plus prégnantes qui ressortent de notre étude.

De nombreuses raisons peuvent être évoquées pour expliquer cette situation : mauvaise préparation des tuteurs, absence d'outils de référence, manque de temps... Notre propos n'est pas ici de discuter de cet aspect mais bien de nous appuyer sur les lacunes constatées au niveau du fonctionnement actuel du système pour proposer un outil qui, en exploitant les ressources de l'intelligence artificielle, soit capable de prendre en charge les exigences de rigueur et de précision dans l'analyse de l'erreur pour proposer aux apprenants des modalités de feed-back satisfaisantes tant en ce qui concerne sa qualité pédagogique que la rapidité avec laquelle il pourra être communiqué aux apprenants.

Aux préoccupations directement issues des lacunes que nous avons identifiées sur base de notre échantillon de tuteurs, nous souhaitons en ajouter une autre résultant de l'analyse des possibilités mises en oeuvre par les systèmes informatiques orientés vers la prise en charge des erreurs de l'apprenant. En effet, les systèmes que nous avons identifiés et sur lesquels nous reviendrons par la suite adoptent, pour traiter les erreurs, une approche synchronique dans laquelle l'interprétation de l'erreur est strictement interne à une session de travail, voire au traitement d'une situation particulière.

Ainsi, un système tel que Proust (Johnson, 1988) dont les possibilités en matière de prise en charge des erreurs dans des programmes informatiques rédigés en PASCAL sont unanimement appréciées par la communauté des chercheurs en intelligence artificielle, fonde ses décisions exclusivement sur des informations internes à un programme particulier sans intégrer les données issues des programmes soumis auparavant à l'apprenant.

D'autres systèmes tels que Debuggy (Burton, 1982) se basent, pour identifier de manière précise la nature de l'erreur, sur une description procédurale de chacune des erreurs qui permet de définir un espace d'hypothèses initiales relatives à l'origine de l'erreur. Les problèmes (des exercices de soustraction écrite) soumis par la suite aux sujets sont choisis pour permettre d'éliminer certaines des hypothèses de manière à aboutir finalement à identifier la difficulté qui constitue la source la plus probable de l'erreur commise. Par rapport à Proust, on peut considérer que Debuggy introduit certains aspects diachroniques dans la manière dont il traite l'erreur. Toutefois, la prise en compte de l'aspect temporel reste limitée à une catégorie d'exercices particuliers et est largement insuffisante pour rencontrer les besoins d'un enseignement à distance qui est mis en oeuvre à l'occasion de nombreuses sessions de travail étalées sur plusieurs mois, voire plusieurs années.

La contribution essentielle du dispositif que nous décrirons dans cet article repose sur la prise en compte de la dimension diachronique dans l'identification de la nature des difficultés révélées par les apprenants. Cette prise en compte permet d'asseoir les actions correctives à mettre en place sur un historique de l'évolution de l'acquisition d'une règle ou d'un principe par l'apprenant.

Dans cette étude, notre hypothèse de travail implicite repose sur le constat, largement étayé par la littérature spécialisée, selon lequel, pour trouver sa pleine efficacité, une action de remédiation doit intégrer cette dimension temporelle. Ainsi, si un apprenant a éprouvé des difficultés, tout au long d'un cours, à mettre en oeuvre correctement une règle simple ou complexe, il ne nous paraît pas opportun de lui proposer la même forme de remédiation que celle qui sera présentée à un apprenant qui, dans le passé, a fait preuve d'une maîtrise parfaite de la règle indépendamment du contexte dans lequel elle devait être appliquée et qui, à partir d'un certain moment, a connu des échecs répétés dans la mise en application de cette règle sans que le contexte puisse être considéré comme fondamentalement différent. Dans le second cas, on peut raisonnablement penser que l'élève est simplement victime d'un oubli alors que dans le premier, il s'agit probablement d'une incompréhension plus profonde de la règle.

Selon le diagnostic auquel notre analyse diachronique aboutira, les actions de remédiation à mettre en place seront de nature fondamentalement différente. Ainsi, dans le cas d'échecs répétés, il pourrait être opportun de revoir la stratégie pédagogique utilisée en proposant une approche plus adaptée alors que dans le cas d'un oubli, il serait plus profitable d'introduire davantage d'éléments de structuration et de rappel tout au long du cours.

Remarquons que le phénomène d'oubli auquel nous venons de faire allusion risque de jouer un rôle important dans notre étude étant donné les caractéristiques du système d'enseignement à distance auquel nous nous référons. En effet, les apprenants inscrits à un cours auront toute liberté pour adopter le rythme de travail qui leur convient quitte à étaler leur formation sur de nombreux mois, voire plusieurs années.

Dans la suite de ce texte, nous nous attacherons à décrire les principes d'un système d'aide au diagnostic de l'erreur adapté aux besoins de l'enseignement à distance que nous désignerons, par souci d'alléger notre rédaction, par l'acronyme MADER (Module d'Analyse Diachronique des Erreurs).

2. Principes de MADER

2.1 Généralité du système

Nous avons conçu MADER de manière à privilégier l'étendue de son champ d'application, ce qui nous a obligé à nous détacher des spécificités des contenus et du domaine traités pour baser nos règles d'inférence sur des principes généraux.

Ce souci d'adopter une approche qui soit la plus générale possible se heurte, bien évidemment, à certaines limitations, en particulier l'exigence sur laquelle nous reviendrons par la suite, d'en arriver à un découpage clair du domaine concerné en activités élémentaires susceptibles d'être intégrées dans plusieurs séquences.

2.2 Mise en évidence d'unités fonctionnelles et d'activités élémentaires

Pour concevoir notre module de diagnostic des erreurs, nous nous basons sur une série d'activités enchâssées dans des unités fonctionnelles. La première étape de mise en forme d'un cours en vue d'une prise en charge de sa gestion par MADER consiste à isoler une série d'unités, c'est-à-dire un ensemble de situations d'apprentissage, qui corresponde à un objectif spécifique.

A titre d'exemple, en ce qui concerne le cours qui nous a servi de référence pour le développement de MADER, les objectifs suivants constituent des unités fonctionnelles : afficher à l'écran un message comportant des variables, affecter une valeur à une variable numérique ou caractère, mettre en oeuvre une structure alternative...

A partir de ces unités fonctionnelles, nous avons dégagé des activités élémentaires de sens. Pour permettre au lecteur de mieux saisir la démarche que nous avons mise en oeuvre, nous partirons d'un exemple relatif à l'affichage à l'écran d'un message sans variable. L'unité fonctionnelle qui correspond à cet objectif peut être décomposée en une série d'activités élémentaires : écrire la commande « afficher » (1), mettre une apostrophe (2),

écrire le message qui doit apparaître à l'écran (3), mettre une apostrophe (4). Les activités no 2, 3 et 4 relèvent d'une même règle : le message à afficher doit être placé entre apostrophes; nous dirons donc que ces activités sont des composantes d'une même unité de sens. L'activité « mettre une apostrophe » n'est pas porteuse de sens dans cette situation puisqu'elle ne peut être isolée des activités 3 et 4. Par contre, l'instruction « afficher » constitue une unité de sens spécifique parce qu'elle peut être dissociée des activités 2, 3 et 4 pour être couplée à d'autres activités élémentaires. Par exemple, on pourra trouver dans un programme l'instruction « afficher A » dans laquelle « A » est une variable.

Les unités fonctionnelles du cours d'initiation à la logique et au langage BASIC ont été décomposées en activités élémentaires de sens. Fort heureusement, car cela constitue l'une des bases des mécanismes d'inférence que nous mettrons en oeuvre pour tenter d'identifier l'origine des erreurs, la plupart des activités élémentaires de sens ont pu être isolées dans plusieurs unités fonctionnelles différentes.

Remarquons, dès à présent, quitte à y revenir par la suite, le caractère artificiel de la manière dont nous avons procédé en partant d'un cours préconstitué, plutôt que d'en construire un en fonction des exigences spécifiques des règles d'inférence mises en oeuvre par MADER.

2.3 La Base de faits

Dans sa forme actuelle MADER ne disposant pas d'un module de traitement automatique des réponses des apprenants, les informations qui constitueront la base de faits sur laquelle opèrera le système seront communiquées manuellement.

Ainsi, pour chaque activité réalisée par l'apprenant, l'opérateur aura à communiquer les informations suivantes : numéro de l'activité effectuée, numéro de la séquence dans laquelle l'activité a été effectuée, activité réussie ou ratée.

2.4 Le Système d'inférence

Le fonctionnement du système d'inférence repose sur la mise en évidence de huit formes de maîtrise possible pour chacune des activités.

  1. Maîtrise de l'activité quelle que soit la séquence qui lui sert de contexte.
  2. . Maîtrise de l'activité avec apparition d'une ou plusieurs erreurs d'inattention.
  3. Non maîtrise de l'activité uniquement lorsqu'elle a pour cadre une ou plusieurs séquences particulières.
  4. Maîtrise de l'activité dans la situation initiale avec difficulté de transfert à toute autre situation.
  5. Maîtrise initiale de l'activité suivie d'un oubli des règles sur lesquelles repose cette activité.
  6. Maîtrise tardive de l'activité.
  7. Non maîtrise de l'activité quelle que soit la séquence dans laquelle elle est intégrée.
  8. Maîtrise instable de l'activité.

Pour mettre en évidence la forme de maîtrise qui caractérise un apprenant donné pour chacune des activités prévues dans le cours, plusieurs dizaines de règles d'inférence ont été élaborées par référence à six grands axes d'analyse.

  1. Le nombre d'erreurs pour chacune des activités élémentaires en fonction de quatre catégories : aucune erreur, moins de 10 % d'erreurs, aucune réussite, un nombre d'erreurs > à 10 % et < à 100 %.
  2. Le nombre de réalisations d'une activité donnée. Ainsi, si ce nombre est grand, le diagnostic est plus fiable, tandis que s'il est petit, nous délivrons un message mettant en garde l'utilisateur en ce qui concerne la fiabilité du diagnostic attaché à cette activité.
  3. La succession chronologique des échecs et réussites pour une activité donnée. Cet axe nous permet de déceler les cas d'oubli ou de maîtrise tardive des règles relatives à la mise en oeuvre d'une activité élémentaire.
  4. La proportion d'erreurs et de réussites dans chaque séquence pour une activité donnée. Cet axe nous permet de déceler les problèmes liés au transfert d'une activité d'un contexte d'application vers un autre.
  5. La première séquence dans laquelle l'activité a été correctement effectuée. Cet axe nous permet d'isoler les problèmes liés à la capacité de maîtrise de l'activité dans la situation initiale d'apprentissage sans qu'un transfert adéquat à toute autre situation puisse être réalisé.
  6. Le nombre de séquences dans lesquelles l'activité a été effectuée. Plus ce nombre est élevé, plus le diagnostic sera fiable. Supposons qu'un apprenant n'ait réalisé une activité donnée que dans le cadre d'une seule séquence.

Même s'il a toujours réussi ses exercices, nous ne pouvons affirmer qu'il s'agit réellement d'une maîtrise de l'activité quelle que soit la séquence qui lui serve de cadre, puisque nous ne connaissons pas les performances de l'apprenant lorsque l'activité est insérée dans un contexte différent (dans une séquence différente). Ces six axes d'analyse ont servi de base à l'écriture de règles d'inférence indépendantes du contenu traité dans le cours. A titre d'exemple, nous décrirons ci-après deux règles extraites de MADER.

  • Règle 1 : Si l'activité est effectuée avec succès lorsqu'elle est insérée dans la situation S1 et que l'activité n'est pas effectuée avec succès lorsqu'elle est insérée dans la ou les situations S2.

Alors l'élève maîtrise l'activité lorsqu'elle est insérée dans une ou plusieurs situations S1 mais est incapable d'effectuer un transfert correct lorsque l'activité est insérée dans une ou plusieurs situations S2.

  • Règle 2 : Si l'activité est systématiquement réussie à l'occasion des premiers exercices et que, à partir d'un moment donné (seuil temporel), l'activité est systématiquement ratée.

Alors l'élève, après avoir acquis la maîtrise des règles relatives à une activité, oublie ces règles.

2.5 Les limites du dispositif dans sa forme actuelle

Comme nous l'avons déjà évoqué, nous nous sommes heurtés, à plusieurs reprises, à certaines difficultés dans l'identification du niveau de maîtrise d'une généralement par une indétermination que notre dispositif ne parvient pas à lever activité par un sujet déterminé. Ces difficultés se traduisent le plus souvent en raison de la conception du cours lui-même qui n'est pas toujours adaptée aux exigences des règles d'inférence mises en oeuvre par MADER.

Par exemple, pour la séquence réussites-erreurs décrite dans la , il nous est difficile de trancher entre deux origines possibles pour les difficultés constatées.

En effet, les échecs dans la mise en oeuvre de l'activité lorsqu'elle a pour cadre la séquence 3 sont- ils dus à un oubli des règles ou à une incapacité de transférer ces règles lorsque l'activité a pour cadre la séquence 3 ? Par contre, une organisation différente du cours dans laquelle l'activité serait proposée à nouveau à l'apprenant dans le cadre des séquences 1 et 2 après qu'il ait eu à la traiter à l'occasion de la séquence 1 (figure no 2) aurait permis de lever l'indétermination quant à l'origine de la difficulté.

Ainsi, par référence à la succession des réussites et échecs décrite dans la, nous pouvons conclure que la cause la plus probable de la difficulté constatée dans la maîtrise de l'activité se situe dans de l'apprenant à opérer le transfert de la compétence à l'occasion de la séquence 3. En effet, l'hypothèse d'oubli des règles peut être écartée compte tenu de la réussite de l'activité par l'apprenant dans les séquences 1 et 2 après avoir échoué dans la séquence 3.

Pour éviter ce type de difficulté, il est impératif d'intégrer, lors de la conception pédagogique du cours, certaines contraintes liées aux procédures d'inférence mises en oeuvre par MADER. En particulier, on prendra soin d'éviter un regroupement temporel extrême des séquences en reprenant certaines séquences sous forme de rappel.

Une autre manière de dépasser les difficultés que nous venons d'évoquer consiste, lorsque on est confronté à une indétermination avec un apprenant particulier, à lui proposer un exercice complémentaire intégré dans une séquence choisie de manière à lever l'indétermination. Cette façon d'opérer, qui est probablement la plus efficiente puisqu'elle prend en considération les cheminements individuels, nous a servi de référence dans ce travail. Toutefois, à défaut de pouvoir confectionner des devoirs sur mesure, nous nous sommes contentés d'intégrer à notre système une procédure permettant d'informer le gestionnaire de formation du type d'exercice qu'il convient de proposer à un moment particulier pour lever une indétermination.

Le message qui est présenté à cette occasion s'inspire du modèle ciaprès : Pour trancher entre l'hypothèse « oubli des règles » et l'hypothèse « non maîtrise de l'activité dans une ou plusieurs séquences », nous vous conseillons de soumettre l'élève à un ou plusieurs exercices nécessitant la mise en oeuvre de l'activité 1 dans le cadre d'une séquence dans laquelle l'élève a déjà réalisé cette activité avec succès (par exemple la séquence 1).

Si les exercices sont réussis, on penchera en faveur de l'hypothèse « non maîtrise de l'activité dans une ou plusieurs séquences ».

S'ils sont ratés, on penchera en faveur de l'hypothèse « oubli des règle ».

3. Conception informatique

3.1 Choix du langage

Pour programmer MADER, nous avons choisi d'avoir recours au langage PROLOG (Borland, 1988). Le caractère déclaratif de ce langage nous a permis, sur base d'une liste de faits et de règles que nous avons définis, de mettre en oeuvre des mécanismes d'identification du niveau de maîtrise des activités en exploitant le « moteur d'inférence » qui fait partie intégrante du langage.

3.2 La base de faits

En PROLOG, les faits s'expriment à l'aide de prédicats et d'arguments. MADER fonctionne sur base de trois prédicats fondamentaux qui s'appliquent à une série d'arguments décrivant les activités, les séquences et les résultats des apprenants.

  1. « résultat (A,N,S,R) » où A, N, S et R sont liés respectivement au type d'activité, au numéro d'ordre de l'activité (toutes les activités effectuées sont numérotées en respectant l'ordre chronologique de leur apparition), au type de séquence et à la réussite ou l'échec de l'activité.
  2. « nbre_act (A,R,N) » où A est lié au type d'activité, R à la réussite ou à l'échec et N au nombre d'exercices réussis ou ratés pour une activité donnée. Par exemple, le prédicat « nbre_act (3,0,2) » traduit le fait que l'activité no 3 a été deux fois ratée (« 0 » traduit l'échec). Le prédicat « nbre_act (2,1,6) » traduit le fait que l'activité no 2 a été six fois réussie (« 1 » traduit la réussite).
  3. « nbre_act_seq (A,S,R,N) » où A est liée au type d'activité, S au type de séquence, R à la réussite ou à l'échec et N au nombre d'exercices réussis ou ratés pour une activité donnée insérée dans une séquence donnée. Par exemple, le prédicat « nbre_act_seq (3, 4, 1, 7) » traduit le fait que l'activité no 3 insérée dans la séquence no 4 a été sept fois réussie.

Outre ces trois prédicats fondamentaux, MADER dispose d'un grand nombre d'autres prédicats sur lesquels s'appuient les mécanismes d'inférence.

3.3 La base de règles

Les règles permettent de déduire de nouveaux faits à l'aide des faits déjà connus. Le schéma de base d'une règle en PROLOG se calque sur le modèle suivant : Conclusion (= nouveau fait) SI Condition 1

et Condition 2 et Condition 3

... et Condition N Cette règle s'exprimera en PROLOG sous la forme suivante : nouveau_prédicat :- prédicat 1, prédicat 2, prédicat 3,

... prédicat N. Le symbole « :- » traduit le « si » et la virgule traduit le « et ». En PROLOG, la conclusion est toujours située dans le membre de gauche et les conditions dans le membre de droite. Cela tient au fait que les déclencheurs de règles sont, par convention, le plus souvent situés dans le membre de gauche. Or, PROLOG fonctionne par chaînage arrière (back-tracking), c'est-à-dire que le raisonnement s'effectue depuis les buts vers les données (Farreny, 1985).

En PROLOG, un programme est lancé par une demande de résolution d'un problème. Cette demande déclenche une série de règles. Lorsqu'une règle est déclenchée, de nouveaux problèmes (sous- problèmes), définis par le corps de cette règle, sont posés. Ces sous-problèmes déclenchent euxmêmes de nouvelles règles. Le processus s'arrête lorsque tous les faits sur lesquels on aboutit sont établis. Le réseau qui est produit à partir d'un problème initial, par l'appel à différents sous-problèmes, s'appelle « réseau arborescent ».

3.4 Illustration de la structure de MADER à partir d'un problème simple

Nous nous proposons d'illustrer la structure arborescente de MADER à partir d'un de ses réseaux de règles les plus simples en partant du problème initial qui consiste à vérifier l'hypothèse suivante : le comportement d'apprentissage du sujet est caractéristique d'un oubli des règles mises en oeuvre dans une activité particulière.

Pour solutionner ce problème, il est nécessaire de vérifier si tous les exercices ratés sont situés dans le temps après tous les exercices réussis pour l'activité donnée.

Supposons que les faits suivants soient introduits dans le système (pour que notre démonstration du fonctionnement de MADER soit plus claire, nous utilisons un petit nombre de faits) :

résultat (6,1,3,1)
résultat (6,2,5,1)
résultat (6,3,2,1)
résultat (6,4,3,0)
résultat (6,5,2,0)

La définition de ces faits traduit la configuration d'erreurs présentée à la figure 3.

 

Nous présentons ci-après les règles qui vont permettre au système de confirmer l'hypothèse d'oubli des règles relatives à la mise en oeuvre de l'activité no 6 :

(1) h(A) : ordre (A,1),
  message2 (A,5),
 
fail.
(2) ordre (A,R) : findall (N, résultat (A,N,_,R),L),
  résultat (A,_,_,R1),
  R1<>R,!,
  nbre_act(A,1,KL),
  nbre_act(A,1,LL),
  KL>0,
  LL>0,
  findall(N1,résultat(A,N1,_,R1),L1),
  ordre1(L,L1).
(3.1) ordre1([],_).  
(3.2) ordre1([T|Q],L1): ordre2(T,L1),
  ordre1(Q,L1).
(4.1) ordre2(_,[]).  
(4.2) ordre2(T,[T1|Q1]) T<T1,
  ordre2(T,Q1).
(5) message2(A,5): nbre_act(A,_,_),!,
  write("-oubli des règles"),
  write("relatives à la mise"),
  write("en oeuvre de l'activité"),n1,
  assertz(diagno(A,5,"oubli des règles")).

Sans entrer dans le détail du fonctionnement de ce programme, soulignons l'importance de deux structures dans la programmation de MADER. D'une part, l'appel récursif comme dans les règles 3.2 ou 4.2 et le traitement de listes (règle 2). Ce dernier permet d'interpréter une configuration d'erreurs afin d'en inférer le niveau de maîtrise du principe que l'on souhaite enseigner à l'apprenant.

Les quelques règles que nous avons présentées pour illustrer le fonctionnement de MADER ne constituent qu'une infime partie des réseaux complexes de règles mis en oeuvre par le système dont la compréhension, outre une connaissance suffisante du langage PROLOG, nécessiterait plusieurs dizaines de pages d'explication.

4. Simulation du fonctionnement de MADER

Pour tester le dispositif de diagnostic que nous avons mis au point, une démarche naturelle aurait consisté à se baser sur des données issues des devoirs transmis par les apprenants qui ont participé au cours. Malheureusement, nous disposions, au moment où ce travail de simulation devait être réalisé, de trop peu de données pour pouvoir tester toutes les possibilités prises en compte par le système. Aussi, avons-nous été amené à réaliser, du moins en partie, notre simulation à partir de cas fictifs construits pour les besoins de l'essai.

Afin d'éviter une description longue et fastidieuse du résultat des essais auxquels nous avons procédé, nous avons choisi de partir des niveaux de maîtrise décrits auparavant (2.4) et pour chacun de ceux-ci, nous avons décrit les conditions pour qu'une hypothèse relative à une forme de maîtrise donnée puisse être retenue. Pour concrétiser le fonctionnement de MADER, nous avons, lorsque cela se justifiait, présenté un exemple de cas réel d'apparition de chacune des configurations d'erreurs associées à un niveau de maîtrise déterminé.

4.1 Maîtrise d'une activité

La condition de base pour conclure à la maîtrise d'une activité réside dans l'absence de toute erreur dans la mise en oeuvre de cette activité.

Dans le cadre de MADER, nous considérerons que pour qu'une hypothèse de maîtrise de l'activité puisse être clairement confirmée, il convient que l'activité ait été réalisée au moins trois fois dans deux séquences différentes.

Compte tenu de l'exigence que nous venons de formuler, le niveau de maîtrise ne peut être défini clairement dans deux cas.

  1. Lorsque l'élève n'a réalisé l'activité qu'à deux reprises (dans deux séquences différentes). Dans ce cas, nous attirons l'attention du tuteur par le message suivant : « L'hypothèse la plus plausible est celle de maîtrise de l'activité. Nous ne pouvons néanmoins proposer cette hypothèse avec un degré de certitude satisfaisant puisque l'apprenant n'a effectué cette activité qu'à deux reprises. Nous vous invitons donc à soumettre l'apprenant à d'autres exercices nécessitant la mise en oeuvre de cette activité afin que nous puissions confirmer - ou infirmer - notre diagnostic ».
  2. Lorsque l'apprenant a réalisé l'activité (une ou plusieurs fois) uniquement dans le cadre d'une seule séquence, le message suivant est délivré au tuteur : « Nous ne pouvons fournir un diagnostic précis en ce qui concerne cette activité, puisqu'elle n'a été réalisée que dans le cadre de la séquence no (x).

Les hypothèses envisageables sont les suivantes : (suit la liste des hypothèses envisageables en fonction de la configuration d'erreurs). »

4.2 Erreurs attribuables à l'inattention alors que l'activité semble maîtrisée

Pour proposer cette hypothèse, il convient que le nombre d'erreurs ne dépasse pas 10 % pour une activité donnée excepté lorsque le nombre de réalisations de l'activité est faible. Dans ce dernier cas, nous pourrons être amené à accepter cette hypothèse pour autant que l'apprenant n'ait commis qu'une seule erreur.

Complémentairement aux conditions énoncées ci-dessus, pour conclure à l'intervention d'un phénomène d'inattention, il conviendra d'abord de vérifier qu'aucune autre hypothèse ne permet de rendre compte de la configuration d'erreurs-réussites observée, en particulier l'oubli ou la maîtrise tardive des règles.

A titre d'illustration, nous nous proposons de décrire l'intervention de cette forme d'erreur telle que nous avons pu l'observer dans un des devoirs du cours qui sert de référence à ce travail.

Monsieur R.B. enserre toujours soigneusement ses messages à afficher entre apostrophes, tant lorsqu'il utilise l'instruction « afficher » que lorsqu'il utilise l'instruction « introduire ». Dans un exercice, il remplace les apostrophes par des guillemets. Nous pouvons éliminer les hypothèses d'oubli et de maîtrise tardive, puisque, dans le cadre du même exercice, l'apprenant réalise correctement l'activité à plusieurs reprises. L'hypothèse de difficulté à transférer la règle à une séquence donnée est également irrecevable, puisque plusieurs fois l'activité a été effectuée avec succès dans cette séquence. Nous avons introduit cette configuration de données dans le système. Il a diagnostiqué avec justesse une maîtrise de l'activité avec erreurs d'inattention.

4.3 Non maîtrise de l'activité uniquement lorsqu'elle a pour cadre une ou plusieurs séquences particulières

La condition fondamentale permettant de retenir cette hypothèse réside dans l'existence d'une ou plusieurs séquence(s) dans laquelle (lesquelles) la mise en oeuvre d'une activité donnée a systématiquement conduit à un échec, conjointement à l'existence d'exercices réussis dans les autres séquences.

Pour conclure de manière claire par rapport à cette hypothèse, il convient que l'activité ait été effectuée (et ratée) à deux reprises au moins pour chaque séquence vis-à-vis de laquelle on suspecte un problème de transfert. Le nombre total d'erreurs doit dépasser 10%, afin d'éliminer l'hypothèse de manque d'attention. Les activités ratées ne peuvent pas être groupées en bloc dans le temps avant ou après l'ensemble des activités correctement effectuées, ceci afin d'éliminer, respectivement, les hypothèses de maîtrise tardive de l'activité et d'oubli.

L'exemple présenté ci-après illustre un cas de non maîtrise de l'activité.

Monsieur P.B. éprouve des difficultés à effectuer l'activité « écrire le message entre apostrophes » lorsqu'elle est insérée dans le cadre de la séquence « afficher un message avec variables sur l'écran ». Il effectue correctement cette activité lorsqu'elle est insérée dans le cadre des autres séquences (par exemple, « afficher un message sans variables à l'écran » ou « introduire une information donnée par l'utilisateur »). Il lui est demandé d'afficher à l'écran le message « A–B=D » où A, B et D sont des variables. La réalisation correcte de cette séquence est donc « afficher A; "–"; B; "="; D »;. Les signes « – » et « = » doivent être affichés entre apostrophes, puisqu'il s'agit de constantes. Or, Monsieur P.B. omet l'utilisation des apostrophes. Cette activité est effectuée à trois reprises dans cette séquence et la même erreur est chaque fois identifiée. Les hypothèses d'oubli et de maîtrise tardive de l'activité sont irrecevables puisque les erreurs sont précédées et suivies d'occurrences correctes de l'activité (dans le cadre d'autres séquences, bien entendu). Lorsque les données sont introduites dans le système, la configuration d'erreurs est reconnue par celui-ci comme révélatrice d'un problème de non maîtrise de l'activité lorsqu'elle est insérée dans le cadre de la séquence 2 (« afficher un message avec variables à l'écran »).

4.4 Maîtrise de l'activité dans la situation initiale avec difficulté de transfert à toute autre situation

Pour que cette hypothèse puisse être retenue, il convient que l'activité soit réussie chaque fois qu'elle est insérée dans la séquence qui lui a servi de cadre lors de l'apprentissage et qu'elle soit ratée lorsque l'activité est insérée dans toute autre séquence exigeant une forme plus ou moins étendue de transfert.

Il s'agit en fait d'un cas particulier du niveau de maîtrise que nous avons décrit au point précédent à l'occasion duquel les erreurs pouvaient apparaître uniquement dans certaines séquences notamment celles exigeant des capacités de transfert importantes de la part de l'apprenant.

Malgré les similitudes qui peuvent exister avec le niveau de maîtrise concerné par le point 4.3, nous pensons utile de distinguer ces deux niveaux de maîtrise car les activités de remédiation qu'il s'agira de proposer, dans chacune de ces deux situations, pourront être très différentes. En effet, dans le cas d'une impossibilité de transfert à toute autre situation, il conviendra de reprendre l'apprentissage à la base en étant attentif à proposer à l'apprenant des activités exigeant de sa part une application des principes ou des règles à des situations, qui tout en étant proches du contexte de départ, lui demandent certaines capacités à généraliser les principes de manière à éviter la simple recopie ou l'application « aveugle » d'une règle qu'il n'aurait pas comprise.

4.5 Maîtrise initiale de l'activité suivie d'un oubli des règles

Pour qu'une hypothèse d'oubli soit proposée, les échecs dans la mise en oeuvre d'une activité doivent, en bloc, apparaître après les occurrences correctes de cette activité.

Pour conclure valablement à un oubli des règles, il convient d'une part, que le taux d'erreurs soit supérieur à 10 % de manière à éliminer l'hypothèse de manque d'attention et d'autre part, que l'activité ait été réussie dans le cadre de la même séquence afin d'éliminer les hypothèses relatives aux difficultés de transfert (4.3 et 4.4).

Des erreurs liées à l'oubli des règles ont souvent été observées dans le cours d'initiation à la logique et au langage BASIC, nous en présentons un exemple ci-après.

Monsieur A.F. effectue correctement l'activité « écrire l'instruction introduire » dans la séquence « introduire une information donnée par l'utilisateur ». Au bout de quelques exercices, il utilise systématiquement l'instruction « afficher » au lieu de l'instruction « introduire ». Le taux d'erreurs dépasse 10 %. L'activité a bien été antérieurement effectuée avec succès dans le cadre de la même séquence. Lorsque ces données sont introduites dans le système, le diagnostic d'oubli est proposé.

4.6 Maîtrise tardive de l'activité

Pour qu'une hypothèse de maîtrise tardive des règles puisse être proposée, les échecs dans la mise en oeuvre d'une activité doivent, en bloc, apparaître avant les occurrences correctes de cette activité.

Dans certains cas, les hypothèses de manque d'attention et de non maîtrise de l'activité dans une ou plusieurs séquences particulières peuvent entrer en compétition avec la maîtrise tardive de l'activité. Pour la première, on tranchera généralement en donnant la priorité à l'explication par la maîtrise tardive plutôt qu'au manque d'attention et pour la seconde, en l'absence de données suffisantes pour fonder une décision, on proposera au tuteur le message suivant :

Pour trancher (....), nous vous conseillons de soumettre l'élève à un ou plusieurs exercices nécessitant la mise en oeuvre de l'activité dans les séquences dans lesquelles un problème de non maîtrise de l'activité a été observé. Si les exercices sont réussis, on penchera en faveur de l'hypothèse « maîtrise tardive ». S'ils sont ratés, on penchera en faveur de l'hypothèse « non maîtrise de l'activité dans une ou plusieurs séquences ».

4.7 Non maîtrise de l'activité quelle que soit la séquence dans laquelle elle est intégrée

Pour que l'hypothèse de non maîtrise des règles soit proposée pour une activité donnée, il faut que cette activité ait été systématiquement ratée. Lorsque l'activité a été effectuée (et ratée) au moins trois fois, et dans au moins deux séquences différentes, nous concluerons à une non maîtrise de l'activité.

Par contre, lorsque l'apprenant n'a réalisé (et raté) l'activité qu'à deux reprises, mais dans deux séquences différentes, l'hypothèse de non maîtrise est proposée assortie d'une mise en garde signalant au tuteur qu'un diagnostic sur base de deux activités est peu fiable.

De même, lorsque l'activité n'est effectuée (et ratée) qu'à l'occasion d'une seule séquence, le système signale que l'hypothèse de non maîtrise dans le cadre d'une séquence particulière doit également être envisagée.

4.8 Maîtrise instable de l'activité

Dans notre système de diagnostic, l'hypothèse de maîtrise instable recueille

tous les cas résiduels, c'est-à-dire les cas pour lesquels aucune autre hypothèse n'a pu être vérifiée. Il s'agit d'apprenants qui parfois ratent, parfois réussissent l'activité, quelle que soit la séquence dans laquelle elle est insérée, quel que soit le moment de son apparition, et qui dépassent le taux de 10 % d'erreurs.

4.9 Recours simultané à plusieurs hypothèses pour justifier une configuration particulière d'erreurs

Parfois, plusieurs hypothèses sont nécessaires pour justifier une configuration d'erreurs. Dans ce cas, ces hypothèses n'entrent pas en compétition les unes avec les autres mais sont proposées conjointement pour commenter une configuration d'erreurs particulière.

A titre d'exemple, nous décrivons une configuration d'erreurs à propos de laquelle les hypothèses d'oubli et de manque d'attention peuvent être posées simultanément.

Dans la configuration d'erreurs présentée à la figure no 4, le taux d'erreurs est supérieur à 10%. Néanmoins, le système est capable d'effectuer une analyse séparée des sept premiers exercices. Dans ces sept premiers exercices, une seule activité a été ratée. Cette activité a été, antérieurement et ultérieurement, réussie dans la même séquence. N'oublions pas que notre module tolère qu'une erreur sur moins de dix exercices soit catégorisée comme erreur d'inattention. Puisqu'un seul exercice sur les sept premiers a été raté, le système conclura qu'une erreur d'inattention s'est glissée dans les sept premiers exercices, et qu'à partir du huitième exercice, l'apprenant a oublié les règles relatives à l'activité.

5. Conclusion et perspectives de developpement

L'intérêt principal de MADER réside dans l'approche diachronique qu'il utilise pour diagnostiquer l'origine des difficultés des apprenants sur base d'une configuration d'erreurs.

Comme nous avons essayé de le montrer dans cet article, cette approche nous paraît adaptée aux besoins d'un enseignement à distance dont les principales modalités d'interaction entre le tuteur et l'apprenant reposent sur l'échange ponctuel de documents entre ces deux pôles de la relation pédagogique.

Face à une configuration d'erreurs relatives à une activité particulière, le dispositif que nous avons élaboré est capable, pour expliquer l'origine d'une difficulté, de proposer soit une hypothèse simple quant à la forme de maîtrise acquise par un apprenant particulier, soit plusieurs hypothèses alternatives ou complémentaires. Ainsi, lorsque le processus de diagnostic a conduit à mettre en évidence plusieurs hypothèses alternatives, MADER suggèrera au formateur de proposer à l'apprenant des exercices d'un type clairement spécifié afin de pouvoir départager les différentes hypothèses concurrentes. Dans d'autres cas, il sera utile de recourir simultanément à plusieurs hypothèses pour définir la forme de maîtrise qui caractérise le comportement d'apprentissage d'un sujet particulier.

La capacité, qui caractérise MADER, de faire appel à des informations complémentaires lorsqu'il ne peut validement choisir entre plusieurs hypothèses n'a pu être exploitée que de manière très partielle dans l'implémentation du dispositif décrit dans cet article. En effet, lorsque MADER hésite entre plusieurs hypothèses, il devra attendre l'acheminement de nouveaux questionnaires vers l'apprenant et le retour de ceux-ci pour prendre sa décision.

Compte tenu des contraintes temporelles inhérentes au courrier postal et à l'absence de contrôle sur le temps pris par l'apprenant pour répondre aux questions qui lui ont été transmises, il est possible qu'entretemps les compétences, sur lesquelles le dispositif a fondé les hypothèses qu'il s'agissait de départager, aient évolué et cela plus vraisemblablement dans le sens d'une dépréciation que dans celui d'une amélioration.

Compte tenu des contraintes que nous venons d'évoquer, on comprendra aisément la souplesse que pourrait apporter à MADER une implémentation qui le libérerait, du moins dans une large mesure, des contraintes temporelles. Ainsi, la possibilité d'interagir directement avec l'apprenant à travers un réseau télématique permettrait de recueillir beau-coup plus rapidement les informations nécessaires à la prise de décision par rapport au niveau de maîtrise atteint dans le cadre d'une activité particulière.

Toujours dans le même souci de recherche d'une plus grande souplesse de fonctionnement, MADER pourrait aisément être adapté à la gestion d'un cours dans lequel les exercices proposés à l'apprenant ne seraient pas choisis au départ et où l'envoi d'exercices complémentaires constituerait l'exception. Les contenus organisés en modules ou en unités plus réduites seraient transmis aux apprenants en fonction de leur progression dans les exercices, ces derniers étant choisis par MADER à l'intérieur d'une banque. Dans ce cas, MADER gérerait non seulement les exercices transmis mais aussi le moment où il est le plus judicieux de proposer aux apprenants de nouveaux contenus d'apprentissage en tenant compte du niveau de maîtrise acquis à l'occasion des activités précédentes.

Après avoir souligné l'étendue des possibilités associées à MADER, nous ne voudrions pas terminer cette présentation sans évoquer certaines limitations qui devraient être levées dans le cadre d'une utilisation élargie du dispositif. La première de ces limitations porte sur le fait que dans l'identification du niveau de maîtrise d'une activité on ne prend pas en compte, de manière spécifique, l'effet d'une action de remédiation. Par exemple, lorsqu'un apprenant rate successivement plusieurs fois une activité puis la réussit, il n'est pas indifférent de savoir si la réussite apparaît spontanément ou si elle résulte de l'intervention d'un feed-back de remédiation pour identifier de manière valide le niveau de maîtrise réel auquel se situe un apprenant déterminé.

Une autre limitation, probablement plus délicate à prendre en considration, repose sur l'ignorance des interactions possibles entre les activités proposées aux apprenants. En fait, MADER raisonne comme si la maîtrise d'une activité déterminée n'avait aucune incidence sur la réussite à une autre activité. Or, de nombreuses recherches prouvent très clairement que le fait de maîtriser une activité peut aider à en aborder une autre plus efficacement ou, au contraire, que l'apprentissage d'une activité déterminée peut perturber la réussite à une activité qui intervient par la suite. Dès lors, il conviendrait, pour tenir compte des interférences possibles entre certaines activités, d'intégrer à notre modèle d'analyse diachronique, des informations relatives à l'ordre selon lequel chacune des activités est abordée.

Remerciements

Nous tenons à exprimer nos plus vifs remerciements au Service de l'Enseignement à Distance de la Communauté Française de Belgique et plus particulièrement à Monsieur J.L. Luxen, Administrateur général ainsi qu'à Monsieur F. Duchesne sans l'appui desquels ce travail n'aurait pu être mené.

References

Borland. (1988). Turbo Prolog. User's guide, version 2.0. Burton, R. R. (1982). Diagnosing bugs in a simple procedural skill. In D.H. Sleeman & J. S. Brown (Eds.), Intelligent tutoring systems (pp. 157–183). London : Academic Press.

Johnson, L.W. (1988). Modelling programmers intentions. In J. Self (Ed.), Artificial intelligence and human learning (pp. 374–390). London: Chapman and Hall.

Farreny, F. (1985). Les systèmes experts. Principes et exemples. Toulouse : Cepadues-Editions.

Christian Depover est professeur à l'Université de Mons-Hainaut (Belgique) où il est responsable de l'Unité de Technologie de l'Éducation (UTE). Il enseigne également à l'Université Libre de Bruxelles Il est l'auteur de nombreux articles sur différents aspects de l'usage de l'ordinateur en éducation ainsi que de plusieurs ouvrages consacrés à ce même sujet.
Karine Rakofsky est licenciée en sciences psychopédagogiques et enseigne dans l'enseignement secondaire. Elle est collaboratrice à la recherche dans le cadre de l'Unité de Technologie de l'Éducation où elle s'est spécialisée dans le développement de systèmes d'aide au suivi à distance des étudiants.



PID: http://hdl.handle.net/10515/sy5kp7v49

Creative Commons License
This work is licensed under a Creative Commons Attribution 3.0 License.