Microsoft Research présente StudentSim et StudentSimEval, un système de simulateurs personnalisés et son protocole d’évaluation. Il cherche à reproduire à la fois les réponses d’un élève et leur changement après une explication, plutôt qu’à faire simplement jouer un rôle d’élève à un modèle trop compétent.
L’entraînement combine des données regroupées par domaine, puis une adaptation individuelle à partir de dossiers publics dé-identifiés. Les domaines étudiés sont échecs, anglais langue seconde et mathématiques. Le papier et le code d’entraînement et d’évaluation sont publics.
C’est un système de recherche, pas un produit utilisé en classe ou un remplacement des enseignants. Les résultats positifs sur la fidélité des simulations et un tuteur d’échecs ne prouvent pas un effet pédagogique réel dans une école. Les simulations ne remplacent pas l’évaluation avec de vrais apprenants.
Améliorer un tuteur exige de mesurer ce que l’élève apprend, pas seulement la qualité apparente de l’explication.