ALAIN: un analyseur lexical pour améliorer la validité des outils de mesure et évaluation

Plusieurs travaux à l’intersection de la linguistique appliquée et de la psychométrie se sont intéressés à l’influence de certains attributs linguistiques sur la performance dans des tests de compréhension écrite ou orale, ou encore de production écrite. Toutefois, la documentation des tests est souvent muette ou imprécise quant à la validation postulats concernant les attributs linguistiques du test, ce qui jure avec la conception kanienne de la validité. Au-delà des questions de validité, une opérationnalisation précise des attributs linguistiques offre plusieurs avantages, comme une meilleure identification des habiletés et connaissances maitrisées par l’élève, ce qui permet en retour d’offrir une rétroaction plus informative.

Ce projet consiste donc d’abord à définir une méthode de « validation linguistique » pouvant être appliquée dès les premières étapes de création d’un test, ou pour modifier un test existant, autant pour prévenir une variance indésirable (construct irrelevant variance) que pour intégrer au test certaines habiletés et connaissances linguistiques. La méthode permet d’expliciter et vérifier divers postulats concernant notamment le niveau de difficulté des passages de texte, la fréquence d’occurrence des mots et les superpositions lexicales entre les choix de réponse et les passages de texte. On peut ainsi mieux contrôler pour la variance indésirable, mais aussi inclure à l’épreuve des aspects linguistiques que nous souhaiterions mesurer.

Afin d’automatiser les parties les plus fastidieuses de l’analyse linguistique, nous avons créé ALAIN (pour Analyse Lexicale Automatisée sur Internet). ALAIN peut recevoir un texte ou un corpus de textes et les analyser à l’aide du système UDPipe et de quatre bases de données lexicales : EQOL, Lexique (film et livre), et Manulex. L’application produit, à des niveaux allant du mot au corpus de textes, diverses données, statistiques et indices standardisés qui sont pertinents lors de la création ou de l’amélioration d’une épreuve de compréhension de texte.

Contributeurs

Guillaume Loignon
Guillaume Loignon
Étudiant au doctorat en sciences de l'éducation. Université de Montréal.

Voir aussi