LJMU accélère l'analyse NSS : 38 000 commentaires d'étudiants traités en quelques minutes grâce à Explorance MLY

À propos de l'université John Moores de Liverpool

L'université John Moores de Liverpool, qui compte plus de 25 000 étudiants, est un établissement dynamique réputé pour l'importance qu'il accorde à la recherche et à l'apprentissage pratique. Située au cœur de Liverpool, elle propose un large éventail de programmes de premier cycle et de troisième cycle dans diverses disciplines.

Le défi : obtenir des informations exploitables en temps opportun à partir d'une analyse qualitative

Depuis plus de 10 ans, l'université John Moores de Liverpool (LJMU) utilisait un logiciel générique d'exploration de textes pour analyser les commentaires libres issus d'enquêtes menées auprès des étudiants. Cependant, ce processus s'est avéré difficile en raison d'une dépendance excessive à l'interprétation d'un seul chercheur, d'un manque d'apprentissage dynamique et de la nature gourmande en ressources du système. Le modèle n'ayant pas été formé à partir du Feedback des étudiants, une analyse thématique manuelle approfondie était nécessaire pour contextualiser les résultats générés par le logiciel.

« L'intérêt du Feedback ouvert réside dans le fait qu'il fournit des informations exploitables et peut influencer activement la prise de décision locale et les stratégies institutionnelles plus larges liées à la rétention et à la réussite des étudiants », explique Fenna Boerkamp, responsable de la recherche et de l'évaluation institutionnelles au sein de l'équipe Student Voice and Evaluation Team de l'université. « Bien que nous utilisions depuis longtemps la technologie d'analyse de texte pour l'analyse des enquêtes institutionnelles, nous explorions les possibilités d'introduire un modèle spécialement conçu pour analyser le Feedback des étudiants afin de mieux soutenir la prise de décision en temps opportun. »

La solution : mise en œuvre d'un outil d'analyse du Feedback spécialement conçu

LJMU a choisi Explorance MLY en raison de la formation spécifique de la plateforme à l'analyse du Feedback des étudiants et des fonctionnalités supplémentaires qu'elle offre. Il s'agit notamment des alertes MLY (accès instantané aux commentaires préoccupants/problématiques ou indiquant qu'un étudiant est en détresse), des fonctions de partage d'analyses et de la possibilité de comparer des groupes démographiques.

« MLY ne se contente pas de dégager des thèmes, mais génère également des recommandations à partir des commentaires, ce qui est une fonctionnalité très utile », explique Fenna. « Cela nous permet de ventiler les données par groupe démographique à l'aide des filtres de l'outil, mais aussi de créer des widgets pour des groupes démographiques spécifiques, par exemple les thèmes les plus fréquents chez les étudiants ou les étudiantes uniquement. De plus, MLY facilite le partage et la collaboration sur les projets, permettant à toutes les parties prenantes clés de participer à l'interprétation et d'affiner ensemble les résultats.

Pour notre établissement en particulier, la fonction d'alerte offerte par MLY s'est avérée très utile, car nous devons toujours, conformément à notre politique, supprimer tous les noms des commentaires négatifs. Cela signifie que nous lisons tous les commentaires de notre enquête d'évaluation des modules et que nous essayons de déterminer quels commentaires nous devons supprimer, en tout ou en partie, et les déclencheurs peuvent réduire considérablement le temps nécessaire pour mener à bien ce processus. »

L'université a appliqué MLY à deux projets spécifiques au cours des six premiers mois. Le premier concernait l'analyse de l'enquête nationale auprès des étudiants (NSS) de 2023. Le projet test a été couronné de succès, car la majorité des thèmes identifiés par MLY correspondaient à l'analyse manuelle rapide de la LJMU. De plus, les recommandations de MLY ont été précieuses pour soutenir les plans d'action de l'établissement, prouvant ainsi son efficacité pour les analyses de type NSS.

Le résultat : une approche plus rapide et plus évolutive du traitement des données qualitatives.

Pour la LJMU, l'application du MLY a déjà fourni des informations précieuses qui ont permis à l'établissement de mieux comprendre l'expérience des étudiants.

« L'utilisation du MLY pour analyser des données qualitatives est finalement beaucoup moins chronophage et moins gourmande en ressources, car le MLY fait une grande partie du travail à votre place », commente Fenna. « Il est également possible de traiter de très grandes quantités de données : par exemple, nous avons généré des informations initiales à partir de plus de 38 000 commentaires pour l'évaluation des modules en quelques minutes. La scalabilité est donc un énorme avantage de MLY. Il est plus facile de couvrir une quantité beaucoup plus importante de commentaires et d'en tirer davantage de recommandations que vous ne pourriez le faire manuellement, ce qui fournit des informations plus exploitables qui éclairent le changement institutionnel. »

Fenna a conclu : « L'ajout de MLY au portefeuille d'outils analytiques de la LJMU a permis de mieux comprendre les besoins des étudiants et d'améliorer leur expérience en fournissant une analyse plus rapide et en temps réel, sans nécessiter de long traitement manuel des données. L'algorithme en apprentissage constant et les nouvelles fonctionnalités ont sans aucun doute apporté une valeur ajoutée continue à l'analyse du Feedback des étudiants à grande échelle. »