Comment Explorance MLY fournit des informations exploitables à partir de 138 000 commentaires d'étudiants

À propos de l'université de Manchester

L'université de Manchester, qui fait partie du prestigieux Russell Group of Universities, accueille plus de 40 000 étudiants venus du monde entier. Proposant un large éventail de programmes de premier cycle et de troisième cycle dans diverses disciplines, l'université de Manchester s'engage à mener des recherches de niveau mondial et à offrir une expérience d'apprentissage et une expérience étudiante exceptionnelles.

Le défi : analyser le feedback qualitatif à grande échelle

L'université de Manchester, l'une des plus grandes universités du Royaume-Uni, avait du mal à trouver les ressources nécessaires pour analyser le feedback qualitatif des étudiants (https://www.explorance.com/solutions/student-voice/). Elle ne disposait pas de la plateforme nécessaire pour effectuer une telle analyse des commentaires libres dans ses enquêtes.

« La gestion des enquêtes représente un défi de taille compte tenu de la taille de l'université, qui compte trois facultés et neuf écoles réparties sur un seul campus, et du nombre d'étudiants », explique Daniel Bayes, responsable de l'enseignement et de l'apprentissage (voix et Feedback des étudiants). « Par exemple, nous avons plus de 50 000 commentaires provenant d'un seul projet d'enquête de fin de semestre, issus de 138 000 enquêtes individuelles. L'un des principaux défis pour nous est donc l'ampleur des données que nous recevons et ce que nous pouvons réellement en faire.

Auparavant, la seule façon dont l'université de Manchester effectuait une analyse qualitative du Feedback des étudiants était par l'intermédiaire de son bureau de planification stratégique, qui traitait les commentaires issus de l'enquête nationale sur les étudiants (NSS) (https://www.thestudentsurvey.com/). Ce processus impliquait l'utilisation de Power BI pour classer les commentaires. Cependant, en raison de la structure décentralisée de l'université, chaque discipline devait ensuite effectuer elle-même une analyse manuelle.

La solution : boucler la boucle de Feedback et améliorer la connaissance institutionnelle

Au cours de l'année universitaire 2023-2024, l'université a investi dans Explorance MLY alors que l'établissement du Russell Group intensifiait ses efforts pour recueillir et répondre aux commentaires des étudiants.(https://explorance.com/news/university-of-manchester-adds-Explorance MLY to its student feedback toolkit/)

« Nous avons une combinaison de questions institutionnelles et de questions au niveau des écoles, de sorte que chacune des neuf écoles peut poser jusqu'à cinq questions et certaines de ces écoles posent effectivement cinq questions ouvertes, ce qui nous donne beaucoup de réponses sous forme de texte libre », a déclaré Daniel. C'était la première fois que l'université pouvait les classer par catégorie.

« Notre capacité à examiner les thèmes et les sujets communs, à la fois dans l'ensemble des données et en filtrant uniquement les questions d'une école, est vraiment importante, car le contexte de cette école peut être très particulier. Nous pouvons alors approfondir les intérêts institutionnels et les questions de recherche. La fonction d'alerte est également très utile pour nous, compte tenu de la taille de l'établissement et de l'ampleur de nos enquêtes, car elle nous indique par où commencer notre réponse. Cela ne signifie pas que nous saisissons nécessairement tout ce que nous devrions examiner, mais l'intérêt de MLY est qu'il suggère ensuite ce qui devrait être examiné en premier lieu.

Les recommandations de MLY sont également très utiles pour le personnel académique, car parfois, les analyses de commentaires qui leur sont fournies ne sont pas nécessairement présentées d'une manière qui leur permette d'agir facilement. Lorsque MLY dit « vous devriez faire plus ou moins avec X ou Y, ou continuer avec Z », même si ce n'est que le point de départ de la conversation que le personnel souhaite avoir à ce sujet, cela le présente sous une forme et dans un modèle linguistique très clairs. Enfin, grâce à la facilité du partage filtré, nous avons la possibilité d'entrer toutes les données, puis de les filtrer par école et de fournir ces données à l'école pour qu'elle puisse les exploiter. Cela me fait gagner des semaines de travail. »

De plus, dans le cadre d'un contrat de conseil distinct, l'université a fait appel aux experts d'Explorance pour effectuer une analyse comparative des données et prévoit d'utiliser ce soutien pour mesurer les objectifs stratégiques de l'établissement.

Le résultat : des informations transformatrices pour une amélioration continue

L'université analyse avec succès des milliers de commentaires en texte libre grâce à MLY. « Nous avons complètement transformé notre façon de travailler », révèle Daniel. « Même avec le nombre de commentaires que nous avons saisis, 50 000 d'un seul coup, je suis toujours étonné de la rapidité avec laquelle MLY effectue l'analyse une fois que vous l'avez introduite dans le système, pour pouvoir ensuite la consulter en quelques heures. » Pour la première fois, l'université peut comparer et contraster les informations provenant de différentes sources de données avec MLY, et tirer parti de ses recommandations pour encadrer les discussions lors des réunions de planification et d'examen sur la base du Feedback reçu.

Selon Janine Holdway, responsable de l'enseignement et de l'apprentissage, un autre impact majeur pour l'université est « la rapidité avec laquelle nous pouvons commencer à fournir des analyses aux gens, même si elles sont de haut niveau ».

« MLY favorise l'amélioration continue grâce à la rapidité avec laquelle nous pouvons examiner les choses, ce qui signifie que nous pouvons agir beaucoup plus rapidement », a-t-elle déclaré. « Plutôt que d'attendre la fin du semestre pour recevoir le Feedback, qui est ensuite transmis à un comité en janvier entre les semestres, puis que nous réfléchissons à la suite pour l'année universitaire suivante, vous pouvez réaliser une enquête à mi-semestre, envoyer l'analyse pour examen au responsable du module la semaine suivante, et s'il souhaite agir immédiatement, il peut le faire. »