Un taux de réponse supérieur à 40 % pour 148 000 évaluations menées à l'université de Coventry avec Explorance Blue

À propos de l'université de Coventry

L'université de Coventry a pour mission d'être un groupe éducatif d'envergure mondiale, réputé pour son engagement en faveur de l'équité et de l'innovation, qui donne aux étudiants et aux communautés les moyens de transformer leur vie et la société grâce à l'enseignement, l'apprentissage, la recherche et l'esprit d'entreprise. L'université compte environ 30 000 étudiants répartis sur ses campus britanniques (Coventry, Londres et Scarborough), ainsi qu'environ 26 000 étudiants à l'étranger dans le cadre de partenariats internationaux.

Le défi : une « meilleure solution » pour les enquêtes confidentielles et les analyses démographiques

Le parcours de l’université de Coventry dans le domaine de l’analyse de données a débuté en 2011, à une époque où la compréhension des indicateurs institutionnels ou des données, tant au niveau stratégique qu’opérationnel, était très limitée. Les systèmes de qualité étaient principalement axés sur la rédaction de rapports et l’analyse rétrospective plutôt que sur la planification d’actions et l’amélioration prospective – et l’université enregistrait une baisse de ses performances sur l’ensemble des indicateurs clés.

En réponse, des interventions stratégiques clés axées sur l’expérience étudiante ont été mises en place, notamment :

• Le développement et l’utilisation de systèmes de Feedback des étudiants.
• L’utilisation intelligente des données pour éclairer la prise de décision – en alignement avec les indicateurs externes.
• L’observation, le coaching et le mentorat des enseignants par la direction – en lien avec le développement professionnel.
• L’accent mis sur la planification d’actions fondées sur des données factuelles.
• Le développement du leadership académique.

Une meilleure compréhension des performances des programmes, notamment grâce au feedback des étudiants recueilli via les enquêtes MEQ (Module Evaluation Questionnaire) (https://www.explorance.com/solutions/course-evaluation-software/), constituait un besoin de développement important.

Le professeur Andrew Turner, vice-chancelier adjoint (Éducation) à l’université de Coventry, a déclaré : « Nous avons initialement mis en place nos processus d’enquête d’évaluation de l’enseignement en 2012. À l’époque, tout se faisait sur papier et nous distribuions 80 000 questionnaires par an. Nous avons ensuite mis en place un système centralisé et fait évoluer progressivement nos processus, pour finalement passer au tout numérique. Au départ, nous utilisions des outils logistiques en ligne et des enquêtes anonymes.

« Cependant, nous avons atteint un stade où nous devions affiner notre compréhension du Feedback – en particulier parmi les différents groupes d’étudiants – et disposer d’une meilleure solution pour les enquêtes confidentielles. Nous voulions aller au-delà des réponses anonymes et être en mesure d’analyser la manière dont des groupes spécifiques vivaient l’enseignement, l’apprentissage et l’évaluation, tout en préservant la confidentialité. Il n’y avait pas non plus d’intégration avec notre environnement d’apprentissage virtuel (VLE). Cela est devenu un facteur clé du changement.

« Nous avions besoin d’une solution plus robuste et intégrée qui permettrait une analyse confidentielle et des informations démographiques. C’est ce qui nous a conduits vers Explorance. Nous avons examiné d’autres outils concurrents, mais Blue offrait une plus grande flexibilité que les alternatives. »

La solution : utiliser Blue pour les enquêtes MEQ et les tableaux de bord afin d'améliorer l'accompagnement

L'université de Coventry a mis en place Explorance Blue à partir de 2020, ce qui a permis de renforcer encore davantage l'approche stratégique de l'utilisation du Feedback des étudiants. L'université réalise des enquêtes MEQ pour chaque module à mi-parcours de chaque semestre, en les intégrant aux sessions d'enseignement. Les tuteurs répondent aux commentaires par une mise à jour intitulée « Vous l'avez dit, nous l'avons fait » dans un délai de trois semaines, qui est intégrée aux modèles de la plateforme d'expérience d'apprentissage. Les questionnaires sont alignés sur l'Enquête nationale auprès des étudiants (NSS) afin de s'assurer que les étudiants sont familiarisés avec les grilles d'évaluation, et des mesures sont prises au niveau des modules, des cours, des écoles et des facultés.

Au cours de l’année universitaire 2024-2025, l’université a enquêté sur 3 060 modules et publié près de 148 000 évaluations. Les taux de réponse se situent entre 41 % et 49 %. Le Dr Douglas Howat, doyen des étudiants à l’université de Coventry, chargé de superviser toutes les enquêtes, a déclaré : « Tout taux supérieur à 40 % pour les questionnaires est satisfaisant. Étant donné que nous avons plus de 30 000 étudiants, dont la plupart suivent six modules par an, l’ampleur est considérable. Nous avons également rationalisé les modules au fil du temps, en introduisant des modules communs plus importants. L’un des véritables atouts d’Explorance est sa capacité à analyser les réponses au sein de ces modules communs par cursus. Cela atténue les risques et garantit que tous les groupes d’étudiants sont traités de manière équitable. »

Cependant, pour le Dr Howat, c’est le soutien apporté par Explorance à l’utilisation intelligente des données à tous les niveaux de l’établissement qui est particulièrement précieux. « Ce que j’utilise abondamment, ce sont les résultats de ces enquêtes », a-t-il confié. « Nous disposons d’un tableau de bord de veille stratégique qui se met à jour chaque fois que nous terminons une série d’évaluations de modules. Une fois les données téléchargées, je peux les analyser – en identifiant les points forts, les points faibles, les tendances entre les départements et les performances par groupe démographique – et signaler des problèmes particuliers.

« Nous analysons les données par origine ethnique, genre, handicap et cursus. Cette capacité à désagréger les données est absolument essentielle. Si un module sert plusieurs cursus, il doit servir tous les étudiants de manière égale – qu’ils soient majoritaires ou minoritaires dans ce module. La possibilité de ventiler les résultats par cursus et par catégorie démographique garantit l’équité dans la prestation. « Passer d’enquêtes anonymes à des enquêtes confidentielles a été une étape importante. La question de savoir si les étudiants se sentiraient à l’aise pour répondre a fait l’objet d’un débat. Nous avons travaillé dur pour expliquer comment les données sont utilisées, rassurer les étudiants sur la confidentialité et souligner que le Feedback – positif ou négatif – n’a aucune incidence sur les résultats scolaires. »

Le résultat : une intégration « transformatrice » au service de l’amélioration institutionnelle

À ce jour, l’université a tiré de nombreux avantages stratégiques, opérationnels et techniques de sa collaboration de cinq ans avec Explorance.

Le Dr Howat a déclaré : « Nous sommes une institution fortement axée sur les données. Les tableaux de bord agrégés nous permettent d’identifier rapidement les problèmes et d’intervenir à un stade précoce. Les responsables locaux peuvent explorer en détail chaque module et prendre des mesures immédiatement, plutôt que plusieurs mois plus tard. Sur le plan stratégique, cela alimente notre travail sur le Plan d’accès et de participation, l’analyse démographique et le suivi des performances institutionnelles. Nous testons actuellement des questions supplémentaires au niveau des cours, qui sont rattachées au MEQ, et affinons notre approche pour obtenir un meilleur alignement. Il est absolument essentiel de disposer de cette flexibilité pour poser des questions en accord avec nos priorités stratégiques.

« La prochaine étape pour nous n’est pas de savoir si le système fonctionne – il fonctionne. Il s’agit de l’utiliser de manière plus stratégique pour stimuler la performance institutionnelle, y compris grâce à des informations prédictives, et Blue peut fournir un système d’alerte précoce et des prévisions plus réalistes des résultats du NSS. C’est essentiel car le NSS compte pour 50 % du Teaching Excellence Framework (TEF), et est donc vraiment important pour contribuer à notre note « Or ». »

Le professeur Turner a ajouté : « L’intégration de Blue à notre VLE interne a été une véritable révolution. Elle simplifie la distribution des enquêtes, améliore la visibilité et nous aide à boucler la boucle de Feedback plus efficacement. Les principaux avantages sont la rapidité et l’automatisation : des calendriers clairs indiquant quand les enquêtes sont ouvertes, quand les résultats sont publiés et quand les réponses sont attendues. Notre approche délibérément formative des enquêtes MEQ vise à orienter les actions visant à améliorer l’expérience des étudiants.

« Le soutien de l’équipe Explorance a été solide et l’ouverture de la plateforme Blue nous permet d’étendre notre champ d’action au-delà de l’établissement, par exemple en l’étendant à des partenaires externes, notamment nos programmes d’apprentissage, nos formateurs en soins de santé et nos dispositifs de formation des enseignants. »