L'université de Chicago (UChicago) a été confrontée à un défi intéressant il y a quelques années. Bien que les évaluations de cours (https://explorance.com/solutions/course-evaluations/) aient été une pierre angulaire de leur institution, ils étaient en retard sur les tendances. À tel point qu'un article a été publié dans le journal des étudiants, remettant en question la situation actuelle de l'école en matière d'évaluation des enseignements.
Si les étudiants en parlaient au point que les rédacteurs du journal de l'école estimaient qu'un article était justifié, il était peut-être temps de repenser la façon dont les évaluations étaient menées à l'université. C'est dans ce contexte que le doyen de l'université a demandé à Scott Campbell, vice-président adjoint des services académiques et registraire de l'université, de trouver une nouvelle solution pour l'évaluation des cours.
Scott s'est vu confier un défi de taille, car l'université de Chicago est un grand établissement qui compte de nombreux départements fonctionnant en grande partie de manière indépendante. L'objectif était de trouver une solution pour réunir toutes les facultés sous un même système afin de rendre les évaluations de cours moins fastidieuses et d'améliorer les sources de données en général. L'université a choisi Explorance Blue (https://explorance.com/solutions/course-evaluations/) pour alimenter son processus d'évaluation des cours et fournir des informations significatives pour améliorer l'efficacité de l'enseignement et l'apprentissage des étudiants.
Scott a récemment donné une conférence très instructive expliquant son expérience ; en voici les grandes lignes :
Scott a observé le processus d'évaluation des cours à l'échelle de l'institution et a remarqué que presque chaque faculté avait une façon différente de procéder. Certaines écoles, comme la Booth School of Business, utilisaient encore des évaluations sur papier, tandis que d'autres facultés utilisaient des solutions maison développées par le département informatique de l'école.
En raison des différentes exigences de chaque département, il est rapidement devenu évident que la seule option serait une solution basée sur un fournisseur qui pourrait prendre en charge leur liste exhaustive d'exigences. Les éléments de cette liste sont assez courants, mais ils sont souvent décourageants pour la plupart des institutions :
Au moment du processus d'évaluation, les facultés utilisaient une application maison pour automatiser les évaluations. Cependant, certains départements ne l'utilisaient pas, d'autres avaient des applications différentes, ce qui entraînait une fragmentation des données que l'école ne pouvait pas utiliser efficacement.
Cela posait un problème, car l'université de Chicago est fière de son processus unique : Elle propose les résultats de l'évaluation des cours au moment de l'inscription. De cette façon, les étudiants peuvent voir les commentaires et décider si le cours en question correspond à ce qu'ils recherchent. En l'absence de données unifiées, le processus d'unification des données d'évaluation des étudiants est devenu assez fastidieux à collecter et à distiller.
En outre, il était essentiel pour l'université de Chicago de disposer d'un système flexible permettant aux évaluations de se concentrer sur le cours et non sur l'enseignant. Les évaluations de cours à l'université sont entièrement facultatives ; un enseignant peut s'y soustraire à tout moment.
L'objectif réel de la nouvelle plateforme technologique recherchée par l'université de Chicago était d'améliorer l'engagement des étudiants et les taux de réponse aux évaluations de cours. Elle savait que ces taux n'étaient pas aussi élevés qu'elle le souhaitait, mais elle ne disposait pas d'une vision précise de la situation en raison de la fragmentation des données.
Après avoir examiné attentivement plusieurs solutions, l'Université de Chicago a choisi Explorance Blue (https://explorance.com/solutions/course-evaluations/) comme nouveau logiciel d'évaluation de cours. Depuis la mise en œuvre de Blue, toutes les écoles, à l'exception de l'École de médecine, l'ont adopté après avoir vu les capacités de Blue.
Explorance Blue a d'abord été lancé dans tous les programmes de premier cycle de l'Université de Chicago, et le déploiement a été un succès massif. Ils ont vanté un taux de réponse de 40-45%, et bien que le chiffre soit plus bas que ce qu'ils aimeraient pour le moment, ils peuvent aller de l'avant en se sentant habilités par la multitude de caractéristiques que Blue offre pour améliorer les taux de réponse.
En voyant ces résultats étonnants, le bureau du doyen a contacté Scott pour étendre le programme à leurs offres d'études supérieures. Il est important de noter que l'UChicago est reconnue comme un centre d'études doctorales, avec un nombre d'étudiants au doctorat parmi les plus élevés au pays. L'obtention d'un bon retour d'information sur leur formation et les possibilités d'emploi était un aspect crucial de ces programmes.
En fin de compte, le processus de mise en œuvre pour les écoles doctorales s'est articulé autour d'un comité composé des facultés et d'un représentant des étudiants, qui a défini dix questions quantitatives et six questions qualitatives.
Bien que les questions soient similaires à celles des programmes de premier cycle, les programmes d'études supérieures ont ajouté une question sur les assistants d'enseignement et leur efficacité dans les cours. En outre, le représentant des étudiants a insisté pour que soit ajoutée la question suivante : Veuillez indiquer dans quelle mesure vous vous êtes senti respecté, inclus et valorisé dans le cours.
Ceci met en évidence que même si la mise en œuvre d'une plateforme comme Blue vise souvent à centraliser les données, il est crucial de rester flexible pour répondre aux besoins de chaque département. Cette notion est la pierre angulaire de la philosophie de conception d'Explorance.
Alors, à quoi ressemble le programme d'évaluation des cours finalisé à l'Université de Chicago ? Après quelques mois d'utilisation du programme, quelques ajustements ont été apportés afin d'intégrer pleinement le programme dans l'institution :
L'université a pris une décision intéressante en matière d'image de marque en remplaçant le terme "évaluation de l'enseignement" par "retour d'information sur les cours". Le fait que les étudiants puissent ne pas être correctement formés pour évaluer l'enseignement de leur professeur est souvent un sujet sensible dans les établissements d'enseignement. Toutefois, le fait de parler de retour d'information sur les cours redéfinit les attentes de toutes les personnes concernées.
Comme indiqué précédemment, les enseignants peuvent se retirer des évaluations de cours à tout moment, sans poser de questions. En outre, l'université leur permet désormais d'ajouter jusqu'à quatre questions à réponse libre afin de personnaliser l'évaluation en fonction des besoins et du contexte spécifiques de la classe.
Afin d'accroître la participation et l'engagement, les étudiants qui fournissent un retour d'information sur le cours ont accès à leurs notes finales trois semaines plus tôt. Tous les étudiants qui n'ont pas donné leur avis reçoivent leurs notes une semaine après la fin du processus d'évaluation du cours.
Tous les résultats sont publiés sur une adresse URL sécurisée de l'université. Les étudiants peuvent consulter les évaluations pendant le processus d'inscription à tous leurs cours ; les données historiques sont également disponibles sur demande.
L'université de Chicago s'enorgueillit d'être un champion de la liberté d'expression. C'est pourquoi elle a choisi de ne pas censurer les réponses des étudiants aux questions qualitatives, pour autant qu'elles soient axées sur le contenu de la classe et non sur l'individu.
Un autre aspect important est la promesse d'anonymat. Pour l'université, cela va plus loin que la simple confidentialité. Seuls les administrateurs du projet peuvent accéder aux identifiants uniques en cas de remarques dérangeantes ou dangereuses. Autrement, les étudiants sont invités à s'exprimer et à donner leur avis sur leurs cours.
Une dernière exigence cruciale de l'Université de Chicago était la capacité d'analyser les commentaires qualitatifs des étudiants capturés dans les commentaires sur les cours. Traditionnellement, la transformation des commentaires des étudiants en informations fondées sur des données était un processus long qui nécessitait des ressources supplémentaires.
Puisque l'Université de Chicago adopte une position très forte pour permettre aux étudiants d'exprimer librement leurs opinions, la lecture et l'analyse de ces réponses libres sont devenues une nécessité cruciale pour tout fournisseur avec lequel ils choisissent de travailler. Heureusement, Explorance a développé une solution pour contourner ce problème.
Explorance MLY (https://explorance.com/products/blueml/) permet aux universités d'exploiter la puissance de l'apprentissage automatique pour lire, analyser et catégoriser rapidement leurs données de commentaires qualitatifs. Commencez avec votre rapport d'analyse de commentaires gratuit :