Maîtriser les questions d'enquête pour l'analyse des commentaires d'IA

Les organisations du monde entier cherchent constamment des moyens de comprendre, de faire évoluer et de retenir leurs employés. Cela peut se faire par le biais d'enquêtes, bien que de nombreuses organisations limitent les questions ouvertes qu'elles posent ou ne les posent pas parce que le texte est difficile à analyser. Cela laisse une abondance de connaissances sur la table - des connaissances qui peuvent être utilisées pour prévenir l'attrition ou réparer des processus systémiques défectueux.

Grâce à ses capacités uniques d'analyse de texte, Explorance MLY (https://explorance.com/products/blueml/) permet aux organisations d'obtenir des informations spécifiques sur l'expérience des employés, allant de leurs opinions sur la direction stratégique de l'organisation à la façon dont ils se sentent par rapport aux opportunités d'avancement de carrière. Il s'agit de la seule solution sur le marché destinée aux responsables des ressources humaines formés à l'analyse des données dans des termes qu'ils comprennent.

Cet article présente ce qui rend Explorance MLY unique et comment rédiger des questions optimisées pour l'analyse des commentaires par l'intelligence artificielle (IA).

Comment fonctionne l'analyse des commentaires avec Explorance MLY?

MLY est formé sur des données de commentaires d'employés réels qui sont révisés et étiquetés par une équipe dédiée d'annotateurs d'Explorance. En examinant un commentaire, l'équipe d'annotateurs décide quels sont les sujets contenus dans le commentaire et le sentiment qui se cache derrière ces sujets. L'équipe utilise un type spécial d'apprentissage automatique appelé apprentissage supervisé, qui nécessite d'abord des données non structurées sous forme de texte libre.

Les données non structurées sont transformées en "données structurées" par catégorisation ou étiquetage. Les données catégorisées ou structurées qui en résultent sont introduites dans un algorithme. Avec suffisamment d'exemples de données structurées, l'algorithme apprend la corrélation entre l'étiquette/la catégorie et ce qui se trouve dans le texte et apprend finalement à créer des données structurées à partir de données non structurées.

Application de l'apprentissage supervisé aux données non structurées

L'équipe d'annotation d'Explorance reçoit des données non structurées sous la forme de commentaires issus d'enquêtes de satisfaction de nos clients. Les commentaires sont lus un par un et classés manuellement en appliquant toutes les étiquettes appropriées, un processus appelé "annotation". Prenons l'exemple d'un commentaire d'enquête sur la satisfaction des employés :

"Mon responsable est gentil et sait comment faire notre travail. Il est toujours prêt à donner un coup de main."

Un annotateur de données choisirait, parmi un ensemble de sujets, les étiquettes appropriées pour le commentaire ci-dessus. Dans ce cas, il pourrait décider d'étiqueter le commentaire avec les étiquettes suivantes :

"Bienveillance>Directeur>Positif ; Gestion/Leadership>Directeur>Positif ; Soutien>Directeur>Positif.

Ce commentaire annoté est ensuite envoyé à l'algorithme. En alimentant l'algorithme avec des commentaires annotés, celui-ci apprend par l'exemple la corrélation entre le texte et les étiquettes. Dans ce cas, l'algorithme apprend que lorsqu'il voit une déclaration telle que "mon manager est gentil", l'étiquette appropriée est "Bienveillant>Manager direct>Positif". Il transfère ensuite ces connaissances pour étiqueter lui-même les textes.

Défis de l'annotation

L'un des principaux défis auxquels l'équipe d'annotation est confrontée est la "pauvreté des données". La "pauvreté" fait référence à un manque d'informations dans un commentaire nécessaire pour que le modèle puisse catégoriser le commentaire. Plus un commentaire est ambigu, plus il est difficile pour le modèle de prédire une réponse. L'entrée doit contenir suffisamment de détails et de contexte pour encourager le modèle à catégoriser avec précision et à choisir entre les catégories.

Si un commentaire indique "Flexibilité", le modèle aura du mal à faire une prédiction précise. Le commentaire fait-il référence à la flexibilité des horaires ? À la flexibilité en tant que qualité d'une personne ?

Plus les commentaires sont détaillés et contextualisés, plus le modèle peut prédire avec précision. En quelque sorte, la mouche du coche est la façon dont les commentateurs répondent aux questions ou aux messages-guides. La nature des réponses est qu'elles se présentent souvent sous la forme de phrases incomplètes, de formules abrégées ou de listes et qu'elles omettent des détails ou des contextes importants. Les réponses de ce type peuvent rendre plus difficile l'annotation précise.

Poser les bonnes questions pour une meilleure analyse des commentaires

La tendance naturelle d'un commentateur est de donner le moins de détails possible lorsqu'il répond à des enquêtes. Les questions doivent donc être rédigées de manière à encourager le contraire. En d'autres termes, les questions doivent être rédigées de manière à encourager les réponses claires, détaillées et contextuelles. Les commentaires rédigés en phrases complètes et donnant le plus de détails possible constituent la meilleure qualité de données pour l'analyse.

Ne soyez pas trop directif

Les questions ouvertes sont utiles car elles encouragent le commentateur à fournir plus de détails. Cependant, les questions sont souvent rédigées de manière à contenir beaucoup d'informations, ce qui peut encourager des réponses plus courtes avec moins de détails. Comme la question présente déjà le contexte, l'auteur de la réponse sera moins enclin à répéter les détails.

L'ajout de questions ouvertes à une enquête est souvent un casse-tête. Nous voulons des détails spécifiques pour mieux comprendre ce que nous demandons dans nos questions quantitatives, mais nous ne voulons pas imposer à notre personnel la nécessité d'écrire beaucoup de choses. De plus, sans un outil comme Explorance MLY (https://explorance.com/products/blueml/), il n'y a aucun moyen d'analyser efficacement les données.

La puissance de MLY réside dans son étendue - la capacité d'extraire de nombreux sujets à partir d'une phrase ou deux, d'attribuer un sentiment à ces sujets, d'identifier des recommandations et de signaler les contenus alarmants. Il est donc essentiel de ne pas être trop directif dans votre question. Avec Explorance MLY, vous n'avez besoin que d'une seule question pour obtenir toutes les informations. Cependant, il est important de poser le bon type de question.

Notre conseil: Donnez une direction, mais seulement une petite direction. Considérez la question suivante : "Quels sont, selon vous, les points forts de l'entreprise en matière de satisfaction des employés ?" Cette question ouvre la porte à un large éventail de réponses - certains pourraient parler de la culture, des possibilités d'évolution ou du personnel. C'est l'idéal pour comprendre tout le spectre de ce qui compte pour les gens, et cela peut se faire en une seule question au lieu de 3.

Demandez des exemples et des détails

En plus de poser des questions plus générales, n'oubliez pas d'inciter votre personnel à donner des réponses réfléchies. Encouragez-les à donner des exemples et des détails ; cela peut améliorer de manière significative la profondeur des données que vous collectez. Cela permet de contextualiser et de nuancer leurs réponses, de sorte qu'au lieu de connaître le "quoi", vous comprendrez le "pourquoi" et le "comment". Cette couche supplémentaire d'informations peut vous permettre de mieux comprendre leurs expériences, leurs opinions et leurs comportements.

Des exemples détaillés peuvent également guider la prise de décision. Avec Explorance MLY, les exemples du monde réel sont présentés sous forme de recommandations directes ou mettent en évidence des domaines de préoccupation qui n'auraient peut-être pas été pris en compte.

Des phrases complètes plutôt que des réponses courtes

Il est également important de demander aux personnes interrogées de faire des phrases complètes. Les phrases complètes fournissent un contexte et une image complète de leurs pensées. Elles permettent de comprendre le raisonnement qui sous-tend leurs réponses et qu'il peut être nécessaire de retrouver dans des réponses plus courtes. Dans la vie de tous les jours, les gens communiquent avec des phrases complètes. Demander la même chose dans les enquêtes permet aux répondants de répondre d'une manière qui leur est naturelle.

Commencez par répondre aux trois questions ci-dessous :

1. Comment décririez-vous l'environnement de travail général de notre entreprise ?
2. Comment décririez-vous l'équilibre entre vie professionnelle et vie privée au sein de notre entreprise, et que pourriez-vous faire pour l'améliorer ?
3. Quels changements ou améliorations spécifiques souhaiteriez-vous voir apporter à la culture de notre entreprise ?

Les questions doivent être posées individuellement

Chaque question ou invite doit comporter un seul champ de réponse. Lorsqu'il y a plusieurs questions avec un seul champ de réponse, il peut être difficile pour l'annotateur de données et, par extension, pour le modèle d'IA, d'interpréter quelle partie de la réponse correspond à quelle partie de l'invite. Dans ce cas, il peut être difficile d'obtenir une réponse précise ou détaillée de la part du modèle, même si nous disposons de la question ou de l'invite. Par conséquent, les questions multiples avec un seul champ de réponse sont problématiques car elles encouragent ce type d'ambiguïté. Idéalement, la question doit être rédigée de manière à ce que le lien entre la question ou l'invite et la réponse soit clair et sans ambiguïté.

De même, les questions qui renvoient à d'autres questions sont délicates car certains contextes peuvent être oubliés dans la question ou l'invite précédente et sa réponse.

En voici un exemple :

Question : "Si vous avez répondu "négatif" à la dernière question, pourquoi ?"

Réponse : "Le salaire était vraiment mauvais".

Ce type de données mériterait d'être clarifié pour le modèle. La question ici fait référence à la réponse à une autre question, mais en lisant cette question seule, nous ne comprenons pas tout le contexte. Le modèle ne tient pas compte des autres questions et réponses lorsqu'il catégorise un commentaire donné. Il interprète chaque paire question-réponse séparément et, par conséquent, en raison du format de la question, des informations sont perdues. Il est donc essentiel de rédiger chaque question de manière à ce qu'elle puisse être interprétée isolément dans son contexte complet.

En conclusion

En maîtrisant l'art de rédiger des questions, vous pouvez inciter vos répondants à partager leurs pensées avec leurs propres mots, ce qui vous fournira une mine d'or d'informations non filtrées. En trouvant le bon équilibre entre clarté et détails, vous posez les bases pour que des outils d'IA comme Explorance MLY (https://explorance.com/products/blueml/) puissent extraire des informations plus approfondies des récits des personnes interrogées. Grâce à une conception habile des questions, vous donnez à l'IA les moyens de traduire les expressions humaines en données exploitables pour une prise de décision éclairée.