Pour vous aider à tirer le meilleur parti de la performance de votre bot et de l’expérience de vos clients, nous avons compilé une liste de mesures essentielles de la performance du chatbot que vous devez connaître – et être en mesure de surveiller – pour évaluer et améliorer la performance du chatbot.Essential Chatbot Performance Metrics : 8 indicateurs clés de performance pour l’évaluation des robotsLorsque vous essayez de mesurer l’efficacité de vos robots conversationnels, il y a des mesures et puis il y a des mesures. Ces quatre indicateurs clés du chatbot, qui peuvent tous être contrôlés facilement grâce à Calabrio Bot Analytics, sont indispensables pour améliorer les performances de votre bot.1. Bot Experience ScoreMesurer l’expérience d’un client lorsqu’il interagit avec un chatbot peut s’avérer difficile. D’une part, le retour d’information explicite est rare et souvent négatif. Par ailleurs, les enquêtes fournissent généralement une vision très étroite de l’engagement réel. Cela s’explique par plusieurs raisons : la participation tend à être faible, de sorte que vous travaillez souvent avec un échantillon de petite taille. De plus, ceux qui participent ne sont pas toujours authentiques dans leurs réponses (s’ils sont incités à le faire, par exemple), ce qui introduit des biais involontaires.
Pour comprendre l’expérience des clients et mesurer leur satisfaction sans avoir recours à des enquêtes, Calabrio a mis au point unscorestandardd’expérience desrobots (BES) qui peut être utilisé pour n’importe quel robot. Cet ICP crucial du chatbot prend en compte toutes les conversations des clients pour produire un score impartial et une vision plus précise de la satisfaction globale des clients. Cette note mesure uniquement l’expérience et non l’efficacité du robot.
La mesure BES commence avec un score de 100 et diminue chaque fois qu’il y a un signal d’engagement négatif au sein du bot. Les signaux négatifs utilisés dans le BES sont les suivants :
- Il y a répétition du bot lorsque le bot se répète pour quelque raison que ce soit au cours d’une conversation.
- La paraphrase du client se produit lorsque le client utilise une requête similaire deux fois ou plus au cours d’une conversation.
- L’abandon se produit lorsque le client quitte la conversation en cours de route et n’atteint pas le point d’arrivée du robot.
- Le sentiment négatif est détecté à l’aide d’un modèle de sentiment basé sur l’intelligence artificielle.
- Un retour d’information explicite négatif est reçu au cours de la conversation.
- Des injures sont présentes dans la conversation.
- Le client a utilisé le mot « agent » (ou un terme similaire) plus d’une fois au cours d’une conversation. Notez que le fait d’utiliser le terme « agent » une fois et d’être renvoyé directement à l’échelon supérieur n’est généralement pas une mauvaise expérience.
Le BES est basé sur une analyse de toutes les conversations sur une période donnée et réduit le score pour les signaux d’expérience négative qui sont communs à tous les agents virtuels. Si une conversation comporte un signal négatif, elle reçoit un score de 75, si elle comporte deux signaux négatifs, un score de 50, et si elle comporte trois signaux ou plus, un score de zéro. Une note est attribuée à toutes les conversations et la moyenne est utilisée.
L’utilisation de cette formule pour toutes les conversations au cours d’une période donnée permet d’obtenir un score d’expérience client très clair. En outre, la décomposition du score d’engagement des robots par motif de contact avec le client le rend exploitable.2. Score d’automatisation du botLa deuxième mesure la plus importante pour tout programme de bot est la fréquence à laquelle le bot peut satisfaire les besoins du client sans qu’il soit nécessaire de faire appel à un agent en chair et en os. C’est ce que nous appelons lescore d’automatisation des robots (BAS).
Le BAS est une mesure binaire qui détermine si la conversation était entièrement automatisée ou non. Contrairement au Bot Experience Score, le BAS n’est pas une mesure de l’expérience en tant que telle, mais plutôt de l’efficacité du bot dans l’accomplissement des tâches.
D’après notre expérience, après avoir analysé les performances de nombreux robots, la mesure la plus précise de l’automatisation est obtenue à l’aide d’une formule qui prend en compte les signaux négatifs.Par conséquent, le score d’automatisation des robots commence par toutes les conversations au cours d’une période donnée et est réduit en fonction des signaux négatifs. Les signaux négatifs utilisés dans le BAS sont les suivants :
- Le client n’a pas atteint le point d’arrivée du bot, qui est l’une des étapes finales du parcours du bot.
- Le client s’est adressé à un agent en direct pour quelque raison que ce soit.
- Le client a soumis un commentaire négatif explicite, quel qu’il soit.
- Le robot a enregistré un faux positif.
- Le client a demandé un agent en utilisant n’importe quel mot ressemblant à un « agent », mais n’a pas été dirigé vers un agent.
- Un « mauvais confinement » s’est produit lorsque la conversation n’a pas été escaladée, mais qu’il s’agissait d’un sujet que le robot n’est pas en mesure d’automatiser de manière efficace.
Si une conversation comporte l’un des signaux négatifs de la liste ci-dessus, elle est considérée comme n’étant pas automatisée.
L’utilisation de cette formule pour toutes les conversations au cours d’une période donnée permet d’obtenir une mesure très claire de l’automatisation. Ces données peuvent également être évaluées en fonction des motifs de contact afin de fournir des informations plus détaillées sur l’évaluation des performances du chatbot et des informations exploitables. Avec ce score négatif, vous obtenez non seulement une vision très conservatrice de l’efficacité des robots, mais il devient aussi rapidement évident que des actions peuvent être entreprises pour augmenter les taux d’automatisation globaux.3. Coût par conversation automatiséeDans le secteur des centres de contact, le coût par appel est un ICP typique qui met en lumière la performance et l’efficacité globales du centre d’appels. Cependant, les robots jouant un rôle de plus en plus important dans les organisations actuelles, il est essentiel que les centres d’appels comprennent le coût de chaque conversation automatisée et puissent aller au cœur du retour sur investissement de l’automatisation.
Le coût par conversation automatisée peut sembler aussi simple que de diviser les coûts de la plateforme du bot et les frais de licence par le nombre total de conversations automatisées. Toutefois, cette approche ne tient pas compte d’importants facteurs liés à la performance ; par exemple, si l’engagement d’un bot répond réellement aux besoins du client, ou s’il l’a incité à passer à un canal plus coûteux – un chat en direct ou un agent – entraînant une augmentation du coût global.
En fin de compte, une plateforme d’analyse de chatbot devrait tenir compte de trois facteurs principaux lors du calcul du coût par conversation automatisée :
- Frais de plate-forme, y compris les licences et la mise en œuvre
- Volume de la conversation
- Automatisation. Au-delà du simple confinement, l’automatisation prend en compte la capacité d’un robot à répondre véritablement à la demande d’un client sans répétition, transitions excessives ou escalades.
4. Score d’expérience de l’agent Comment comprenez-vous ce qui se passe lorsqu’une conversation virtuelle aboutit à un agent en chair et en os ? Selon toute vraisemblance, vous aurez besoin de l’aide de l’intelligence artificielle pour y voir plus clair. Calabrio Bot Analytics calcule de manière unique un score d’expérience de l’agent qui examine les signaux dans les données de conversation telles que l’abandon de l’agent, le temps d’attente, le temps de traitement et le sentiment pour offrir une supervision globale et un aperçu local de la performance globale ainsi que des sujets individuels qui bénéficieraient de l’automatisation.Au-delà du noyau : Les indicateurs clés de performance du chatbot décrits ci-dessus peuvent s’avérer essentiels pour comprendre et améliorer les performances du bot. Cependant, ils sont loin d’être les seuls disponibles pour les équipes qui disposent des bonnes analyses. Les indicateurs de réussite des chatbots suivants peuvent aider les équipes à se concentrer sur les problèmes les plus infimes afin d’apporter des améliorations supplémentaires. 5. Taux de faux positifs Le taux de faux positifs est une mesure du taux de classification incorrecte d’un énoncé par le modèle alors que celui-ci lui accorde un niveau de confiance élevé. Ce taux est difficile à mesurer et dépend d’un modèle parallèle indépendant de NLP, mais des taux de faux positifs plus faibles signifient généralement que la compréhension du langage naturel (NLU) mise en place pour un chatbot est de bonne qualité.6. Taux de répétition des bots La répétition des bots est utilisée dans le score d’expérience des bots (BES), mais c’est aussi une bonne mesure indépendante de la performance de tous les bots conversationnels. En théorie, un agent virtuel ne devrait jamais se répéter, mais cela arrive régulièrement. La capacité d’identifier et de traiter ces occurrences conduira à des améliorations rapides.7. Taux de retour positif Le retour négatif est donné dans presque toutes les situations à un multiple du retour positif. Le taux de feedback positif est le taux de feedback positif divisé par le nombre total de feedbacks (positifs, négatifs, neutres) pour obtenir un taux plus utile.8. Taux de compréhension du langage naturel (NLU) Le taux de compréhension du langage naturel est une mesure courante dans le secteur des agents virtuels. Il s’agit simplement d’une mesure du taux auquel un classificateur peut faire correspondre un énoncé à une intention connue à un niveau de confiance donné.Aller au cœur des performances du bot avec l’analyse du chatbot Maintenant que vous connaissez les indicateurs les plus importants à surveiller pour le chatbot, comment le faire concrètement ?
De nombreuses plateformes de robots sont alignées sur la conception et le développement des robots, mais n’offrent pas un niveau d’analyse qui permette de mesurer en profondeur et avec impact les performances des robots.
C’est là qu’intervient le logiciel d’analyse des robots. Alors qu’une plateforme de chatbot mature fournira facilement tous les événements et signaux nécessaires pour produire les scores, une solution d’analyse de chatbot avancée comme Calabrio Bot Analytics sera en mesure de fournir l’image la plus claire de la qualité du bot.
Découvrez comment notre plateforme Bot Analytics peut vous aider à mieux comprendre les performances des chatbots et des voicebots. Réservez dès aujourd’hui une démonstration pour voir Bot Analytics en action.
