Damit Sie das Beste aus Ihrer Bot-Performance und Ihrem Kundenerlebnis machen können, haben wir eine Liste der wichtigsten Chatbot-Performance-Metriken zusammengestellt, die Sie kennen und überwachen müssen, um die Chatbot-Performance zu bewerten und zu verbessern.Essential Chatbot Performance Metrics: 8 Kern-KPIs für die Bot-EvaluierungWenn Sie versuchen, die Effektivität Ihrer Chatbots zu messen, gibt es Metriken und dann gibt es Metriken. Diese vier Eckpfeiler der Chatbot-Kennzahlen, die alle mit Calabrio Bot Analytics problemlos überwacht werden können, sind für Ihr Streben nach einer besseren Bot-Performance unerlässlich.1. Bot Experience ScoreDie Messung des Kundenerlebnisses bei der Interaktion mit einem Chatbot kann eine Herausforderung sein. Zum einen ist explizites Feedback selten, und es ist oft eher negativ. In der Zwischenzeit bieten Umfragen in der Regel einen sehr engen Blick auf das tatsächliche Engagement. Dafür gibt es mehrere Gründe: Die Beteiligung ist in der Regel gering, so dass Sie oft mit einer kleinen Stichprobe arbeiten. Außerdem sind diejenigen, die teilnehmen, in ihren Antworten nicht immer authentisch (z. B. wenn sie Anreize erhalten), wodurch unbeabsichtigte Verzerrungen entstehen.
Um das Kundenerlebnis zu verstehen und die Zufriedenheit ohne Umfragen zu messen, hat Calabrio einen StandardBot Experience Score(BES) entwickelt, der für jeden Bot verwendet werden kann. Dieser wichtige Chatbot-KPI berücksichtigt alle Kundenkonversationen, um eine unverfälschte Bewertung und einen genaueren Überblick über die allgemeine Kundenzufriedenheit zu erhalten. Diese Punktzahl misst lediglich die Erfahrung, nicht die Effektivität des Bots.
Die BES-Metrik beginnt mit einer Punktzahl von 100 und sinkt jedes Mal, wenn es ein negatives Engagement-Signal innerhalb des Bots gibt. Zu den im BES verwendeten negativen Signalen gehören:
- Bot-Wiederholungen treten auf, wenn der Bot sich aus irgendeinem Grund während einer Unterhaltung wiederholt.
- Kundenparaphrase liegt vor, wenn der Kunde eine ähnliche Anfrage zweimal oder öfter in einem Gespräch verwendet.
- Ein Abbruch liegt vor, wenn der Kunde das Gespräch mitten in der Reise verlässt und keinen Bot-Endpunkt erreicht.
- Negative Stimmungen werden mithilfe eines KI-basierten Stimmungsmodells erkannt.
- In dem Gespräch wird explizit negatives Feedback gegeben.
- Profanität ist in dem Gespräch präsent.
- Der Kunde hat das Wort „Agent“ (oder ein ähnliches Wort) mehr als einmal in einem Gespräch verwendet. Beachten Sie, dass es im Allgemeinen keine schlechte Erfahrung ist, wenn Sie einmal „Agent“ verwenden und direkt eskaliert werden.
Der BES basiert auf einer Analyse aller Gespräche über einen bestimmten Zeitraum und reduziert die Punktzahl für negative Erlebnissignale, die bei allen virtuellen Agenten üblich sind. Wenn ein Gespräch ein negatives Signal aufweist, erhält es eine Punktzahl von 75, bei zwei negativen Signalen eine Punktzahl von 50 und bei drei oder mehr Signalen eine Punktzahl von Null. Alle Gespräche werden mit einer Punktzahl bewertet und der Durchschnitt wird verwendet.
Wenn Sie diese Formel auf alle Gespräche in einem bestimmten Zeitraum anwenden, erhalten Sie eine sehr klare Bewertung der Kundenerfahrung. Wenn Sie den Bot Engagement Score nach dem Grund des Kundenkontakts aufschlüsseln, können Sie ihn auch in die Tat umsetzen.2. Bot Automation ScoreDie zweitwichtigste Kennzahl für jedes Bot-Programm ist, wie oft der Bot die Bedürfnisse des Kunden befriedigen kann, ohne dass eine Eskalation zu einem Live-Agenten erforderlich ist. Wir nennen dies denBot Automation Score (BAS).
Der BAS ist eine binäre Metrik, die prüft, ob das Gespräch entweder vollständig automatisiert war oder nicht. Im Gegensatz zum Bot Experience Score ist der BAS kein Maß für die Erfahrung selbst, sondern vielmehr dafür, wie effektiv der Bot bei der Erledigung von Aufgaben ist.
Unserer Erfahrung nach, die wir bei der Analyse der Leistung vieler Bots gemacht haben, wird das genaueste Maß für die Automatisierung anhand einer Formel ermittelt, die negative Signale berücksichtigt.Daher beginnt der Bot Automation Score mit allen Konversationen in einem bestimmten Zeitraum und wird auf der Grundlage der negativen Signale reduziert. Die im BAS verwendeten negativen Signale sind:
- Der Kunde hat keinen Bot-Endpunkt erreicht, der einer der letzten Schritte in einer Bot-Journey ist.
- Der Kunde wurde aus irgendeinem Grund an einen Live-Agenten weitergeleitet.
- Der Kunde hat eine ausdrücklich negative Bewertung abgegeben.
- Der Bot hat ein falsches Positiv registriert.
- Der Kunde forderte einen Agenten an, indem er ein beliebiges „Agenten“-ähnliches Wort verwendete, wurde aber nicht an einen Agenten weitergeleitet.
- „Bad Containment“ trat auf, wenn die Konversation nicht eskaliert wurde, aber das Thema ein Thema war, von dem wir wissen, dass der Bot es nicht effektiv automatisieren kann.
Wenn ein Gespräch ein negatives Signal aus der obigen Liste enthält, wird es als nicht automatisiert betrachtet.
Wenn Sie diese Formel auf alle Gespräche in einem bestimmten Zeitraum anwenden, erhalten Sie ein sehr klares Maß für die Automatisierung. Dies kann auch nach Kontaktgründen ausgewertet werden, um einen detaillierteren Einblick in die Bewertung der Chatbot-Leistung und umsetzbare Informationen zu erhalten. Mit dieser negativen Bewertung erhalten Sie nicht nur eine sehr konservative Ansicht der Bot-Effektivität, sondern es wird auch schnell klar, welche Maßnahmen ergriffen werden können, um die Automatisierungsraten insgesamt zu erhöhen.3. Kosten pro automatisiertes GesprächIn der Contact Center-Branche sind die Kosten pro Anruf ein typischer KPI, der Aufschluss über die Gesamtleistung und Effizienz des Call Centers gibt. Da Bots in den Unternehmen von heute jedoch eine immer wichtigere Rolle spielen, ist es wichtig, dass Callcenter die Kosten pro automatisiertem Gespräch verstehen – und den ROI ihrer Automatisierung auf den Punkt bringen können.
Die Kosten pro automatisierte Konversation scheinen so einfach zu sein, wie die Kosten für die Bot-Plattform und die Lizenzgebühren durch die Gesamtzahl der automatisierten Konversationen zu teilen. Bei diesem Ansatz werden jedoch wichtige leistungsbezogene Faktoren außer Acht gelassen, z. B. ob ein Bot-Engagement tatsächlich die Anforderungen des Kunden erfüllt oder ob es ihn dazu veranlasst hat, zu einem kostspieligeren Kanal – einem Live-Chat oder Agenten – zu wechseln, was zu einem Anstieg der Gesamtkosten führt.
Letztendlich sollte eine Chatbot-Analyseplattform bei der Berechnung der Kosten pro automatisierter Konversation drei Hauptfaktoren berücksichtigen:
- Plattformgebühren, einschließlich Lizenzierung und Implementierung
- Lautstärke der Konversation
- Automatisierung. Über die einfache Eingrenzung hinaus berücksichtigt die Automatisierung, ob ein Bot in der Lage war, eine Kundenanfrage wirklich ohne Wiederholungen, übermäßige Übergänge oder Eskalationen zu beantworten.
4. Agent Experience Score Wie können Sie nachvollziehen, was passiert, wenn ein virtuelles Gespräch zu einem Live-Agenten weitergeht? Höchstwahrscheinlich werden Sie die Hilfe künstlicher Intelligenz benötigen, um einen genaueren Blick darauf zu werfen. Calabrio Bot Analytics berechnet eine einzigartige Metrik für die Agentenerfahrung, die Signale innerhalb der Konversationsdaten wie Agentenabbruch, Wartezeit, Bearbeitungszeit und Stimmung berücksichtigt, um einen globalen Überblick und lokale Einblicke in die Gesamtleistung sowie in einzelne Themen, die von einer Automatisierung profitieren würden, zu bieten.Beyond the Core: Zusätzliche Chatbot-Metriken zum Verständnis der Effektivität Die oben beschriebenen Kern-Chatbot-KPIs können für das Verständnis und die Verbesserung der Bot-Leistung entscheidend sein. Sie sind jedoch bei weitem nicht die einzigen, die den Teams mit den richtigen Analysen zur Verfügung stehen. Die folgenden Chatbot-Erfolgsmetriken können Teams dabei helfen, sich auf die kleinsten Probleme zu konzentrieren, um weitere Verbesserungen zu erzielen. 5. Falsch-Positiv-Rate Die Falsch-Positiv-Rate ist ein Maß für die Rate, mit der eine Äußerung vom Modell falsch klassifiziert wird, obwohl das Modell ihr ein hohes Konfidenzniveau zuweist. Diese Rate ist schwer zu messen und hängt von einem unabhängigen parallelen NLP-Modell ab. Geringe Falsch-Positiv-Raten bedeuten jedoch in der Regel, dass das für einen Chatbot eingerichtete natürliche Sprachverständnis (NLU) von guter Qualität ist.6. Bot-Wiederholungsrate Die Bot-Wiederholungsrate wird im Bot Experience Score (BES) verwendet, ist aber auch ein gutes unabhängiges Maß für die Leistung aller Conversational Bots. Ein virtueller Agent sollte sich theoretisch nie wiederholen, aber das passiert trotzdem regelmäßig. Wenn Sie in der Lage sind, diese Vorkommnisse zu erkennen und zu beheben, können Sie schnell Verbesserungen erzielen.7. Positive Feedback-Rate Negatives Feedback wird in fast allen Situationen mit einem Vielfachen des positiven Feedbacks gegeben. Die positive Feedback-Rate ist die Rate des positiven Feedbacks geteilt durch die Gesamtmenge des Feedbacks (positiv, negativ, neutral), um eine nützlichere Rate zu erhalten.8. NLU-Rate (Natural-Language Understanding) Die NLU-Rate ist eine gängige Kennzahl in der Branche der virtuellen Agenten. Sie ist einfach ein Maß für die Rate, mit der ein Klassifikator eine Äußerung mit einer bekannten Absicht bei einem bestimmten Konfidenzniveau abgleichen kann.Mit Chatbot-Analysen die Bot-Leistung auf den Punkt bringen Nun, da Sie die wichtigsten Chatbot-Kennzahlen kennen, die Sie überwachen sollten, wie tun Sie das eigentlich?
Viele Bot-Plattformen sind zwar auf das Design und die Entwicklung von Bots ausgerichtet, bieten aber keine Analysemöglichkeiten, die eine tiefgreifende und aussagekräftige Messung der Bot-Leistung ermöglichen.
Hier kommt die Bot-Analyse-Software ins Spiel. Während eine ausgereifte Chatbot-Plattform problemlos alle Ereignisse und Signale liefert, die für die Erstellung der Bewertungen erforderlich sind, kann eine fortschrittliche Chatbot-Analyse-Lösung wie Calabrio Bot Analytics das klarste Bild der Bot-Qualität liefern.
Erfahren Sie mehr darüber, wie unsere Bot Analytics-Plattform Ihnen helfen kann, ein tiefes Verständnis der Chatbot- und Voicebot-Leistung zu gewinnen. Und buchen Sie noch heute eine Demo, um Bot Analytics selbst in Aktion zu erleben.
