De prestatiecijfers van de chatbot die elk team zou moeten meten

Het mooie (en soms het lastige) van virtuele agenten is dat ze nooit klaar zijn. Jij en je chatbots voor conversaties kunnen altijd iets nieuws leren, of je ze nu gisteren hebt gelanceerd of 5 jaar geleden. Om de juiste inzichten te krijgen en veranderingen door te voeren die echt effect hebben, moet je echter naar de juiste aspecten van de prestaties kijken.

Om u te helpen het beste te halen uit uw botprestaties en uw klantervaring, hebben we een lijst samengesteld met essentiële chatbotprestatiecijfers die u moet kennen – en die u moet kunnen monitoren – om de chatbotprestaties te evalueren en te verbeteren.

Als je de effectiviteit van je conversationele chatbots wilt meten, zijn er statistieken en dan zijn er nog statistieken. Deze vier hoeksteen chatbot metrics, die allemaal gemakkelijk kunnen worden gecontroleerd met behulp van Calabrio Bot Analytics, zijn onmisbaar in je streven naar betere bot prestaties.

Het meten van de ervaring van een klant wanneer deze in interactie is met een chatbot kan een uitdaging zijn. Ten eerste is expliciete feedback zeldzaam en vaak negatief. Ondertussen geven enquêtes meestal een zeer beperkt beeld van de werkelijke betrokkenheid. Dit heeft een aantal redenen: de deelname is vaak laag, dus je werkt vaak met een kleine steekproefgrootte. Bovendien zijn degenen die wel meedoen niet altijd authentiek in hun antwoorden (als ze bijvoorbeeld worden gestimuleerd), waardoor onbedoelde vooroordelen worden geïntroduceerd.

Om de klantervaring te begrijpen en de tevredenheid te meten zonder enquêtes, heeft Calabrio een standaardBot Experience Score(BES) ontwikkeld die op elke bot kan worden gebruikt. Deze cruciale chatbot KPI houdt rekening met alle klantgesprekken om een onbevooroordeelde score en een nauwkeuriger beeld van de algehele klanttevredenheid te krijgen. Deze score meet puur de ervaring, niet alleen de effectiviteit van de bot.

De BES-metriek begint met een score van 100 en daalt telkens wanneer er een negatief engagementsignaal is binnen de bot. De negatieve signalen die in de BES worden gebruikt zijn onder andere:

• Botherhaling treedt op wanneer de bot zichzelf herhaalt om welke reden dan ook tijdens een gesprek.
• Er is sprake van klantparafrasering als de klant een soortgelijke vraag twee of meer keer in een gesprek gebruikt.
• Er was sprake van abandonment wanneer de klant het gesprek halverwege verliet en geen bot-eindpunt bereikte.
• Negatief sentiment wordt gedetecteerd met behulp van een AI-gebaseerd sentimentmodel.
• Negatieve expliciete feedback wordt ontvangen in het gesprek.
• Er wordt gevloekt in de conversatie.
• De klant gebruikte het woord “agent” (of iets soortgelijks) meer dan eens in een gesprek. Merk op dat een keer “agent” gebruiken en direct geëscaleerd worden over het algemeen geen slechte ervaring is.

De BES is gebaseerd op een analyse van alle gesprekken over een bepaalde periode en verlaagt de score voor negatieve ervaringssignalen die bij alle virtuele agenten voorkomen. Als een gesprek één negatief signaal heeft, krijgt het een score van 75, bij twee negatieve signalen een score van 50 en bij drie signalen of meer een score van nul. Alle gesprekken krijgen een score en het gemiddelde wordt gebruikt.

Als je deze formule gebruikt voor alle gesprekken in een bepaalde periode, krijg je een heel duidelijke klantervaringsscore. Verder maakt het uitsplitsen van de Bot Engagement Score naar reden van contact met de klant het bruikbaar voor actie.

De op één na belangrijkste metriek voor elk botprogramma is hoe vaak de bot de behoeften van de klant kan bevredigen zonder dat escalatie naar een live agent nodig is. We noemen dit deBot Automation Score (BAS).

De BAS is een binaire metriek die kijkt of het gesprek volledig geautomatiseerd was of niet. In tegenstelling tot de Bot Experience Score meet BAS niet de ervaring zelf, maar eerder hoe effectief de bot is in het voltooien van taken.

Onze ervaring, na het analyseren van de prestaties van veel bots, is dat de meest nauwkeurige maat voor automatisering wordt afgeleid met behulp van een formule die kijkt naar negatieve signalen.Als gevolg hiervan begint de Bot Automation-score met alle conversaties in een bepaalde periode en wordt deze verlaagd op basis van de negatieve signalen. De negatieve signalen die in de BAS worden gebruikt zijn:

• De klant heeft geen bot-eindpunt bereikt, wat een van de laatste stappen in een bot-reis is.
• De klant is om welke reden dan ook geëscaleerd naar een live agent.
• De klant heeft expliciet negatieve feedback gegeven.
• De bot registreerde een vals positief.
• De klant vroeg om een agent met een willekeurig “agent”-achtig woord, maar werd niet geëscaleerd naar een agent.
• “Bad Containment” kwam voor wanneer het gesprek niet geëscaleerd was, maar het onderwerp was er een waarvan we weten dat de bot niet effectief is in het automatiseren.

Als een gesprek een negatief signaal uit de bovenstaande lijst bevat, wordt het als niet-geautomatiseerd beschouwd.

Als je deze formule gebruikt voor alle gesprekken in een bepaalde periode, krijg je een heel duidelijke maatstaf voor automatisering. Dit kan ook worden geëvalueerd per contactreden om meer gedetailleerd inzicht te krijgen in de evaluatie van chatbotprestaties en bruikbare informatie. Met deze negatieve score krijg je niet alleen een heel conservatief beeld van de effectiviteit van bots, maar het wordt ook snel duidelijk welke acties kunnen worden ondernomen om de totale automatiseringsgraad te verhogen.

In de contactcenterbranche zijn de kosten per gesprek een typische KPI die licht werpt op de algemene prestaties en efficiëntie van het callcenter. Maar nu bots een steeds prominentere rol gaan spelen in hedendaagse organisaties, is het cruciaal dat callcenters de kosten per geautomatiseerd gesprek begrijpen en de ROI van hun automatisering kunnen doorgronden.

De kosten per geautomatiseerd gesprek kunnen zo eenvoudig lijken als de kosten van het botplatform en de licentiekosten delen door het totale aantal geautomatiseerde gesprekken. Deze benadering gaat echter voorbij aan belangrijke prestatiegerelateerde factoren, bijvoorbeeld of een bot-engagement daadwerkelijk voldoet aan de eisen van de klant, of dat het hen heeft aangezet om over te schakelen naar een duurder kanaal – een live chat of een agent – wat leidt tot een stijging van de totale kosten.

Uiteindelijk moet een chatbotanalyseplatform rekening houden met drie belangrijke factoren bij het berekenen van de kosten per geautomatiseerde conversatie:

1. Platformkosten, inclusief licenties en implementatie
2. Gespreksvolume
3. Automatisering. Bij automatisering wordt niet alleen rekening gehouden met eenvoudige inperking, maar ook met de vraag of een bot echt aan een vraag van een klant kon voldoen zonder herhalingen, buitensporige overgangen of escalaties.

Hoe begrijp je wat er gebeurt als een virtueel gesprek overgaat in een live agent? Naar alle waarschijnlijkheid heb je de hulp van kunstmatige intelligentie nodig om het van dichtbij te bekijken. Calabrio Bot Analytics berekent op unieke wijze een Agent Experience Score die kijkt naar signalen in conversatiegegevens zoals het verlaten van een agent, wachttijd, afhandeltijd en sentiment om globaal overzicht en lokaal inzicht te bieden in de algehele prestaties en in individuele onderwerpen die baat zouden hebben bij automatisering.

De belangrijkste chatbot KPI’s die hierboven zijn beschreven, kunnen cruciaal zijn voor het begrijpen en verbeteren van botprestaties. Ze zijn echter lang niet de enige die beschikbaar zijn voor teams die over de juiste analyses beschikken. De volgende succescijfers voor chatbots kunnen teams helpen zich te concentreren op de kleinste problemen om verdere verbetering te stimuleren.

Het fout-positieve percentage is een maat voor de mate waarin een uiting door het model onjuist wordt geclassificeerd hoewel het model er een hoog betrouwbaarheidsniveau aan geeft. Dit is moeilijk te meten en is afhankelijk van een onafhankelijk parallel NLP-model, maar lagere fout-positieven betekenen meestal dat de natuurlijke taalverstaanbaarheid (NLU) die is ingesteld voor een chatbot van goede kwaliteit is.

Botherhaling wordt gebruikt in de Bot Experience Score (BES), maar is ook een goede onafhankelijke maatstaf voor de prestaties van alle conversatiebots. Een virtuele agent zou zichzelf theoretisch nooit moeten herhalen, maar toch gebeurt dit nog regelmatig. Als je deze voorvallen kunt identificeren en aanpakken, leidt dat tot snelle verbeteringen.

Negatieve feedback wordt in bijna alle situaties gegeven tegen een veelvoud van positieve feedback. Het positieve feedbackpercentage is het percentage positieve feedback gedeeld door de totale hoeveelheid feedback (positief, negatief, neutraal) om een bruikbaarder percentage te krijgen.

Het NLU-percentage is een veelgebruikte maatstaf in de branche voor virtuele agenten. Het is simpelweg een maat voor de mate waarin een classificator een uiting kan matchen met een bekende intentie bij een gegeven betrouwbaarheidsniveau.

Nu je weet wat de belangrijkste chatbot-metrics zijn om in de gaten te houden, hoe doe je dat eigenlijk?

Veel botplatforms zijn afgestemd op botontwerp en -ontwikkeling, maar bieden geen analyseniveau dat diepgaande, impactvolle metingen van botprestaties kan leveren.

Dat is waar botanalysesoftware om de hoek komt kijken. Terwijl een volwassen chatbotplatform gemakkelijk alle gebeurtenissen en signalen zal leveren die nodig zijn om de scores te produceren, zal een geavanceerde chatbot analytics-oplossing zoals Calabrio Bot Analytics in staat zijn om het duidelijkste beeld van botkwaliteit te leveren.

Lees meer over hoe ons Bot Analytics-platform je kan helpen diepgaand inzicht te krijgen in de prestaties van chatbotten en voicebotten. En boek vandaag nog een demo om Bot Analytics zelf in actie te zien.