10 wesentliche Kennzahlen zur Bewertung Ihres KI-Chatbots

Möchten Sie Ihrer Website einen Chatbot hinzufügen, der von KI unterstützt wird, um Ihre Kundenbetreuung zu verbessern, die Verfügbarkeit von Online-Support zu erweitern oder Ihre Kunden besser kennenzulernen aber wissen nicht, wie man seine Leistung misst? Inbenta hilft seit mehr als 15 Jahren Unternehmen weltweit, virtuelle Assistenten aufzubauen. Wir konnten beobachten, wie sich die Trends und Bedürfnisse weiterentwickelt haben, und während sich die Erwartungen der Benutzer in Bezug auf Interaktionen und Konversation erheblich geändert haben, sind die Leistungsmetriken ziemlich konstant geblieben. Sie dienen weiterhin als die Hauptquelle zur Analyse der Auswirkungen des KI-Chatbots auf die Resultate Ihres Unternehmens. Aus diesem Grund haben wir die zehn wichtigsten Metriken zusammengestellt, die bei der Bewertung der Leistung Ihres Chatbots überprüft werden sollten.

Feedback und Systemkenntnisse entstehen durch Interaktionen  

Egal ob Sie sich erst für eine Testphase entscheiden oder ob Sie direkt eine langfristige Lizenz für die Technologie Ihrer Wahl erwerben, würden wir Ihnen empfehlen, den Chatbot für die Endbenutzer so schnell wie möglich verfügbar zu machen. Es ist sehr schwierig, sich in die Lage Ihrer Benutzer zu versetzen um vorherzusehen, was und wie sie denken. 

Ihre Kunden verhalten sich mit einem Bot anders als mit einem Menschen. Genauso werden Ihre Mitarbeiter dem Personalwesen nicht dasselbe sagen, was sie einem Bot sagen würden. Sie sollten also akzeptieren, dass dieser neue Kommunikationskanal (falls er vorher nicht existiert hat) einige Überraschungen mit sich bringt. Es ist natürlich verlockend zu versuchen, so viele Fragen wie möglich zu beantworten, noch bevor der Bot freigeschaltet wurde, aber es ist gleichzeitig unrealistisch zu erwarten, dass die Bedürfnisse eines neuen Kommunikationskanals vorhergesehen werden können, obwohl er von uns noch nie zuvor benutzt wurde.

Stellen Sie Ihren Chatbot so schnell wie möglich Live mit einer minimalen Anzahl an Inhalten. Nur echte Interaktionen erzeugen wertvolle Kenntnisse über das Systems und ermöglichen Ihnen somit, es kontinuierlich zu verbessern.

Identifizieren Sie die Schlüsselmetriken für Ihren Chatbot

Nachdem Sie das Ziel und den Umfang Ihres Chatbots definiert haben, wird schnell klar, was der Hauptmaßstab für seine Leistung sein sollte.

Anstieg der Conversion, Rückgang der eingehenden Kontakte mit geringem Mehrwert, Reduzierung der durchschnittlichen Verarbeitungszeit, etc … Wir empfehlen Ihnen, einen Zielwert für ein oder zwei Indikatoren festzulegen, die eng mit dem ursprünglichen strategischen Zweck des Projekts verknüpft sind (obwohl viele andere Statistiken verfügbar sein werden).

Metriken der Kundenbetreuung:

  • Verringerung der Quote der First-Level-Anrufe
  • Die Länge der vom Chatbot generierten Anrufe (über Web-Callback)
  • E-Mail-Reduktionsrate
  • Eskalationsrate

Marketing-Metriken:

  • Conversion-Rate (für Benutzer, die mit dem Bot interagiert haben)
  • Durchschnittliche Sessionlänge (für Benutzer, die mit dem Bot interagiert haben)
  • Anzahl der von Besuchern gesehenen Webseiten (für Benutzer, die mit dem Bot interagiert haben)
  • Abbruchquote bei Online-Einkäufen

HR-spezifische Metriken:

  • Monatliches Fragevolumen
  • Eskalationsrate
  • Häufige Themen

Metriken der Chatbot-Benutzererfahrung 

Andere Indikatoren können auch für die Querschnittsanalyse relevant sein, allerdings kann man sich leicht in der Menge an Information verlieren oder diese nicht in Zusammenhang stellen.

Wir fassen hier die 10 wichtigsten Metriken zusammen, die Sie befolgen sollten, um Ihre Benutzer sowie die Auswirkungen Ihres KI-Chatbots besser kennenzulernen:

  1. Self-Service-Rate: Prozentsatz der Sessions, die nach Verwendung des Bots ohne Eskalation an Agenten beendet wurden.
  2. Leistungsrate: Anzahl der korrekten Antworten geteilt durch die Anzahl der aktiven Sessions (eine korrekte Antwort ist eine Antwort, die vom Bot vorgeschlagen und vom Benutzer bei Mehrfachauswahl angeklickt oder bei starker semantischer Übereinstimmung sofort geöffnet wird).
  3. Nutzung pro Login: Volumen der aktiven Sessions im Chatbot im Vergleich zu der durchschnittlichen Anzahl von Sessions auf Ihrer Website.
  4. Abbruchrate: Volumen der Sessions, in denen der Chatbot geöffnet aber nicht verwendet wurde.
  5. Zufriedenheitsrate: die Durchschnittsnote, die bei der Bewertung der Antworten des Chatbots gegeben wurde (im Vergleich zur Bewertungsrate).
  6. Bewertungsrate: Prozentsatz der Sessions, bei denen die Antworten des Chatbots mindestens einmal bewertet wurden.
  7. Durchschnittliche Sessionlänge: Diese Metrik erlaubt Ihnen, das Interesse der Benutzer an Ihrem Chatbot zu bewerten.
  8. Durchschnittliche Anzahl von Interaktionen: wird zur Bewertung des Kundenaufwands im Chatbot verwendet und muss mit der Zufriedenheitsrate korreliert werden. Wenn die Zufriedenheitsrate sehr niedrig ist, kann es bedeuten, dass der Bot von den Benutzern zu viele Schritte benötigt, um ihre Bedürfnisse zu erfüllen. In solchen Fällen sollten die Dialoge oder die Architektur der Wissensdatenbank korrigiert werden.
  9. Zielerreichungsrate: Wenn Ihr Bot gezielte Aktionen wie CTAs, Formulare oder Cross-Selling enthält, ist dies die Rate für Benutzer, die diese bestimmte Aktion über den Chatbot erreicht haben.
  10. Rate unbeantworteter Fragen: Die Häufigkeit der Fragen, die der Chatbot nicht beantworten konnte (aufgrund fehlender Inhalte oder falschem Verständnis).

Reichen diese KPIs aus?

Diese unterschiedlichen KPIs reichen aus, um den ROIWert und den Mehrwert Ihres Chatbots gemäß Ihren ursprünglichen Zielen zu bewerten. Es scheint selbstverständlich zu sein aber eine regelmäßige Überwachung hilft Ihnen, die Wirksamkeit Ihrer Systeme zu verbessern. Die KPIs sollten jedoch nicht die einzigen Metriken sein, die bei der Bewertung der Gesamtwirkung der Lösung berücksichtigt werden. Bis vor kurzem brauchten Unternehmen keine künstliche Intelligenz , um hervorragende Kundenbeziehungen oder optimale Customer-Journeys zu entwickeln.

Daher würden wir Ihnen empfehlen die Metriken mit Ihren alten Indikatoren zu korrelieren, die vor dem Chatbot verwendet wurden (Volumen der Telefonkontakte, Volumen der eingehenden E-Mails über das Kontaktformular, Volumen des Chats mit Agenten usw.). Es kann auch nicht ausgeschlossen werden, dass einige von dem Chatbot genutzten Inhalte noch mehr Telefonanrufe als zuvor generieren, wenn diese verwirrend oder nicht ausreichend sind.

Nur eine Querschnittsanalyse kann wirklich Aktionspläne aufdecken, die über den Umfang des Chatbots hinausgehen, indem sie Ihr globales wirtschaftliches Umfeld in Betracht zieht.

Wenn Sie einen Schritt weiter gehen und mehr darüber erfahren möchten, wie Ihre Omnichannel-Strategie von Bots unterstützt werden kann, ist das folgende Dokument genau das Richtige für Sie.

Chatbot guide

Check out our similar articles