Was macht Chatbots erfolgreich? Leitlinien und Qualitätskriterien – Teil 2

Ist ein Chatbot erst einmal im Betrieb, egal ob bereits produktiv oder nur zu Testzwecken, stellt sich oftmals die Frage, wo Verbesserungspotentiale stecken und wie diese gefunden und bewertet werden können. Anhand einiger Qualitätskriterien zeigen wir verschiedene Fragestellungen auf, die als Orientierungshilfe dienen. Qualitätskriterien sind wichtig für die kontinuierliche Evaluation und Verbesserung von Chatbots, da sie es ermöglichen, die Leistung und Effektivität des Chatbots zu messen und zu bewerten. Dies hilft dabei, Schwächen zu identifizieren und zu beheben, die Benutzererfahrung zu verbessern und die Zufriedenheit der Nutzer sicherzustellen. Darüber hinaus ermöglicht es, den Chatbot an die sich ändernden Anforderungen und Bedürfnisse der Nutzer anzupassen, um ihnen eine hochwertige, relevante und nützliche Erfahrung zu bieten.

Qualitätskriterien für eine kontinuierliche Evaluation und Verbesserung 

Folgende Qualitätskriterien und deren Fragestellungen lassen sich definieren: 

• Eingabeform 
• Ausgabeform 
• Anthropomorphismus 
• Dialogkontrolle und Dialogfluss 
• Effektivität und Wirksamkeit
• Datenschutz

Eingabeform 

Das erste Kriterium befasst sich mit den Eingabemöglichkeiten. Sind die Kommunikationskanäle angemessen und Nutzende mit den Interaktionsmöglichkeiten und Basisfunktionalitäten vertraut? Besteht die Möglichkeit den Dialogfluss durch Kontrollelemente wie Buttons zu steuern? Ist langfristiges Kontextwissen während Interaktionen vorhanden, sodass Informationen nicht wiederholt werden müssen? 

Ausgabeform 

Im zweiten Qualitätskriterium handelt es sich um Fragestellungen rund um die Ausgabeform, Inhalte und Erscheinung des Chatbots. Werden Antworten in einer passenden Form wiedergegeben und sind diese ansprechend visuell aufbereitet? Ist transparent ersichtlich, welche Fähigkeiten und Limitationen vorherrschen? Ist der Informationsgehalt, der wiedergegeben wird, aktuell und detailliert genug? Werden bei komplexen Fragestellungen und Unsicherheit mehrere Antwortmöglichkeiten gegeben und gegebenenfalls priorisiert? 

Sind die Antworten angemessen und entsprechen der gewünschten Qualität? Ist die Verarbeitungs- und Antwortdauer in einem akzeptablen Zeitfenster und besteht eine Ausgewogenheit bezüglich hilfreicher Proaktivität und störenden Unterbrechungen?  

Anthropomorphismus 

Im dritten Qualitätskriterium ist die Vermenschlichung des Chatbots (Anthropomorphismus) entscheidend. Wird eine menschliche Identität mit Eigenschaften wie Profilbild und Namen akzeptiert? Werden verbale Signale wie emotionale Ausdrücke wie Entschuldigungen und Selbstreferenzen (“Ich”) verwendet? Wird der menschliche Charakter des Chatbots durch Smalltalk unterstützt? Neben verbalen Signalen müssen auch nonverbale Signale untersucht werden. Werden Emoticons oder Verzögerungen und Indikatoren bei der Eingabe (“…”) genutzt, um menschliche Eingabe zu imitieren? 

Dialogkontrolle und Dialogfluss 

Die Dialogkontrolle und der Dialogfluss werden im vierten Qualitätskriterium behandelt. Werden Fehlerfälle proaktiv minimiert, indem Neuformulierung angefordert werden, falls Anfragen nicht vollständig verstanden werden oder werden alternative Antwortmöglichkeiten angeboten? Wird der Dialog proaktiv durch Gesprächsimpulse und Vorschläge durch den Chatbot geleitet, sodass Fehler zu Beginn reduziert und Intentionen schneller erkannt werden? 

Besondere Aufmerksamkeit muss auf der Fehlerbehandlung liegen. Sind Strategien implementiert, um Fehlerfälle zu erkennen und diese zu behandeln? Werden alternative Antworten oder Fehlerfälle transparent wiedergegeben? Gibt es eine proaktive Fallback-Ebene bei wiederholten Fehlerfällen, z.B. ein Hand-Over Szenario, bei dem beispielsweise Kunden im Service-Bereich an Service-Experten weitergeleitet werden, um die Nutzerzufriedenheit zu gewährleisten? 

Effektivität und Wirksamkeit 

Ein weiteres wichtiges Kriterium ist die allgemeine Effektivität und Wirksamkeit des Chatbots. Wie ist das Verhältnis von Erfolgs- zu Fehlerfällen, um frühzeitig geeignete Gegenmaßnahmen einzuleiten? Wird nutzerspezifisches Verhalten über einen längeren Zeitraum evaluiert, um Rückschlüsse auf die Effektivität schließen zu können? Für die Wirksamkeit sind insbesondere folgende Fragestellungen wichtig: werden Aufgaben und Fragen während der Interaktion in angemessener Zeit gelöst und wie viele Interaktionen sind notwendig, um zu den erwarteten Ergebnissen zu gelangen? Wie viele Hand-Over Szenarien finden statt, in denen der Chatbot nicht zu zufriedenstellenden Ergebnissen führt? 

Datenschutz 

Zuletzt ist der Datenschutz ein nicht zu vernachlässigendes Kriterium. Ist die Kommunikation so privat und anonym wie möglich und werden Nutzerdaten nur dann verarbeitet und gespeichert, falls dies zwingend notwendig ist und zur Verbesserung des Chatbots beiträgt? Ist der Datenschutz gegenüber den Nutzenden transparent und diesen bewusst, welche personenbezogenen Daten verarbeitet werden? 

Fazit 

In diesem Blogartikel wurde gezeigt, dass die Verwendung von Qualitätskriterien für die kontinuierliche Evaluation und Verbesserung von Chatbots von entscheidender Bedeutung ist. Durch die Bewertung der Leistung und Effektivität des Chatbots können Schwächen identifiziert und verbessert werden, um eine zufriedenstellende Benutzererfahrung zu gewährleisten. Die stetige Anpassung des Chatbots an sich ändernde Bedürfnisse und Anforderungen der Nutzer trägt ebenfalls dazu bei, dass er relevant und nützlich bleibt. 

Bildrechte: iteratec