Halluzinationen in Slackbot-Antworten identifizieren

Die LLMs (Large Language Models, große Sprachmodelle), mit denen Slackbot arbeitet, können zuweilen Antworten generieren, die faktisch falsch sind oder im Kontext einer Unterhaltung keinen Sinn ergeben. Solche Antworten werden als Halluzinationen bezeichnet. Sie klingen oft plausibel und werden gegeben, ohne dass das Modell Zweifel daran erkennen lässt..

Im Folgenden erfährst du, wie du Halluzinationen erkennst, vermeidest und an Slack meldest. 

Hinweis: Es ist wichtig, dass du KI-generierte Antworten kritisch überprüfst und Informationen selbst verifizierst, bevor du basierend darauf Entscheidungen triffst oder die Antworten an andere Personen weitergibst.

Erkennen von Halluzinationen

KI-Antworten in Slack enthalten nur Informationen, auf die du Zugriff hast (z. B. Offene Channels, Geschlossene Channels, in denen du Mitglied bist, und deine Direktnachrichten) – wenn du also Informationen siehst, die dir unbekannt vorkommen, handelt es sich wahrscheinlich um Halluzinationen. 

Halluzinationen, die Slack entdecken kann

Folgende Arten von Halluzinationen können wir in Slackbot-Antworten identifizieren und kennzeichnen: 

• Dateien und Nachrichten
  Links zu Dateien und Nachrichten, die ins Leere laufen, weil die Dateien und Nachrichten in deinem Slack-Workspace oder deiner Enterprise-Organisation nicht vorhanden sind.
• Personen und Channels
  Verweise auf Personen oder Channels, die nicht existieren.

Wenn wir eine solche Halluzination erkennen, werden Links, Channel-Namen bzw. Personen durch eins dieser Tags ersetzt: Link nicht gefunden, Channel nicht gefunden bzw. Benutzer:in nicht gefunden. Wenn du gekennzeichnete Halluzinationen in einer Antwort siehst, solltest du die gesamte Antwort sehr sorgfältig auf Richtigkeit überprüfen. 

Vorgehensweise bei Halluzinationen von Slackbot

Slackbot ist darauf trainiert, so gut wie möglich zu helfen. In manchen Fällen gibt es aber nicht genügend Informationen oder Kontext, sodass Slackbot keine hochwertige Antwort geben kann. Wenn Slackbot sagt: „Ich weiß es nicht“ oder „Ich habe nicht genug Informationen, um diese Frage zu beantworten“ und du ihn bittest, es noch einmal zu versuchen, dafür aber keine neuen Anweisungen gibst, denkt Slackbot sich wahrscheinlich etwas aus, um dir eine Antwort zu geben, mit der du zufrieden bist. 

Nutze diese Tipps, um die Informationen zu verifizieren, die Slackbot dir sendet, oder den Bot wieder auf die richtige Spur zu bringen, wenn er Schwierigkeiten hat, eine Antwort zu geben: 

• Frage Slackbot noch einmal.
  Stelle Slackbot dieselbe Frage noch einmal in einem neuen Chat und überprüfe, ob die neue Antwort mit der vorherigen übereinstimmt. 
• Halte Gespräche kurz.
  Wenn du in ein und derselben Unterhaltung viele Nachrichten gesendet hast, starte eine neue, um das Risiko zu senken, dass Slack durch vorherige Antworten verwirrt ist. 
• Gib genaue Quellen an.
  Anstatt Slackbot zu bitten: „Suche woanders nach weiteren Informationen“, formuliere etwas in dieser Art: „Das sind nicht die richtigen Channels. Versuche stattdessen #channel-name und #channel-name. Du kannst auch nach Nachrichten von @Person suchen.“

Halluzinationen melden

Wenn Feedback-Beiträge zu KI-Antworten für deinen Workspace oder deine Organisation aktiviert sind, kannst du Antworten mit erfundenen Informationen melden. Diese Meldungen helfen uns dabei, Muster zu erkennen und Slackbot zu verbessern. So funktioniert es: 

1. Klicke in einer Slackbot-Antwort auf den   Daumen nach unten. 
2. Aktiviere die Kontrollkästchen neben den Problemen, die du melden möchtest, und füge ggf. die Nachrichten aus deiner Unterhaltung hinzu. Bei einer solchen Meldung erhalten wir immer die letzte Nachricht, die du an Slackbot gesendet hast. 
3. Klicken Sie auf Senden.