Slackbot のレスポンスに含まれるハルシネーションの特定

Slackbot を機能させている大規模言語モデル（LLM）は、事実関係が不正確なレスポンスや会話の文脈から外れたレスポンスを生成する場合があります。そのようなレスポンスはハルシネーションと呼ばれ、一見すると正確そうで、自信たっぷりに提示されます。

ハルシネーションを見分ける方法や回避策、またハルシネーションが疑われる事象を Slack へ報告する方法について、続く部分でもっと詳しく説明します。

注 : AI が生成したレスポンスを鵜呑みにせず、意思決定に用いたりほかのメンバーに共有したりする前に、自分で情報の正確性を確認することが重要です。

ハルシネーションを見分ける方法

Slack での AI によるレスポンスは、そのユーザーがアクセスできる情報（パブリックチャンネル、参加しているプライベートチャンネル、ダイレクトメッセージなど）のみに基づいて生成されます。そのため、心当たりのない情報が含まれている場合は、ハルシネーションの可能性があります。

Slack が検知できるハルシネーション

Slack が Slackbot のレスポンス内で特定し、フラグを立てることができるハルシネーションの種類は以下のとおりです。 

• ファイルとメッセージ
  あなたの Slack ワークスペースや Enterprise オーガナイゼーション内に存在しないため、アクセスできないファイルやメッセージへのリンク。
• メンバーとチャンネル
  存在しないメンバーまたはチャンネルへの参照。

これらのハルシネーションが検知されると、リンク、チャンネル名、またはメンバーの名前が「リンクが見つかりません」、「チャンネルが見つかりません」、あるいは「ユーザーが見つかりません」というタグに置き換わります。レスポンス内にハルシネーションのフラグがついている場合は、レスポンス全体の内容が正確かどうか、慎重に確認する必要があります。 

Slackbot がハルシネーションを起こした場合の対処法

Slackbot は可能な限り役立つレスポンスを生成するようトレーニングされていますが、情報や文脈が不足していると、質の高いレスポンスを提供できない場合があります。Slackbot が「わかりません」または「その質問に答えるための十分な情報がありません」と回答した場合、新たな指示を与えずにもう一度試すよう求めると、無理に満足のいく答えを出そうとしてハルシネーションが起こりやすくなります。 

Slackbot から届いた情報を確認したい時や、適切な回答が得られない時に軌道修正するには、以下のヒントを参考にしてください。

• Slackbot にもう一度聞く
  新しいチャットで同じ質問をしてみて、元のレスポンスと内容が一致するかどうかを確認します。 
• 会話を短く保つ
  同じ会話内でメッセージを何度もやり取りしている場合は、新しい会話を始めてください。そうすることで、Slackbot が以前の返信によって混乱させられるリスクを減らせます。 
• 具体的な情報源を指定する
  「ほかの場所でもっと情報を探して」と言う代わりに、「それらは適切なチャンネルではありません。代わりに #チャンネル名 や #チャンネル名 を使用してください。また、@メンバーさんからのメッセージを探してください」と指定することもできます。

ハルシネーションの報告

ワークスペースまたはオーガナイゼーションで「AI レスポンスへのフィードバック送信」が有効になっている場合は、ハルシネーションが含まれるレスポンスを報告できます。いただいた報告は、パターンの特定や Slackbot の改善に役立てられます。詳細は以下のとおりです。

1. Slackbot のレスポンスで、 （「サムズダウン」ボタン）をクリックします。
2. 報告したい問題の横にあるチェックボックスをオンにします。必要に応じて、会話内のメッセージを含めることもできます。Slackbot に送信された最後のメッセージが報告の一部として常に送信されます。 
3. [Send (送信)] をクリックします。