Identificar alucinaciones en las respuestas de Slackbot

Los modelos grandes de lenguaje (LLM) que incluye Slackbot a veces pueden generar respuestas que no son objetivamente precisas o que no tienen sentido en el contexto de una conversación. Estas respuestas, que se conocen como alucinaciones, a menudo suenan verosímiles y se presentan con confianza.

Sigue leyendo para obtener más información sobre cómo reconocerlas, formas de evitarlas y cómo informar de las supuestas alucinaciones a Slack. 

Nota: Es importante revisar las respuestas generadas por IA de manera crítica y verificar la información uno mismo antes de usarla para tomar decisiones o compartir respuestas con otras personas.

Cómo reconocer las alucinaciones

Las respuestas de la IA en Slack solo contienen información a la que tienes acceso (como canales abiertos, canales cerrados a los que perteneces y tus mensajes directos), por lo que, si ves información rara, probablemente será una alucinación. 

Alucinaciones que Slack puede detectar

Estos son los tipos de alucinaciones que podemos identificar y marcar en las respuestas de Slackbot: 

• Archivos y mensajes
  Enlaces a archivos y mensajes que llevan a un callejón sin salida porque no existen en tu espacio de trabajo de Slack u organización Enterprise.
• Personas y canales
  Referencias a personas o canales que no existen.

Cuando detectemos una de estas alucinaciones, los enlaces, los nombres de los canales o las personas se sustituirán por una etiqueta de Enlace no encontrado, Canal no encontrado o Usuario no encontrado. Si ves alucinaciones marcadas en una respuesta, deberías revisar la respuesta completa cuidadosamente para ver su exactitud. 

Qué hacer si Slackbot alucina

Se ha entrenado a Slackbot para que sea lo más útil posible, pero en algunos casos no tendrá suficiente información o contexto para ofrecer una respuesta de calidad. Si Slackbot dice “No lo sé” o “No tengo suficiente información para responder esa pregunta” y le pides que lo vuelva a intentar sin darle nuevas instrucciones, es probable que empiece a alucinar para darte una respuesta que te satisfaga. 

Utiliza estos consejos para verificar la información que te envía Slackbot o para ayudarle a seguir con su trabajo cuando tiene problemas para darte una respuesta: 

• Vuelve a preguntar a Slackbot
  Pregunta a Slackbot la misma pregunta en un chat nuevo y mira si la nueva respuesta es coherente con la respuesta original. 
• Intenta que las conversaciones sean cortas
  Si has enviado varios mensajes en la misma conversación, empieza una nueva discusión para reducir el riesgo de que Slackbot se confunda por las respuestas anteriores. 
• Proporciona fuentes específicas
  En vez de decir “Busca más información en otros sitios”, usa “Esos no son los canales correctos, prueba mejor con #nombre-canal y #nombre-canal. También puedes buscar mensajes de @persona”.

Informar de alucinaciones

Si se ha activado el envío de comentarios sobre respuestas de IA en tu espacio de trabajo u organización, puedes informar sobre las respuestas con información que tenga alucinaciones. Estos informes nos ayudan a identificar patrones y mejorar Slackbot. Puedes hacerlo de la siguiente manera: 

1. En una respuesta de Slackbot, haz clic en el   botón de pulgar hacia abajo. 
2. Marca las casillas que hay junto a los problemas de los que quieras informar e incluye los mensajes en la conversación si quieres. Siempre recibiremos el último mensaje que le hayas enviado a Slackbot como parte del informe. 
3. Haz clic en Enviar.