Identifique alucinações em respostas do Slackbot

Os grandes modelos de linguagem (LLMs) que impulsionam o Slackbot às vezes podem gerar as respostas que sejam comprovadamente imprecisas ou não façam sentido no contexto de uma conversa. Essas respostas, conhecidas como alucinações, geralmente parecem plausíveis e são entregues com confiança.

Leia mais sobre reconhecer alucinações, maneiras de evitá-las e como relatar alucinações suspeitas ao Slack. 

Observação: é importante analisar as respostas geradas por IA e verificar as informações por conta própria antes de usá-las para tomar decisões ou compartilhar respostas com outras pessoas.

Como reconhecer alucinações

As respostas de IA no Slack contêm somente informações às quais você tem acesso (como canais públicos, canais privados aos quais você pertence, e suas mensagens diretas); se você vir informações não familiares, provavelmente é uma alucinação. 

As alucinações que o Slack consegue detectar

Aqui estão os tipos de alucinações que podemos identificar e sinalizar em respostas do Slackbot: 

• Arquivos e mensagens
  Fazem referências a arquivos e mensagens que não levam a lugar algum pois não existem em seu workspace do Slack ou organização empresarial.
• Pessoas e canais
  Fazem referências a pessoas ou canais que não existem.

Ao detectarmos uma dessas alucinações, links, nomes de canais ou pessoas serão substituídos pela marca Link não encontrado, Canal não encontrado ou Usuário não encontrado. Se você vir alucinações sinalizadas em uma resposta, deve analisar cuidadosamente a resposta completa para fins de precisão. 

O que fazer se o Slackbot alucinar

O Slackbot foi treinado para ser o mais útil possível mas, em alguns casos, não terá contextos ou informações suficientes para oferecer uma resposta de qualidade. Se o Slackbot disser “Eu não sei” ou “Eu não tenho informações suficientes para responder essa pergunta” e você tentar perguntar novamente sem fornecer novas instruções, é provável que ele comece a alucinar para dar a você uma resposta satisfatória. 

Use essas dicas para verificar as informações que o Slackbot enviar para você ou ajude-o a entrar nos eixos quando estiver tendo dificuldade para oferecer uma resposta: 

• Pergunte novamente ao Slackbot
  Faça a mesma pergunta ao Slackbot em um novo chat e veja se a nova resposta é consistente com a resposta original. 
• Mantenha as conversas breves
  Se você enviou várias mensagens na mesma conversa, inicie uma nova conversa para reduzir o risco de o Slackbot ficar confuso com as respostas anteriores. 
• Forneça fontes específicas
  Em vez de dizer “Procure em outros lugares para obter mais informações”, tente dizer “Esses não são os canais corretos. Use #nome-do-canal e #nome-do-canal. Você também pode procurar mensagens de @pessoa.”

Relate alucinações

Se os envios de feedback de respostas por IA estiverem habilitadas para o seu workspace ou organização, você pode relatar respostas com informações alucinadas. Esses relatórios nos ajudam a identificar padrões e melhorar o Slackbot. Veja como isso acontece: 

1. Em uma resposta do Slackbot, clique no   botão de polegar para baixo. 
2. Se preferir, marque as caixas ao lado dos problemas que você quer relatar e inclua as mensagens em sua conversa. Sempre receberemos a última mensagem que você enviou ao Slackbot como parte do relatório. 
3. Clique em Enviar.