Quando uma aplicação de IA responde mal, a primeira reação é subir de modelo. Mais parâmetros, contexto maior, benchmark melhor. Às vezes funciona. Muitas vezes o problema está na dieta.
Contexto ruim produz confiança ruim
RAG com documento velho, duplicado, sem metadado e contraditório só transforma bagunça em resposta fluente. Antes de mexer no modelo, avalie origem, atualização, autoridade e granularidade das fontes. Separe o que é verdade operacional do que é material de referência. Defina precedência. Registre versão. Remova conteúdo que não deveria ser recuperado. E, principalmente, respeite permissões: um sistema inteligente que encontra dado que o usuário não podia ver continua sendo vazamento.
Crie avaliação com perguntas reais
Não teste só com exemplos bonitos da demo. Colete perguntas de usuários, casos difíceis, ambiguidade, negação e situações em que a resposta certa é “não sei”. Meça utilidade, precisão e falhas que têm impacto.
Modelo é uma peça
Prompt, recuperação, ferramenta, dado, UX, fallback e revisão formam o sistema. Melhorar uma peça pode não mudar o resultado se o gargalo estiver em outra. A tentação de culpar o modelo existe porque é uma troca simples. Arrumar dado exige conversa com a empresa inteira. Infelizmente é exatamente por isso que costuma valer mais.