Como conferir se uma pesquisa de IA está inventando

Um relatório fluente, com bibliografia, ainda pode estar errado frase a frase. O que se confere é o trecho por trás da afirmação, não um link no fim.

SpanSearch Team

Relatórios de pesquisa feitos por IA agora têm cara de prontos. A estrutura está arrumada, o tom é seguro e no fim há uma bibliografia. Ao terminar de ler, é difícil saber se aquilo foi conferido ou se o modelo juntou algumas impressões numa frase.

A conferência que se vê no mercado costuma parar em «colocou um link?».

Você abre e encontra um artigo, ou o título de uma página. O relatório não marca de qual trecho a frase depende. É preciso rolar, buscar e adivinhar se era aquele ponto. Um relatório com uma dúzia de afirmações significa ler uma dúzia de páginas de novo. Na pressa, olha-se se o link está lá, e trata-se «tem fontes» como «esta frase está sustentada».

Há um caso pior. O link é real, a página abre, e a página não diz o que o relatório diz. O modelo juntou duas fontes, ou pareou um título real com uma conclusão que ele mesmo completou. Esse tipo de invenção não aparece na lista de referências.

A conferência não deveria começar pela bibliografia. É uma afirmação, e o trecho em que ela diz se apoiar. Se batem, a frase pode ficar. Se não batem, essa frase foi inventada, por mais fluido que o relatório esteja.

O que fizemos

Um relatório inventa quando a redação começa cedo demais. Chegam links e resumos, e um parágrafo é escrito a partir da impressão. A página não ficou como dado completo, e os argumentos e as evidências não foram reunidos antes.

Deixamos a redação por último. Dos dados coletados, primeiro selecionamos o material completo que tem a ver com esta pesquisa. Nesse material reunimos as evidências e os argumentos: o que cada trecho diz, e qual julgamento sai desses trechos. O artigo é escrito a partir desses argumentos e dessas evidências.

Uma afirmação usa o trecho que foi reunido para ela. Os relatórios prontos ficam na biblioteca, em documentos. Abra a fonte ao lado de uma afirmação e veja se o trecho para o qual ela volta é a mesma coisa que a frase. Se não bater, a frase é alterada ou apagada. A fonte continua nessa frase, então depois da mudança dá para conferir de novo contra o mesmo trecho.

Uma leitura errada, ou dois trechos unidos numa frase, ainda pode acontecer. A diferença é que a frase sai de evidências já reunidas, e quando não bate dá para voltar àquele trecho e mudá-la.