Como a inteligência artificial do ChatGPT 'pensa' e gera texto

A destreza com as palavras exibida pelo ChatGPT tomou a imaginação de quem vive fora da bolha dos pesquisadores e entusiastas de inteligência artificial (IA). Antes mesmo do lançamento do GPT-4, novo 'cérebro' do ChatGPT lançado na semana passada, o chatbot da OpenAI passou a ser visto além de suas qualidades técnicas, dando espaço para temores sobre um levante das máquinas, para ilusões de relacionamentos íntimos com sistemas e para fé profunda nas respostas que surgem na caixa de diálogo do serviço.

Boa parte dessas situações é resultado de um fenômeno batizado na comunidade científica de "alucinação", que se refere a textos inventados pelas máquinas que extrapolam a realidade ou o bom senso. Ou seja, quando o ChatGPT demonstra algum tipo de intimidade com o usuário, ou argumenta com convicção sobre informações erradas, o sistema alucinou.

"O ChatGPT é uma boa ferramenta para gerar textos, mas ele não sabe o significado das palavras. Ele é apenas um papagaio do que aprendeu", diz Fernando Osório, professor da USP São Carlos.

De fato, o ChatGPT não entende o que escreve por uma razão simples: dentro de sistemas de IA, a palavra vira matemática. Ferramentas de IA que geram texto usam modelos de análise probabilística para entender a relação entre as palavras e selecionar termos que melhor atendem aos usuários.

Tentar olhar esse mecanismo abstrato ajuda a entender com clareza os motivos pelos quais estamos longe da singularidade (termo usado para o suposto despertar da consciência das máquinas).

Processos

Até 2017, a arquitetura de IA mais utilizada para gerar texto eram as redes neurais recorrentes (RNN). Elas "olham" para um conjunto de termos e geram a próxima palavra de forma sequencial - é uma "fila de palavras".

Mas as RNNs não conseguem analisar várias palavras ao mesmo tempo. Além disso, elas não conseguem manter a "atenção" em frases muito longas e acabam "esquecendo" dos primeiros termos.

Tudo mudou quando engenheiros do Google propuseram um novo design de IA, chamado Transformer. Esse método se tornou o principal pilar para o processamento de linguagem e deu origem a diferentes sistemas, como o Bert, do Google, o T5, da HuggingFace, e o GPT, que posteriormente viria a abastecer o ChatGPT. A grande novidade do Transformer é que ele é capaz de olhar para todas as palavras em uma frase ao mesmo tempo e analisar paralelamente cada uma delas. Ele não tem dificuldades com textos longos.

Tudo isso ajuda a IA a selecionar quais palavras serão geradas a partir de um comando. As relações entre as palavras são batizadas de parâmetros - a IA por trás do ChatGPT tem 175 bilhões de parâmetros.

Computadores, porém, não entendem palavras. Para que essa relação entre termos seja medida, a linguagem precisa virar matemática. Cada termo ganha um número (chamado de token) e essas identificações são transformadas em vetores multidimensionais, chamados de embeddings.

Os embeddings ajudam a preservar a ideia de semântica porque agrupa os vetores de palavras similares - por exemplo, os vetores de "primavera" e "verão" tendem a ficar perto uns dos outros na "nuvem".

Para refinar ainda mais o peso na relação das palavras, o Transformer tem três "filtros" que analisam essas informações. Eles são batizados de Query (Q), Key (K) e Value (V) e afetam o posicionamento dos vetores de cada palavra.

Limitações

Para que a máquina gere parâmetros, são necessários volumes massivos de dados, chamados de modelos de linguagem ampla (LLM). O GPT-3.5, primeiro "cérebro" do ChatGPT, foi treinado com 45 TB de texto, incluindo 10 bilhões de palavras.

Além disso, o GPT-3.5 passou por uma adaptação, chamada InstructGPT, antes de servir o ChatGPT: humanos passaram a avaliar as respostas que pudessem ajustar ainda mais as escolhas da máquina.

Quando o usuário acessa o ChatGPT, o sistema já tem as relações mapeadas numa espécie de "menu", que gera as palavras na janela do chatbot.

A transformação de palavras em números e vice-versa deixa claro os motivos pelos quais o ChatGPT alucina ou argumenta sobre informações erradas. "Ele apenas está escolhendo palavras num modelo probabilístico. Não há sentimento nem compreensão", explica Osório. Ou seja, a ferramenta não é um oráculo.

Em relação a erros factuais, o ChatGPT tem outra limitação: os dados que treinaram o sistema vão apenas até 2021, o que significa que o modelo vai escolher palavras apenas dentro desta janela temporal.

A OpenAI afirmou durante o lançamento do GPT-4 que o novo sistema alucina menos (com performance superior ao GPT-3 em 40%), mas admitiu que o modelo continua cometendo erros. "Apesar de suas habilidades, o GPT-4 tem limitações similares às de gerações anteriores do GPT", diz a companhia. "Mais importante: ele ainda não é totalmente confiável (ele alucina fatos e comete erros de raciocínio)."

E esse parece ser um caminho sem solução. "Com essa tecnologia, nunca uma máquina se tornará autoconsciente - mesmo que os próximos modelos de linguagem sejam ainda mais sofisticados," afirma Osório.