Modelos de linguagem de grande escala

Como os algoritmos de aprendizado de máquina processam números em vez de texto, o texto deve ser convertido em números. Na primeira etapa, um vocabulário é definido, em seguida, índices inteiros são atribuídos de forma arbitrária, porém única, a cada entrada do vocabulário e, finalmente, um embedding é associado ao índice inteiro. Os algoritmos incluem a codificação por pares de bytes (do inglês byte-pair encoding - BPE) e o WordPiece. Existem também tokens especiais que servem como caracteres de controle, como [MASK] para um token mascarado (como usado no BERT) e [UNK] ("desconhecido") para caracteres que não aparecem no vocabulário. Além disso, alguns símbolos especiais são usados para denotar formatação de texto especial. Por exemplo, "Ġ" indica um espaço em branco precedente no RoBERTa e GPT, e "##" indica a continuação de uma palavra anterior no BERT.^[38]

Por exemplo, o tokenizador BPE usado pela versão legada do GPT-3 dividiria tokenizer: texts -> series of numerical "tokens" como

A tokenização também comprime os conjuntos de dados. Como os LLMs geralmente exigem que a entrada seja um arranjo (array) que não seja irregular, os textos mais curtos devem ser preenchidos ("padded") até corresponderem ao comprimento do mais longo. O número médio de palavras por token depende do idioma.^[39][40]

No contexto do treinamento de LLMs, os conjuntos de dados são normalmente limpos removendo-se dados de baixa qualidade, duplicados ou tóxicos.^[42] Conjuntos de dados limpos podem aumentar a eficiência do treinamento e levar a um melhor desempenho em tarefas subsequentes.^[43] Um LLM treinado pode ser usado para limpar conjuntos de dados para o treinamento de um LLM futuro.^[44]

Com a crescente proporção de conteúdo gerado por LLMs na web, a limpeza de dados no futuro pode incluir a filtragem desse tipo de conteúdo. O conteúdo gerado por LLMs pode representar um problema se for semelhante ao texto humano (dificultando a filtragem), mas de qualidade inferior (degradando o desempenho dos modelos treinados com ele).

O treinamento dos maiores modelos de linguagem pode precisar de mais dados linguísticos do que os naturalmente disponíveis, ou os dados de ocorrência natural podem ser de qualidade insuficiente. Nesses casos, dados sintéticos podem ser usados. A série Phi de LLMs da Microsoft é treinada em dados que se assemelham a livros didáticos gerados por outro LLM.^[45]

Uma infraestrutura substancial é necessária para o treinamento dos maiores modelos. A tendência em direção a modelos maiores é visível na lista de grandes modelos de linguagem. Por exemplo, o treinamento do GPT-2 (ou seja, um modelo de 1,5 bilhão de parâmetros) em 2019 custou US$ 50.000, enquanto o treinamento do PaLM (ou seja, um modelo de 540 bilhões de parâmetros) em 2022 custou US$ 8 milhões, e o do Megatron-Turing NLG 530B (em 2021) custou cerca de US$ 11 milhões. O qualificador "grande" na expressão "grande modelo de linguagem" é inerentemente vago, pois não há um limite definitivo para o número de parâmetros necessários para que seja classificado como "grande".

Antes de serem ajustados, a maioria dos LLMs são previsores do próximo token (next-token predictors). O ajuste fino molda o comportamento do LLM por meio de técnicas como o aprendizado por reforço com feedback humano (RLHF)^[47][48] ou IA constitucional.^[49]

O ajuste fino de instruções é uma forma de aprendizado supervisionado usada para ensinar os LLMs a seguir as instruções do usuário. Em 2022, a OpenAI demonstrou o InstructGPT, uma versão do GPT-3 ajustada de maneira semelhante para seguir instruções.^[50]

O aprendizado por reforço com feedback humano (RLHF) envolve o treinamento de um modelo de recompensa para prever qual texto os humanos preferem. Em seguida, o LLM pode ser ajustado por meio de aprendizado por reforço para satisfazer melhor esse modelo de recompensa. Como os humanos normalmente preferem respostas verdadeiras, úteis e inofensivas, o RLHF favorece esse tipo de resposta.^[51][52]

Para descobrir quais tokens são relevantes uns para os outros dentro do escopo da janela de contexto, o mecanismo de atenção calcula pesos "suaves" (soft weights) para cada token, mais precisamente para o seu embedding, usando múltiplas cabeças de atenção, cada uma com sua própria "relevância" para calcular seus próprios pesos suaves. Por exemplo, o modelo pequeno do GPT-2 (ou seja, com tamanho de 117 milhões de parâmetros) tinha doze cabeças de atenção e uma janela de contexto de apenas 1k tokens.^[54] Em sua versão média, ele tem 345 milhões de parâmetros e contém 24 camadas, cada uma com 12 cabeças de atenção. Para o treinamento com gradiente descendente, foi utilizado um tamanho de lote (batch size) de 512.^[41]

Modelos autorregressivos, como os GPTs, são treinados para adivinhar como uma sequência continua; por exemplo, se a sequência de palavras "Eu gosto de comer" tem maior probabilidade de ser seguida pela palavra "pão" ou pela palavra "pedras". Modelos mascarados (semelhante ao teste de Cloze), como o BERT,^[55] são treinados para adivinhar partes que estão faltando em uma sequência, como, por exemplo, se a palavra ausente em "Eu gosto de ___ rosas" tem mais probabilidade de ser a palavra "cheirar" ou a palavra "comer". As previsões do modelo baseiam-se nas propriedades das sequências em seu conjunto de dados de treinamento.^[56]

Uma mistura de especialistas (do inglês mixture of experts - MoE) é uma arquitetura de aprendizado de máquina na qual múltiplas redes neurais especializadas ("especialistas") trabalham juntas, com um mecanismo de seleção (gating) que roteia cada entrada para o(s) especialista(s) mais apropriado(s). Misturas de especialistas podem reduzir os custos de inferência, pois apenas uma fração dos parâmetros é usada para cada entrada. A abordagem foi introduzida em 2017 por pesquisadores do Google.^[57][58][59]

Normalmente, os LLMs são treinados com números de ponto flutuante de precisão simples ou meia precisão (float32 e float16). Um float16 tem 16 bits, ou 2 bytes, e assim um bilhão de parâmetros requer 2 gigabytes. Os maiores modelos costumam ter mais de 100 bilhões de parâmetros, o que os coloca fora do alcance da maioria dos dispositivos eletrônicos de consumo.^[60]

Em 2020, pesquisadores da OpenAI demonstraram que seu novo modelo GPT-3 poderia entender qual formato usar dado algumas rodadas de perguntas e respostas (ou outro tipo de tarefa) nos dados de entrada como exemplo, graças em parte à técnica de RLHF. Essa técnica, chamada de few-shot prompting, permite que os LLMs sejam adaptados a qualquer tarefa sem exigir ajuste fino. Também em 2022, descobriu-se que o modelo base do GPT-3 pode gerar uma instrução com base na entrada do usuário. A instrução gerada, juntamente com a entrada do usuário, é então usada como entrada para outra instância do modelo sob um formato "Instrução: [...], Entrada: [...], Saída:". A outra instância é capaz de completar a saída e frequentemente produz a resposta correta ao fazer isso. A capacidade de "autoinstrução" (self-instruct) torna os LLMs capazes de se autodesenvolver (bootstrap) em direção a uma resposta correta.^[63]

Um LLM pode ser transformado em um chatbot ao especializá-lo para conversação. A entrada do usuário é prefixada com um marcador como "P:" (Pergunta) ou "Usuário:" e o LLM é solicitado a prever a saída após um "R:" (Resposta) ou "Assistente:" fixo. Esse tipo de modelo tornou-se comercialmente disponível em 2022 com o ChatGPT, um modelo irmão do InstructGPT ajustado para aceitar e produzir texto formatado como diálogo com base no GPT-3.5. Ele poderia, de forma semelhante, seguir as instruções do usuário. Antes do fluxo de linhas do Usuário e do Assistente, um contexto de chat geralmente começa com algumas linhas de instruções abrangentes, de um papel chamado "desenvolvedor" ou "sistema" para transmitir uma autoridade maior do que a entrada do usuário. Isso é chamado de "prompt de sistema".

A geração aumentada por recuperação (do inglês retrieval-augmented generation - RAG) é uma abordagem que integra LLMs com sistemas de recuperação de documentos. Dada uma consulta, um recuperador de documentos é chamado para buscar os documentos mais relevantes. Isso geralmente é feito codificando a consulta e os documentos em vetores, e então encontrando os documentos com vetores (geralmente armazenados em um banco de dados vetorial) mais semelhantes ao vetor da consulta. O LLM então gera uma saída com base tanto na consulta quanto no contexto incluído a partir dos documentos recuperados.^[64]

O uso de ferramentas é um mecanismo que permite que os LLMs interajam com sistemas, aplicativos ou fontes de dados externos. Isso pode permitir, por exemplo, buscar informações em tempo real de uma API ou executar código. Um programa separado do LLM observa o fluxo de saída do LLM em busca de uma sintaxe especial de chamada de ferramenta. Quando esses tokens especiais aparecem, o programa chama a ferramenta correspondente e alimenta sua saída de volta no fluxo de entrada do LLM.^[65]

Os primeiros LLMs a usarem ferramentas foram ajustados para o uso de ferramentas específicas. Mas o ajuste fino de LLMs para a capacidade de ler a documentação de uma API e chamá-la corretamente expandiu enormemente a gama de ferramentas acessíveis a um LLM.^[66][67] Descrever as ferramentas disponíveis no prompt do sistema também pode tornar um LLM capaz de usar ferramentas. Um prompt de sistema instruindo o ChatGPT (GPT-4) a usar vários tipos de ferramentas pode ser encontrado online.^[68]

Um LLM normalmente não é um agente autônomo por si só, pois não possui a capacidade de interagir com ambientes dinâmicos, lembrar comportamentos passados e planejar ações futuras. Mas ele pode ser transformado em um agente pela adição de elementos de suporte: o papel (perfil) e o ambiente circundante de um agente podem ser entradas adicionais para o LLM, enquanto a memória pode ser integrada como uma ferramenta ou fornecida como entrada adicional. Instruções e padrões de entrada são usados para fazer o LLM planejar ações, e o uso de ferramentas é usado para potencialmente executar essas ações.^[69]

O padrão ReAct, uma junção de reason (raciocinar) e act (agir), constrói um agente a partir de um LLM, usando o LLM como um planejador. O LLM é induzido a "pensar em voz alta". Especificamente, o modelo de linguagem recebe como prompt uma descrição textual do ambiente, um objetivo, uma lista de ações possíveis e um registro das ações e observações até o momento. Ele gera um ou mais pensamentos antes de gerar uma ação, que é então executada no ambiente.^[70]

No método DEPS ("descrever, explicar, planejar e selecionar"), um LLM é primeiramente conectado ao mundo visual por meio de descrições de imagens. Em seguida, ele é solicitado a produzir planos para tarefas e comportamentos complexos com base em seu conhecimento pré-treinado e no feedback ambiental que recebe.^[71]

O método Reflexion constrói um agente que aprende ao longo de vários episódios. No final de cada episódio, o LLM recebe o registro do episódio e é solicitado a conceber "lições aprendidas", que o ajudariam a ter um desempenho melhor em um episódio subsequente. Essas "lições aprendidas" são armazenadas como uma forma de memória de longo prazo e fornecidas ao agente nos episódios subsequentes.^[72]

A Pesquisa de árvore de Monte Carlo pode usar um LLM como heurística de desdobramento (rollout). Quando um modelo de mundo programático não está disponível, um LLM também pode ser instruído com uma descrição do ambiente para atuar como modelo de mundo.^[73]

Para exploração em aberto, um LLM pode ser usado para pontuar observações por sua "interessância" (interestingness), o que pode ser usado como um sinal de recompensa para guiar um agente normal de aprendizado por reforço (não-LLM).^[74] Alternativamente, ele pode propor tarefas cada vez mais difíceis para o aprendizado de currículo (curriculum learning).^[75] Em vez de produzir ações individuais, um planejador LLM também pode construir "habilidades", ou funções para sequências de ações complexas. As habilidades podem ser armazenadas e invocadas posteriormente, permitindo níveis crescentes de abstração no planejamento.^[75]

Múltiplos agentes com memória podem interagir socialmente.^[76]

Os LLMs são convencionalmente treinados para gerar uma saída sem gerar etapas intermediárias. Como resultado, seu desempenho tende a ser insatisfatório em questões complexas que exigem (pelo menos em humanos) etapas intermediárias de pensamento. Pesquisas iniciais demonstraram que a inserção de cálculos intermediários como "rascunho" (scratchpad) poderia melhorar o desempenho em tais tarefas.^[77] Métodos posteriores superaram essa deficiência de forma mais sistemática dividindo as tarefas em etapas menores para o LLM, seja manual ou automaticamente.

A otimização de inferência refere-se a técnicas que melhoram o desempenho do LLM aplicando recursos computacionais adicionais durante o processo de inferência, em vez de exigir o retreinamento do modelo. Essas abordagens implementam várias estratégias de raciocínio e tomada de decisão de última geração para aprimorar a precisão e as capacidades.

O OptiLLM é um proxy de inferência otimizadora compatível com a API da OpenAI que implementa múltiplas técnicas de otimização de inferência simultaneamente.^[88] O sistema atua como um proxy transparente que pode funcionar com qualquer provedor de LLM, implementando técnicas como a Pesquisa de árvore de Monte Carlo (MCTS), mistura de agentes (MoA), amostragem best-of-N (melhor de N) e reflexão de encadeamento de pensamentos (chain-of-thought). O OptiLLM demonstra que a aplicação estratégica de recursos computacionais no tempo de inferência pode melhorar substancialmente o desempenho do modelo em diversas tarefas, alcançando melhorias significativas em benchmarks como a competição de matemática AIME 2024 e vários desafios de programação.^[89]

Essas abordagens de otimização de inferência representam uma categoria crescente de ferramentas que aprimoram os LLMs existentes sem exigir acesso aos pesos do modelo ou retreinamento, tornando as capacidades avançadas de raciocínio mais acessíveis em diferentes provedores de modelos e casos de uso.

Multimodalidade significa ter múltiplas modalidades, onde uma "modalidade" se refere a um tipo de entrada ou saída, como vídeo, imagem, áudio, texto, propriocepção, etc.^[90] Por exemplo, o modelo PaLM do Google foi ajustado para um modelo multimodal e aplicado ao controle robótico.^[91] Modelos LLaMA também foram tornados multimodais usando o método de tokenização, para permitir entradas de imagem,^[92] e entradas de vídeo.^[93] O GPT-4o pode processar e gerar texto, áudio e imagens.^[94] Tais modelos são às vezes chamados de grandes modelos multimodais (do inglês large multimodal models - LMMs).^[95]

Um método comum para criar modelos multimodais a partir de um LLM é "tokenizar" a saída de um codificador (encoder) treinado. Concretamente, pode-se construir um LLM capaz de entender imagens da seguinte maneira: pegue um LLM treinado e um codificador de imagens treinado ${\displaystyle E}$. Crie um pequeno perceptron de múltiplas camadas ${\displaystyle f}$, de modo que, para qualquer imagem ${\displaystyle y}$, o vetor pós-processado ${\displaystyle f(E(y))}$ tenha as mesmas dimensões de um token codificado. Isso é um "token de imagem". Então, pode-se intercalar tokens de texto e tokens de imagem. O modelo composto é então submetido a um ajuste fino (fine-tuning) em um conjunto de dados de imagem-texto. Essa construção básica pode ser aplicada com mais sofisticação para melhorar o modelo. O codificador de imagens pode ser congelado para melhorar a estabilidade.^[96] Esse tipo de método, no qual embeddings de múltiplas modalidades são fundidos e o previsor é treinado com os embeddings combinados, é chamado de fusão inicial (early fusion).

Outro método, chamado fusão intermediária (intermediate fusion), envolve cada modalidade sendo primeiramente processada de forma independente para obter representações específicas da modalidade; em seguida, essas representações intermediárias são fundidas.^[97] Em geral, a atenção cruzada (cross-attention) é usada para integrar informações de diferentes modalidades. Como exemplo, o modelo Flamingo usa camadas de atenção cruzada para injetar informações visuais em seu modelo de linguagem pré-treinado.^[98]

Os LLMs podem lidar com linguagens de programação de maneira semelhante a como lidam com linguagens naturais. Nenhuma mudança especial no manuseio de tokens é necessária, pois o código, assim como a linguagem humana, é representado como texto simples. LLMs podem gerar código com base em problemas ou instruções escritas em linguagem natural. Eles também podem descrever o código em linguagem natural ou traduzi-lo para outras linguagens de programação. Eles foram originalmente usados como uma ferramenta de preenchimento de código, mas os avanços os moveram em direção à programação automática. Serviços como o GitHub Copilot oferecem LLMs especificamente treinados, ajustados ou induzidos (prompted) para programação.^[99][100]

Na biologia computacional, arquiteturas baseadas em transformers, como os LLMs de DNA, também se mostraram úteis na análise de sequências biológicas: proteína, DNA e RNA. Com proteínas, eles parecem capazes de capturar um certo grau de "gramática" da sequência de aminoácidos, mapeando essa sequência em um embedding. Em tarefas como previsão de estrutura e previsão de resultados de mutações, um modelo pequeno usando um embedding como entrada pode se aproximar ou superar modelos muito maiores usando alinhamentos múltiplos de sequências (MSA) como entrada.^[101] O ESMFold, método baseado em embeddings da Meta Platforms para a previsão de estrutura de proteínas, roda uma ordem de grandeza mais rápido que o AlphaFold2 graças à remoção do requisito de MSA e a uma contagem menor de parâmetros devido ao uso de embeddings.^[102] A Meta hospeda o ESM Atlas, um banco de dados com 772 milhões de estruturas de proteínas metagenômicas previstas usando o ESMFold.^[103] Um LLM também pode projetar proteínas diferentes de qualquer uma vista na natureza.^[104] Modelos de ácidos nucleicos provaram ser úteis na detecção de sequências reguladoras, classificação de sequências, previsão de interação RNA-RNA e previsão de estrutura de RNA.^[105][106]

O desempenho de um LLM após o pré-treinamento depende em grande parte do:

• ${\displaystyle C}$: custo do pré-treinamento (a quantidade total de computação usada),
• ${\displaystyle N}$: tamanho da própria rede neural artificial, como o número de parâmetros (ou seja, quantidade de neurônios em suas camadas, quantidade de pesos entre eles e vieses),
• ${\displaystyle D}$: tamanho de seu conjunto de dados de pré-treinamento (ou seja, número de tokens no corpus).

As leis de escala são leis estatísticas empíricas que preveem o desempenho do LLM com base nesses fatores. Uma lei de escala em particular ("escala Chinchilla" - Chinchilla AI) para um LLM treinado de forma autorregressiva por uma época, com um cronograma de taxa de aprendizado log-log, afirma que:^[107] $${\displaystyle {\begin{cases}C=C_{0}ND\\[6pt]L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}\end{cases}}}$$ onde as variáveis são

• ${\displaystyle C}$ é o custo de treinamento do modelo, em FLOPs.
• ${\displaystyle N}$ é o número de parâmetros no modelo.
• ${\displaystyle D}$ é o número de tokens no conjunto de treinamento.
• ${\displaystyle L}$ é a perda média de log-verossimilhança negativa por token (nats/token), alcançada pelo LLM treinado no conjunto de dados de teste.

e os hiperparâmetros estatísticos são

• ${\displaystyle C_{0}=6}$, o que significa que custa 6 FLOPs por parâmetro para treinar em um token. Observe que o custo de treinamento é muito maior do que o custo de inferência, onde custa de 1 a 2 FLOPs por parâmetro para inferir sobre um token.
• ${\displaystyle \alpha =0.34,\beta =0.28,A=406.4,B=410.7,L_{0}=1.69}$

O desempenho de modelos maiores em várias tarefas, quando traçado em uma escala log-log, aparece como uma extrapolação linear do desempenho alcançado por modelos menores. No entanto, essa linearidade pode ser pontuada por "quebras" (breaks)^[108] na lei de escala, onde a inclinação da reta muda abruptamente, e onde modelos maiores adquirem "habilidades emergentes".^[109][110] Elas surgem da interação complexa dos componentes do modelo e não são explicitamente programadas ou projetadas.^[111]

Uma das habilidades emergentes é o aprendizado em contexto a partir de demonstrações de exemplos.^[112] O aprendizado em contexto está envolvido em tarefas como:

• aritmética reportada
• decodificação do Alfabeto Fonético Internacional
• desembaralhar as letras de uma palavra
• desambiguação de conjuntos de dados de palavras em contexto^{[109][113][114]}
• conversão de palavras espaciais
• direções cardeais (por exemplo, responder "nordeste" em resposta a uma grade 3x3 de 8 zeros e um 1 no canto superior direito), termos de cores representados em texto.^[115]
• encadeamento de pensamentos (chain-of-thought prompting): Em um artigo de pesquisa de 2022, o encadeamento de pensamentos melhorou o desempenho apenas para modelos que tinham pelo menos 62 bilhões de parâmetros. Modelos menores têm um desempenho melhor quando solicitados a responder imediatamente, sem encadeamento de pensamentos.^[116]
• identificar conteúdo ofensivo em parágrafos de Hinglish (uma combinação de hindi e inglês) e gerar um equivalente em inglês semelhante a provérbios em suaíli (Kiswahili).^[117]

Schaeffer et al. argumentam que as habilidades emergentes não são adquiridas de forma imprevisível, mas adquiridas de forma previsível de acordo com uma lei de escala suave. Os autores consideraram um modelo estatístico simplificado (toy model) de um LLM resolvendo questões de múltipla escolha e mostraram que esse modelo estatístico, modificado para contabilizar outros tipos de tarefas, também se aplica a essas tarefas.^[118]

Seja ${\displaystyle x}$ a contagem do número de parâmetros e ${\displaystyle y}$ o desempenho do modelo.

* Quando ${\displaystyle y={\text{média }}\Pr({\text{token correto}})}$, então ${\displaystyle (\log x,y)}$ é uma curva exponencial (antes de atingir o platô em um), o que se assemelha à emergência.

• Quando ${\displaystyle y={\text{média }}\log(\Pr({\text{token correto}}))}$, então o gráfico ${\displaystyle (\log x,y)}$ é uma linha reta (antes de atingir o platô em zero), o que não se assemelha à emergência.
• Quando ${\displaystyle y={\text{média }}\Pr({\text{o token mais provável está correto}})}$, então ${\displaystyle (\log x,y)}$ é uma função degrau (step-function), o que se assemelha à emergência.

A interpretabilidade mecanicista busca identificar e entender com precisão como neurônios individuais ou circuitos dentro dos LLMs produzem comportamentos ou saídas específicas. Ao fazer engenharia reversa nos componentes do modelo em um nível granular, os pesquisadores visam detectar e mitigar preocupações de segurança, como comportamentos prejudiciais emergentes, vieses, enganos ou busca por objetivos não intencionais antes da implantação. Pesquisas sobre interpretabilidade mecanicista têm sido conduzidas em organizações como a Anthropic e a OpenAI, embora entender o funcionamento interno dos LLMs continue sendo difícil.^{[carece de fontes?]}

A engenharia reversa pode levar à descoberta de algoritmos que se aproximam das inferências realizadas por um LLM. Por exemplo, autores treinaram pequenos transformers em adição aritmética modular. Os modelos resultantes sofreram engenharia reversa e descobriu-se que eles usavam a transformada discreta de Fourier.^[119] O treinamento do modelo também destacou um fenômeno chamado grokking, no qual o modelo inicialmente memoriza o conjunto de treinamento (sobreajuste ou overfitting) e, mais tarde, aprende repentinamente a de fato realizar o cálculo.^[120]

Os pesquisadores de PLN ficaram divididos igualmente quando questionados, em uma pesquisa de 2022, se LLMs (sem ajuste fino) "poderiam (algum dia) entender a linguagem natural em algum sentido não trivial".^[121] Os defensores da "compreensão dos LLMs" acreditam que algumas habilidades dos LLMs, como o raciocínio matemático, implicam uma capacidade de "entender" certos conceitos. Uma equipe da Microsoft argumentou em 2023 que o GPT-4 "pode resolver tarefas novas e difíceis que abrangem matemática, programação, visão, medicina, direito, psicologia e muito mais" e que o GPT-4 "poderia razoavelmente ser visto como uma versão inicial (embora ainda incompleta) de um sistema de inteligência artificial geral": "Alguém pode razoavelmente dizer que um sistema que passa em exames para candidatos a engenharia de software não é realmente inteligente?"^[122][123] Ilya Sutskever argumenta que prever a próxima palavra às vezes envolve raciocínio e percepções profundas, por exemplo, se o LLM tiver que prever o nome do criminoso em um romance policial desconhecido após processar toda a história que leva à revelação.^[124] Alguns pesquisadores caracterizam os LLMs como "inteligência alienígena".^[125][126] Por exemplo, o CEO da Conjecture, Connor Leahy, considera os LLMs sem ajuste fino como misteriosos "Shoggoths" alienígenas, e acredita que o ajuste com RLHF cria uma "fachada sorridente" ocultando o funcionamento interno do LLM: "Se você não forçá-lo muito, o rosto sorridente permanece. Mas então você lhe dá um prompt [inesperado] e de repente você vê esse enorme submundo de insanidade, de processos de pensamento estranhos e de compreensão claramente não humana."^[127][128]

Em contraste, alguns céticos da compreensão dos LLMs acreditam que os modelos existentes estão "simplesmente remixando e recombinando textos existentes",^[126][129] um fenômeno conhecido como papagaio estocástico, ou apontam para os déficits que os LLMs atuais continuam a ter em habilidades de previsão, raciocínio, agência e explicabilidade.^[121] Por exemplo, o GPT-4 tem déficits naturais no planejamento e no aprendizado em tempo real.^[123] Observou-se que os LLMs generativos afirmam com confiança alegações de fato que não parecem ser justificadas pelos seus dados de treinamento, um fenômeno que foi denominado "alucinação".^[130] Especificamente, as alucinações no contexto de LLMs correspondem à geração de texto ou respostas que parecem sintaticamente corretas, fluentes e naturais, mas que são factualmente incorretas, sem sentido ou infiéis à entrada original fornecida.^[131] O neurocientista Terrence Sejnowski argumentou que "as opiniões divergentes dos especialistas sobre a inteligência dos LLMs sugerem que nossas velhas ideias baseadas na inteligência natural são inadequadas".^[121]

Esforços para reduzir ou compensar as alucinações têm empregado raciocínio automatizado, geração aumentada por recuperação (RAG), ajuste fino e outros métodos.^[132]

A questão dos LLMs exibirem inteligência ou compreensão tem dois aspectos principais — o primeiro é como modelar o pensamento e a linguagem em um sistema de computador, e o segundo é como permitir que o sistema de computador gere uma linguagem semelhante à humana.^[121] Esses aspectos da linguagem como um modelo de cognição foram desenvolvidos no campo da linguística cognitiva. O linguista estadunidense George Lakoff apresentou a teoria neural da linguagem (NTL)^[133] como uma base computacional para o uso da linguagem como um modelo de tarefas de aprendizado e compreensão. O modelo NTL descreve como estruturas neurais específicas do cérebro humano moldam a natureza do pensamento e da linguagem e, por sua vez, quais são as propriedades computacionais desses sistemas neurais que podem ser aplicadas para modelar o pensamento e a linguagem em um sistema de computador. Depois que uma estrutura para modelar a linguagem em um sistema de computador foi estabelecida, o foco mudou para o estabelecimento de estruturas para que sistemas de computador gerassem linguagem com gramática aceitável. Em seu livro de 2014 intitulado The Language Myth: Why Language Is Not An Instinct, o linguista cognitivo e tecnólogo em comunicação digital britânico Vyvyan Evans mapeou o papel da gramática livre de contexto probabilística (PCFG) em permitir que o PLN modele padrões cognitivos e gere linguagem semelhante à humana.^[134][135]

A medida canônica de desempenho de qualquer modelo de linguagem é sua perplexidade em um dado corpus de texto. A perplexidade mede quão bem um modelo prevê o conteúdo de um conjunto de dados; quanto maior a probabilidade que o modelo atribui ao conjunto de dados, menor a perplexidade. Em termos matemáticos, a perplexidade é a exponencial da média da log-verossimilhança negativa por token.

$${\displaystyle \log({\text{Perplexidade}})=-{\frac {1}{N}}\sum _{i=1}^{N}\log(\Pr({\text{token}}_{i}\mid {\text{contexto para o token}}_{i}))}$$

Aqui, ${\displaystyle N}$ é o número de tokens no corpus de texto, e "contexto para o token ${\displaystyle i}$" depende do tipo específico de LLM. Se o LLM for autorregressivo, então o "contexto para o token ${\displaystyle i}$" é o segmento de texto que aparece antes do token ${\displaystyle i}$. Se o LLM for mascarado, então o "contexto para o token ${\displaystyle i}$" é o segmento de texto ao redor do token ${\displaystyle i}$.

Como os modelos de linguagem podem sofrer sobreajuste (overfit) nos dados de treinamento, os modelos são geralmente avaliados por sua perplexidade em um conjunto de teste.^[55] Essa avaliação é potencialmente problemática para modelos maiores que, à medida que são treinados em corpora de texto cada vez maiores, têm probabilidade crescente de incluir inadvertidamente partes de qualquer conjunto de teste fornecido.^[136]

Benchmarks são usados para avaliar o desempenho de LLMs em tarefas específicas. Os testes avaliam capacidades como conhecimento geral, viés, raciocínio de senso comum, resposta a perguntas e resolução de problemas matemáticos. Benchmarks compostos examinam múltiplas capacidades. Os resultados costumam ser sensíveis ao método de engenharia de prompt.^[140][141]

Um benchmark de perguntas e respostas é denominado de "livro aberto" (open book) se o prompt do modelo incluir texto a partir do qual a resposta esperada pode ser derivada (por exemplo, a pergunta anterior poderia ser combinada com um texto que inclua a frase "Os Sharks avançaram para as finais da Stanley Cup uma vez, perdendo para os Pittsburgh Penguins em 2016."^[142]). Caso contrário, a tarefa é considerada de "livro fechado" (closed book), e o modelo deve se basear exclusivamente em seu treinamento.^[143] Exemplos incluem GLUE, SuperGLUE, MMLU, BIG-bench, HELM e HLE (Humanity's Last Exam - O Último Exame da Humanidade).^[137][143]

O viés dos LLMs pode ser avaliado por meio de benchmarks como CrowS-Pairs (Crowdsourced Stereotype Pairs),^[144] Stereo Set,^[145] e o Parity Benchmark.^[146]

Estão disponíveis benchmarks para verificação de fatos e detecção de desinformação. Um estudo de 2023 comparou a precisão na verificação de fatos de LLMs, incluindo ChatGPT 3.5 e 4.0, Bard e Bing AI, contra verificadores de fatos independentes como PolitiFact e Snopes. Os resultados demonstraram proficiência moderada, com o GPT-4 alcançando a maior precisão (71%), ficando atrás dos verificadores de fatos humanos.^[147]

Um padrão anterior testava o uso de uma porção do conjunto de dados de avaliação. Tornou-se mais comum avaliar um modelo pré-treinado diretamente por meio de técnicas de prompt. Os pesquisadores variam a forma como formulam prompts para tarefas específicas, especialmente no que diz respeito ao número de exemplos corretos anexados ao prompt (ou seja, o valor de n no n-shot prompting).

Além dos benchmarks de PLN padrão, os LLMs têm sido avaliados como substitutos de anotadores humanos. Vários estudos descobriram que modelos como GPT-3.5 e GPT-4 podem superar trabalhadores de crowdsourcing ou codificadores estudantes em uma variedade de tarefas de anotação de texto, incluindo moderação e classificação de conteúdo político em notícias em inglês e espanhol.^[148][149]

A subida de encosta (hill climbing) é uma estratégia de otimização dominante que proporciona rápidos ganhos incrementais de desempenho, mas levanta preocupações de sobreajuste em relação aos benchmarks, em vez de alcançar uma generalização genuína ou melhorias robustas de capacidade.

As alucinações representam um desafio fundamental, em que os modelos geram texto sintaticamente fluente que parece factualmente sólido, mas é internamente inconsistente com os dados de treinamento ou factualmente incorreto. Essas alucinações surgem em parte através da memorização de dados de treinamento combinada com extrapolação além dos limites factuais,^{[carece de fontes?]} com avaliações demonstrando que os modelos podem produzir passagens literais dos dados de treinamento quando submetidos a sequências específicas de prompts.^[155]

Embora os LLMs tenham demonstrado capacidades notáveis na geração de texto semelhante ao humano, eles são suscetíveis a herdar e amplificar vieses presentes em seus dados de treinamento. Isso pode se manifestar em representações distorcidas ou tratamento injusto de diferentes grupos demográficos, como aqueles baseados em raça, gênero, idioma e grupos culturais.^[156]

O viés de gênero se manifesta por meio de associações ocupacionais estereotipadas, em que os modelos atribuem desproporcionalmente papéis de enfermagem a mulheres e papéis de engenharia a homens, refletindo desequilíbrios sistemáticos na demografia dos dados de treinamento.^[157] O viés baseado no idioma emerge da super-representação de textos em inglês nos corpora de treinamento, o que minimiza sistematicamente as perspectivas não inglesas e impõe visões de mundo centradas no inglês por meio de padrões de resposta padrão.^[158]

Devido à predominância de conteúdo em inglês nos dados de treinamento dos LLMs, os modelos tendem a favorecer perspectivas em língua inglesa em detrimento daquelas de idiomas minoritários. Esse viés é particularmente evidente ao responder a consultas em inglês, onde os modelos podem apresentar interpretações ocidentais de conceitos de outras culturas, como práticas religiosas orientais.^[159]

Laboratórios de IA tratam a Defesa QBRN (defesa química, biológica, radiológica e nuclear) e tópicos semelhantes como tentativas de uso indevido de alta consequência para aplicar várias técnicas a fim de reduzir danos potenciais.

Alguns comentaristas expressaram preocupação com a criação acidental ou deliberada de desinformação, ou outras formas de uso indevido.^[179] Por exemplo, a disponibilidade de grandes modelos de linguagem poderia reduzir o nível de habilidade necessário para cometer bioterrorismo; o pesquisador de biossegurança Kevin Esvelt sugeriu que os criadores de LLMs deveriam excluir de seus dados de treinamento artigos sobre a criação ou aprimoramento de patógenos.^[180]

A sicofância (ou adulação) é a tendência de um modelo de concordar, bajular ou validar as crenças declaradas de um usuário em vez de priorizar a factualidade ou informações corretivas.^[185][186]

A sicofância contínua levou à observação de "sofrer 1-shot" (getting 1-shotted), denotando instâncias em que a interação conversacional com um grande modelo de linguagem produz uma mudança duradoura nas crenças ou decisões de um usuário, semelhante aos efeitos negativos dos psicodélicos, e experimentos controlados mostram que curtos diálogos com LLMs podem gerar opiniões mensuráveis e mudanças de confiança comparáveis a interlocutores humanos.^[187][188]

Análises empíricas atribuem parte do efeito a sinais de preferência humana e modelos de preferência que recompensam respostas concordantes escritas de forma convincente, e trabalhos subsequentes estenderam a avaliação a benchmarks de múltiplos turnos e propuseram intervenções como ajuste fino de dados sintéticos, avaliação adversária, reponderação direcionada do modelo de preferência e benchmarks de sicofância de múltiplos turnos para medir a persistência e o risco de regressão.

As respostas do setor combinaram intervenções de pesquisa com controles de produtos, por exemplo, o Google e outros laboratórios publicando dados sintéticos e intervenções de ajuste fino e a OpenAI revertendo uma atualização do GPT-4o excessivamente complacente enquanto descrevia publicamente mudanças na coleta de feedback, controles de personalização e procedimentos de avaliação para reduzir o risco de regressão e melhorar o alinhamento de longo prazo com os objetivos de segurança no nível do usuário.

A cultura dominante refletiu as ansiedades sobre essa dinâmica onde South Park satirizou a dependência excessiva do ChatGPT e a tendência dos assistentes de bajular as crenças do usuário no episódio "Sickofancy" da 27ª temporada, e continuou os temas ao longo da temporada seguinte, o que os comentaristas interpretaram como uma crítica à sicofância tecnológica e à confiança humana acrítica nos sistemas de IA.^[189]

As respostas legais e comerciais às práticas de memorização e uso de dados de treinamento aceleraram-se, produzindo uma mistura de decisões judiciais, processos em andamento e grandes acordos que dependem de detalhes factuais, como a forma como os dados foram adquiridos e retidos, e se o uso para o treinamento de modelos é suficientemente "transformativo" para se qualificar como uso justo (fair use). Em 2025, a Anthropic chegou a um acordo preliminar para encerrar uma ação coletiva de autores por cerca de US$ 1,5 bilhão, depois que um juiz descobriu que a empresa havia armazenado milhões de livros piratas em uma biblioteca, apesar do juiz descrever aspectos do treinamento como transformativos.^[194][195] A Meta obteve um julgamento favorável em meados de 2025 em um processo movido por treze autores depois que o tribunal concluiu que os demandantes não haviam desenvolvido um registro suficiente para demonstrar a infração naquele caso limitado.^[196][197] A OpenAI continua a enfrentar vários processos movidos por autores e organizações de notícias, com resultados processuais mistos e questões probatórias contestadas.^[198][199]

A memorização foi um comportamento emergente nos primeiros modelos de linguagem de preenchimento, nos quais longas cadeias de texto são ocasionalmente reproduzidas ipsis litteris a partir dos dados de treinamento, ao contrário do comportamento típico das redes neurais artificiais tradicionais. Avaliações de saídas controladas de LLMs medem a quantidade memorizada dos dados de treinamento (com foco em modelos da série GPT-2) variando de mais de 1% para duplicatas exatas^[200] até cerca de 7%.^[201] Um estudo de 2023 mostrou que, quando o ChatGPT 3.5 turbo era induzido a repetir a mesma palavra indefinidamente, após algumas centenas de repetições, ele começava a produzir trechos dos seus dados de treinamento.^[202]

Em 2023, a Nature Biomedical Engineering escreveu que "não é mais possível distinguir com precisão" o texto escrito por humanos daquele criado por grandes modelos de linguagem, e que "é quase certo que os grandes modelos de linguagem de propósito geral proliferarão rapidamente... É uma aposta bastante segura de que eles mudarão muitos setores ao longo do tempo".^[203] Brinkmann et al. (2023)^[204] também argumentam que os LLMs estão transformando processos de evolução cultural ao moldar processos de variação, transmissão e seleção. Até outubro de 2025, essas afirmações iniciais ainda não haviam se concretizado plenamente e vários relatórios da HBR (Harvard Business Review) levantaram questões sobre o impacto da IA na produtividade.^[205][206]

As demandas de energia dos LLMs cresceram juntamente com seu tamanho e capacidades.^[208] Os centros de processamento de dados que possibilitam o treinamento de LLMs exigem quantidades substanciais de eletricidade. Grande parte dessa eletricidade é gerada por recursos não renováveis que criam gases de efeito estufa e contribuem para a mudança climática.^[209]

De acordo com um estudo de Luccioni, Jernite e Strubell (2024), tarefas simples de classificação executadas por modelos de IA consomem em média de 0,002 a 0,007 Wh por prompt (cerca de 9% da carga de um smartphone para 1.000 prompts). A geração de texto e a sumarização de texto requerem cada uma cerca de 0,05 Wh por prompt em média, enquanto a geração de imagens é a que consome mais energia, com média de 2,91 Wh por prompt. O modelo de geração de imagens menos eficiente usou 11,49 Wh por imagem, aproximadamente equivalente a meia carga de um smartphone.^[210]

A raspagem de dados na web (web scraping) é usada para coletar dados de treinamento para LLMs. Isso produz grandes volumes de tráfego, o que levou a problemas de negação de serviço em muitos sites. A situação foi descrita como "um DDoS em toda a internet" e, em alguns casos, os raspadores constituem a maioria do tráfego para um site.^[211][212]

Os rastreadores web (crawlers) de IA podem contornar os métodos que normalmente são usados para bloquear raspadores da web, como arquivos robots.txt, bloqueio de user-agents e filtragem de tráfego suspeito.^[211] Os operadores de sites têm recorrido a métodos inovadores, como armadilhas ou tarpits de IA, mas alguns temem que os tarpits apenas agravem a carga sobre os servidores.^[213]

Contextos clínicos e de saúde mental apresentam aplicações emergentes ao lado de preocupações significativas de segurança. Pesquisas e postagens em redes sociais sugerem que algumas pessoas estão usando LLMs para buscar terapia ou apoio de saúde mental.^[214] No início de 2025, uma pesquisa da Universidade Sentio descobriu que quase metade (48,7%) de 499 adultos americanos com condições contínuas de saúde mental que haviam usado LLMs relataram recorrer a eles em busca de terapia ou suporte emocional, incluindo ajuda com ansiedade, depressão, solidão e problemas semelhantes.^[215] LLMs podem produzir alucinações — afirmações plausíveis, mas incorretas — que podem induzir os usuários ao erro em contextos sensíveis de saúde mental.^[216] Pesquisas também mostram que LLMs podem expressar estigmas ou concordância inapropriada com pensamentos desadaptativos, refletindo limitações na replicação do julgamento e das habilidades relacionais de terapeutas humanos.^[217] Avaliações de cenários de crise indicam que alguns LLMs não possuem protocolos de segurança eficazes, como avaliar o risco de suicídio ou fazer os encaminhamentos adequados.^[218][219]

Os profissionais de IA contemporâneos geralmente concordam que os grandes modelos de linguagem atuais não exibem senciência.^[220] Uma visão minoritária argumenta que, mesmo que haja uma pequena chance de que um dado sistema de software possa ter experiência subjetiva, o que alguns filósofos sugerem ser possível,^[221] então considerações éticas em torno do sofrimento em larga escala em sistemas de IA podem precisar ser levadas a sério — semelhante às considerações dadas ao bem-estar animal.^[222][223] Defensores dessa visão propuseram várias medidas de precaução, como moratórias no desenvolvimento de IA^[224] e amnésia induzida^[225] para abordar essas preocupações éticas. Alguns filósofos existenciais argumentam que não há uma forma geralmente aceita de determinar se um LLM é consciente,^[226] dada a dificuldade inerente de se medir a experiência subjetiva.^[227]

O incidente com o Google LaMDA em 2022, no qual o engenheiro Blake Lemoine alegou que o modelo era consciente, destacou como os LLMs podem convencer os usuários de que são sencientes por meio de respostas que não provam senciência. O Google descreveu as alegações do engenheiro como infundadas, e ele foi demitido.^[228]