Transformador pré-treinado generativo

Um transformador pré-treinado generativo ( GPT ) é um tipo de modelo de linguagem grande (LLM) ^[1][2][3] e uma estrutura proeminente para inteligência artificial generativa .^[4][5] É uma rede neural artificial que é usada no processamento de linguagem natural .^[6] Baseia-se na arquitetura de aprendizagem profunda do transformador, pré-treinada em grandes conjuntos de dados de texto não rotulado e capaz de gerar novos conteúdos semelhantes aos humanos.^[2][3] Em 2023, a maioria dos LLMs apresentava essas características^[7] e às vezes são chamados amplamente de GPTs.^[8]

O primeiro GPT foi introduzido em 2018 pela OpenAI .^[9] A OpenAI lançou modelos de base GPT significativos que foram numerados sequencialmente para compor sua série "GPT- n ".^[10] Cada um deles era significativamente mais capaz que o anterior, devido ao aumento do tamanho (número de parâmetros treináveis) e do treinamento. O mais recente deles, o GPT-4o, foi lançado em maio de 2024.^[11] Esses modelos têm sido a base para seus sistemas GPT mais específicos para tarefas, incluindo modelos ajustados para seguir instruções — que por sua vez alimentam o serviço de chatbot ChatGPT .^[1]

O termo "GPT" (sigla para "Generative Pre-trained Transformer") também é utilizado nos nomes e nas descrições de modelos de linguagem de grande escala semelhantes, desenvolvidos por outras organizações ou empresas além da OpenAI, que criou o conceito original. Esses modelos, que compartilham características arquiteturais ou funcionais com o GPT, são frequentemente nomeados ou descritos com o termo "GPT" para indicar sua natureza de transformadores pré-treinados voltados para tarefas de geração de texto ou outras aplicações de inteligência artificial. Por exemplo, outros modelos de fundação GPT incluem uma série de modelos criados pela EleutherAI,^[12] e sete modelos criados pela Cerebras em 2023.^[13] Empresas de diferentes indústrias desenvolveram GPTs específicos para tarefas em seus respectivos campos, como o "EinsteinGPT" da Salesforce (para CRM ) ^[14] e o "BloombergGPT" da Bloomberg (para finanças).^[15]