Modelos de linguagem de pequena escala

Modelos de linguagem de pequena escala ou modelos de linguagem pequenos (SLMs, do inglês small language models) são modelos de linguagem desenvolvidos para tarefas humanas de processamento de linguagem natural (natural language processing, ou NLP), como geração e classificação de texto.^[1][2][3][4] Ao contrário dos modelos de linguagem de grande escala (large language models, ou LLMs), os SLMs são consideravelmente menores em termos de escala (tamanho do modelo) e escopo (capacidade e complexidade das tarefas que conseguem executar).^{[5][6][7][8][9]}

Normalmente, o número de parâmetros de treinamento (valores ajustáveis que definem o comportamento do modelo) de um LLM está na casa das centenas de bilhões, com alguns modelos ultrapassando um trilhão de parâmetros.^[5][7][10] O tamanho de qualquer LLM é vasto porque ele contém uma grande quantidade de informação aprendida durante o treinamento, o que permite gerar conteúdos de maior qualidade.^[6][9][10] No entanto, isso requer enorme poder computacional (capacidade de processamento de dados), tornando inviável para uma pessoa treinar um modelo de linguagem grande usando somente um computador pessoal e uma GPU (graphics processing unit, unidade de processamento gráfico usada para acelerar cálculos intensivos).^[11][9][12]

Por outro lado, modelos de linguagem de pequena escala utilizam muito menos parâmetros, variando geralmente entre alguns milhões e alguns bilhões, o que os torna mais viáveis para treinamento (ajustar os parâmetros com dados) e hospedar (executar o modelo) em ambientes com recursos limitados, como um único computador ou até mesmo um dispositivo móvel.^{[2][3][8][13][14]}

Um exemplo de implementação de SLMs é utilizando linguagem de programação Python^[15] e bibliotecas amplamente utilizadas como: Hugging Face Transformers (biblioteca que permite treinar ou adaptar modelos pequenos como DistilBERT, TinyBERT, ALBERT, entre outros),^[16][17] PyTorch^[18] e TensorFlow^[19] (estruturas de aprendizado de máquina profundo que fornecem infraestrutura para construir SLMs) e Optimum^[20] (ferramenta de otimização para implantar modelos eficientes em diferentes hardwares).^[21][22]

• Inteligência artificial generativa
• Alucinação (inteligência artificial)
• Modelo de linguagem
• Modelos de linguagem de grande escala
• Aprendizado de máquina
• Redes neurais artificiais
• Processamento de linguagem natural