Papagaio estocástico

Na aprendizagem de máquina, o termo papagaio estocástico é uma metáfora para descrever a afirmação de que modelos de linguagem em grande escala (LLMs), embora capazes de gerar linguagem plausível, não entendem o significado da linguagem que processam.[1][2] O termo foi cunhado por Emily M. Bender[2][3] em artigo sobre inteligência artificial publicado em 2021 "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜", escrito por Bender, Timnit Gebru, Angelina McMillan-Major e Margaret Mitchell.[4]

Origem e definição

O termo foi usado pela primeira vez no artigo "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜" por Bender, Timnit Gebru, Angelina McMillan-Major e Margaret Mitchell (sob o pseudônimo "Shmargaret Shmitchell").[4][5] As autoras argumentaram que modelos de linguagem em grande escala (LLMs) apresentam riscos como custos ambientais e financeiros, inescrutabilidade que leva a enviesamentos desconhecidos, alucinações e incapacidade em compreender os conceitos subjacentes ao que aprendem.[6]

Etimologia

A palavra "estocástico" — do grego antigo "stokhastikos" — é um termo da teoria da probabilidade que significa "determinado aleatoriamente".[7] A palavra "papagaio" refere-se à capacidade dos papagaios em imitar a fala humana, sem compreender seu significado.[7]

Propósito

No artigo que originou o termo, Bender e suas colaboradoras argumentam que os LLMs vinculam probabilisticamente palavras e frases sem considerar seu significado. Portanto, são rotulados como meros "papagaios estocásticos".[4] De acordo com os profissionais de aprendizagem de máquina Lindholm, Wahlström, Lindsten e Schön, a analogia destaca duas limitações vitais:[1][8]

  • Os LLMs são limitados pelos dados com os quais são treinados e simplesmente repetem estocasticamente o conteúdo dos conjuntos de dados.
  • Como estão apenas criando saídas com base em dados de treinamento, os LLMs não entendem se estão dizendo algo incorreto ou inapropriado.

Lindholm et al. observaram que, com conjuntos de dados de baixa qualidade com outras limitações, a aprendizagem de máquina pode produzir resultados "perigosamente errados".[1]

Envolvimento do Google

O Google pediu a Gebru que retratasse o artigo ou removesse os nomes de funcionários do Google. De acordo com Jeff Dean, o artigo "não atendeu aos nossos padrões de publicação". Em resposta, Gebru, que era funcionária da companhia na época, listou condições a serem cumpridas para isso, afirmando que, caso contrário, ela não desejaria mais continuar da empresa. Dean escreveu que uma dessas condições era que o Google divulgasse os revisores do artigo e seus comentários, o que foi recusado. Logo após, Gebru recebeu um e-mail dizendo que o Google estava "aceitando sua demissão", o que desencadeou protestos pois parte dos funcionários da companhia acreditavam que a intenção era censurar as críticas de Gebru.[9]

Uso subsequente

Em julho de 2021, o Instituto Alan Turing organizou uma palestra e um painel de discussão sobre o artigo.[10] Desde setembro de 2024 (2024 -09), o artigo foi citado em 4.789 publicações[11] e o termo tem sido usado em publicações nas áreas de direito,[12] gramática,[13] narrativa,[14] e humanidades.[15] Os autores continuam a manter suas preocupações sobre os perigos dos chatbots baseados em modelos de linguagem de grande escala, como o GPT-4.[16]

O termo "papagaio estocástico" é agora um neologismo usado pelos céticos em inteligência artificial (IA) para se referir à falta de compreensão das máquinas sobre o significado dos seus resultados e é por vezes interpretado como um "insulto contra a IA".[7] Seu uso se expandiu ainda mais quando Sam Altman, CEO da Open AI, usou o termo ironicamente quando tuitou: "eu sou um papagaio estocástico e você também."[7] O termo foi então designado como a Palavra do Ano de 2023 relacionada à IA pela American Dialect Society, ganhando mais destaque até mesmo que as palavras "ChatGPT" e "LLM".[7][17]

A frase é frequentemente usada por alguns pesquisadores para descrever os LLMs como identificadores de padrões que podem gerar textos plausíveis semelhantes aos humanos por meio de sua vasta quantidade de dados de treinamento, apenas repetindo de forma estocástica. No entanto, outros investigadores argumentam que os LLM são, de fato, pelo menos parcialmente capazes de compreender a linguagem.[18]

Ver também

Referências

  1. ↑ a b c Lindholm, A.; Wahlström, N.; Lindsten, F.; Schön, T. B. (2022). Machine Learning: A First Course for Engineers and Scientists (em inglês). [S.l.]: Cambridge University Press. pp. 322–323. ISBN 978-1108843607 
  2. ↑ a b Uddin, Muhammad Saad (20 de abril de 2023). «Stochastic Parrots: A Novel Look at Large Language Models and Their Limitations». Towards AI (em inglês). Consultado em 12 de maio de 2023 
  3. ↑ Weil, Elizabeth (1 de março de 2023). «You Are Not a Parrot». New York (em inglês). Consultado em 12 de maio de 2023 
  4. ↑ a b c Bender, Emily M.; Gebru, Timnit; McMillan-Major, Angelina; Mitchell, Margaret (1 de março de 2021). «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜». Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency. Col: FAccT '21 (em inglês). New York, NY, USA: Association for Computing Machinery. pp. 610–623. ISBN 978-1-4503-8309-7. doi:10.1145/3442188.3445922Acessível livremente 
  5. ↑ «Chatbots entendem o que escrevem? Esses cientistas dizem que sim». Estadão. Consultado em 27 de junho de 2025 
  6. ↑ Hao, Karen (4 de dezembro de 2020). «We read the paper that forced Timnit Gebru out of Google. Here's what it says.». MIT Technology Review (em inglês). Consultado em 12 de janeiro de 2022. Arquivado do original em 6 de outubro de 2021 
  7. ↑ a b c d e Zimmer, Ben. «'Stochastic Parrot': A Name for AI That Sounds a Bit Less Intelligent». Wall Street Journal (em inglês). Consultado em 1 de abril de 2024 
  8. ↑ Uddin, Muhammad Saad (20 de abril de 2023). «Stochastic Parrots: A Novel Look at Large Language Models and Their Limitations». Towards AI (em inglês). Consultado em 12 de maio de 2023 
  9. ↑ Lyons, Kim (5 de dezembro de 2020). «Timnit Gebru's actual paper may explain why Google ejected her». The Verge (em inglês) 
  10. ↑ Weller, Adrian (13 de julho de 2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜 (video) (em inglês). Alan Turing Institute 
  11. ↑ «Bender: On the Dangers of Stochastic Parrots». Google Scholar. Consultado em 12 de maio de 2023 
  12. ↑ Arnaudo, Luca (20 de abril de 2023). «Artificial Intelligence, Capabilities, Liabilities: Interactions in the Shadows of Regulation, Antitrust – And Family Law». SSRN (em inglês). doi:10.2139/ssrn.4424363Acessível livremente 
  13. ↑ Bleackley, Pete; BLOOM (2023). «In the Cage with the Stochastic Parrot». Speculative Grammarian (em inglês). CXCII (3). Consultado em 13 de maio de 2023 
  14. ↑ Gáti, Daniella (2023). «Theorizing Mathematical Narrative through Machine Learning.». Project MUSE. Journal of Narrative Theory (em inglês). 53 (1): 139–165. doi:10.1353/jnt.2023.0003 
  15. ↑ Rees, Tobias (2022). «Non-Human Words: On GPT-3 as a Philosophical Laboratory». Daedalus (em inglês). 151 (2): 168–82. JSTOR 48662034. doi:10.1162/daed_a_01908Acessível livremente 
  16. ↑ Goldman, Sharon (20 de março de 2023). «With GPT-4, dangers of 'Stochastic Parrots' remain, say researchers. No wonder OpenAI CEO is a 'bit scared'». VentureBeat (em inglês). Consultado em 9 de maio de 2023 
  17. ↑ Corbin, Sam (15 de janeiro de 2024). «Among Linguists, the Word of the Year Is More of a Vibe». The New York Times (em inglês). ISSN 0362-4331. Consultado em 1 de abril de 2024 
  18. ↑ Arkoudas, Konstantine (21 de agosto de 2023). «ChatGPT is no Stochastic Parrot. But it also Claims that 1 is Greater than 1»Subscrição paga é requerida. Philosophy & Technology (em inglês). 36 (3). 54 páginas. ISSN 2210-5441. doi:10.1007/s13347-023-00619-6 
Este artigo é emitido por Wikipédia. O texto é licenciado sob Creative Commons Attribution-Share Alike 4.0. Termos adicionais podem ser aplicados aos arquivos de mídia.