Detecção de conteúdo gerado por inteligência artificial

Um software de detecção de conteúdo gerado por inteligência artificial visa determinar se algum material, como texto, imagem, vídeo ou áudio, foi gerado utilizando inteligência artificial. Entretanto, no presente momento, softwares com esse objetivo são considerados pouco confiáveis.^[1]

No presente momento, ferramentas destinadas a detectar conteúdo gerado por inteligência artificial demonstraram pouca confiabilidade. Em um estudo de 2023 conduzido por Weber-Wulff et al., os pesquisadores avaliaram 14 softwares de detecção, incluindo Turnitin e GPTZero, e obtiveram o resultado que todas as ferramentas apresentaram uma precisão inferior a 80%, sendo que apenas cinco acima tiveram um resultado superior 70% de acertos.^[2] Os pesquisadores também determinaram que os softwares tendem a apontar mais textos como produzidos por humanos do que como gerados por inteligência artificial, além de que a precisão piora ao parafrasear ou referenciar uma outra obra.^[2]

Na detecção de conteúdo gerado por inteligência artificial, um falso positivo ocorre quando um trabalho produzido por humanos é erroneamente identificado como feito por um software de inteligência artificial. Muitas das ferramentas afirmam ter um nível mínimo de falsos positivos — com o Turnitin, que afirma uma taxa de falsos positivos inferior a 1%.^[3] Entretanto, pesquisas mais recentes apontam que as taxas de falsos positivos são muito maiores, como as conduzidas pelo jornal estadunidense The Washington Post, que atestaram taxas muito acima de 50%.^[4] Falsos positivos em um ambiente acadêmico frequentemente levam a acusações de má conduta acadêmica, o que pode ter sérias consequências para o histórico de um estudante ou impedir que ele tenha acesso a determinadas oportunidades.

Diferentes estudos conduzido por instituições como a Universidade de Nebraska-Lincoln e a Universidade Stanford atestaram que modelos de detecção por inteligência artificial são propensos a gerar falsos positivos para trabalhos escritos por pessoas cuja primeira língua não é inglês — a pesquisa foi conduzida em inglês — e por pessoas neurodivergentes. Portanto, instituições têm produzido manuais para orientar seus docentes a evitar tais ferramentas com estudantes estrangeiros e neurodiversos (como pessoas autistas, com transtorno do déficit de atenção e hiperatividade, com dislexia).^[5][6]

Cada vez mais, em fóruns online, pesquisas e discussões universitárias, pessoas no espectro autista relatam que foram acusadas de utilizar inteligência artificial sem, de fato, a terem utilizado. Em uma matéria da The Washington Post, Rua Mea Williams,^{[nota 1]} docente na Universidade de Purdue, sofreu a acusação, por parte de um de seus colegas de trabalho, de que seus textos eram produzidos utilizando inteligência artificial. À matéria, Williams afirmou "eu sou apenas autista" e que "as crianças costumavam zombar de mim por falar roboticamente. Essa é uma queixa muito comum entre crianças autistas".^{[5][6][7][8][9][10]}

O artigo Preocupações com a IA para os neurodivergentes (em inglês: AI Concerns for the Neurodivergent), publicado pela National Education Defense, uma organização de defesa dos direitos dos estudantes formada por advogados vinculados à firma de advocacia estadunidense Lento Law Firm, afirmou que "indivíduos neurodivergentes são especialmente propensos a serem acusados ​​injustamente de usar inteligência artificial em seus trabalhos. Essas acusações não são inofensivas. Estudantes podem sofrer sanções disciplinares, mesmo com as várias recomendações das próprias empresas para que as suas ferramentas não sejam utilizados como base para tais sanções" e "estudantes neurodivergentes já possuem hoje uma maior probabilidade de abandonar o ensino superior antes de concluir a graduação. Os desafios agora impostos com a inteligência artificial podem agravar ainda mais a taxa de conclusão para alunos com autismo e deficiências semelhantes".^[11]

Diferentes obras autorais foram testadas em softwares de detecção de inteligência artificial e erroneamente apontadas como produzidas por algoritmos. Em junho de 2023, por exemplo, a autora Janelle Shane declarou que partes de seu livro You Look Like a Thing and I Love You foram acusadas de terem sido geradas por inteligência artificial.^[1]

Também em 2023, a Constituição dos Estados Unidos, escrita em 1787, foi acusada de ter sido produzida por inteligência artificial.^[12]

Um falso negativo é exatamente o oposto de um falso positivo. Ocorre quando o software de detecção falha em em identificar que algo produzido com inteligência artificial foi gerado por um algoritmo. Falsos negativos geralmente ocorrem como resultado do processo de humanização de um texto gerado por inteligência artificial — existem, inclusive, softwares de detecção, como o ZeroGPT, com ferramentas destinadas a "fazer com que o texto soe mais humano".^[13] Academicamente, falsos negativos são menos preocupantes pois não costumam resultar em acusações ou consequências. A ferramenta Turnitin, por sua vez, afirma ter uma taxa de falsos negativos de 15%.^[14]

A principal alegação que defende o uso de ferramentas de detecção de inteligência artificial é que a mesma serve para prevenir possíveis plágios. Os sistemas buscam detectar a repetição de palavras e processos de alucinação artificial, que é quando uma ferramenta de inteligência artificial insiste que uma informação incorreta é, de fato, correta. Seu uso mais comum atualmente é por professores na correção de trabalhos de estudantes. Após o lançamento do ChatGPT e de outros softwares de inteligência artificial, muitas instituições de ensino emitiram políticas vetando o uso das mesmas por seus estudantes.^[15] Outro uso comum de ferramentas de detecção de inteligência artificial é por parte de avaliadores de candidatos a vagas de emprego, visando identificar candidatos que tenham utilizado algoritmos em seus currículos, portifólios, obras ou outros trabalhos.^[16]

Entretanto, detectores atuais são considerados pouco confiáveis e costumam rotular incorretamente trabalhos humanos como produzidos por algoritmos, enquanto falham em detectar trabalhos que realmente foram gerados por inteligência artificial.^{[17][18][4][19]} A revista estadunidense MIT Technology Review, vinculada ao Instituto de Tecnologia de Massachusetts, afirmou que as ferramentas "possuem dificuldades em detectar textos gerados pelo ChatGPT que tenham sido reorganizados por humanos e/ou parafraseados".^[20] Outro ponto apontado foi que os software costumam discriminar falantes não nativos do idioma que a obra tenha sido produzida — como por exemplo, um texto produzido em inglês por uma pessoa hispanofalante nativa é mais propensa a ser acusada de ter sido produzida por inteligência artificial.^[16]

Dois estudantes da Universidade da Califórnia em Davis foram encaminhados ao setor judicial da instituição depois que seus professores acusaram que seus trabalhos haviam sido produzidos por inteligência artificial. Entretanto, após grande cobertura midiática do caso, uma investigação foi aberta, resultando na declaração de inocência de ambos estudantes de quaisquer irregularidades.^[21][22][23]

Em abril de 2023, a Universidade de Cambridge e instituições membros do Grupo Russell, uma organização que reúne as 24 maiores universidades de investigação intensiva do Reino Unido, acordaram em vetar o uso de ferramentas de detecção de textos gerados por inteligência artificial, como o Turnitin, após expressarem preocupações pela falta de confiabilidade.^[24] Seis meses depois, a Universidade do Texas em Austin optou por também vetar o uso da ferramenta.^[25]

Em maio de 2023, um professor da Universidade do Texas Oriental A&M enviou os textos de seus estudantes ao ChatGPT e perguntou se o material havia sido escrito por ele; a ferramenta declarou positivamente. Com isso, o docente ameaçou reprovar os estudantes, mesmo o ChatGPT não tendo a finalidade de detectar textos gerados por algoritmos.^[26] Entretanto, nenhum dos estudantes acusados foi impedido de se formar, e todos, exceto um aluno que admitiu ter usado o software, foram inocentados das acusações de terem usado o ChatGPT em seus conteúdos.^[27]

Em julho de 2023, foi publicado um artigo intitulado "Os detectores GPT são tendenciosos contra escritores não nativos de inglês" (em inglês: GPT detectors are biased against non-native English writers), relatando que as ferramentas de detecção discriminam autores não nativos de inglês. O artigo comparou textos de falantes não nativos de inglês e de estudantes estadunidense em sete ferramentas. Como resultado, as obras escritas pelos não nativos apresentaram uma taxa média de falsos positivos de 61,3%, o que foi considerada alarmante, inclusive por considerar que tais ferramentas funcionam internamente em inglês. Portanto, mesmo ao escrever em seus idiomas nativos, a probabilidade de falso positivo é maior que de obras escritas em inglês por anglófonos.^[28]

Um artigo publicado em junho de 2024 pelo jornalista Thomas Germain no site Gizmodo, relatou casos de perdas de empregos de escritores e jornalistas devido a softwares de detecção de inteligência artificial que classificaram erroneamente seus trabalhos como gerados por algoritmos.^[29]

Em setembro de 2024, a organização sem fins lucrativos estadunidense Common Sense Media relatou que os detectores de inteligência artificial tinham uma taxa de falsos positivos maior para estudantes negros (20%) quando em comparação com seus pares latinos (10%) e brancos (7%), evidenciando também padrões culturais e normativos que as ferramentas são treinadas.^[30][31]

Para melhorar a confiabilidade da detecção de texto gerados por inteligência artificial, pesquisadores têm estudado técnicas de marca d'água digital. Um artigo de 2023 intitulado "Uma Marca d'água para Grandes Modelos de Linguagem" (em inglês: A Watermark for Large Language Models) defendeu que marcas d'água imperceptíveis em textos gerados por deveriam ser implementados, permitindo com maior precisão que um conteúdo gerado por inteligência artificial seja apontado com mais precisão. A técnica apresentada foi projetada para ser sutil e difícil de detectar para leitores casuais, preservando assim a legibilidade, ao mesmo tempo que fornece um sinal detectável para aqueles que utilizam ferramentas especializadas. No entanto, embora promissora, uma ferramenta como esta enfrenta desafios para se manter robusta sob transformações constantes dos modelos de linguagem, e garantir a compatibilidade entre diferentes plataformas e, também, ser aceita pelas instituições proprietárias das ferramentas geradoras de texto.^[32]

Existem softwares disponíveis projetados para burlar a detecção de texto por inteligência artificial, visando deixá-lo com mais aparência de que foi escrito por uma pessoa. De fato, algumas ferramentas de detecção de algoritmos já fornecem nativamente opção para "humanizar" o texto.^[33][34]

Um estudo publicado em agosto de 2023 analisou 20 resumos de artigos publicados na revista científica Eye, que foram então parafraseados usando o GPT-4.0. Os resumos parafraseados foram, então, examinados quanto a plágio usando a ferramenta QueText e, quanto a conteúdo gerado por inteligência artificial, usando a ferramenta Originality.AI. Os textos foram então reprocessados por meio de um software adversário chamado Undetectable AI, visando reduzir as pontuações de detecção da IA. O estudo descobriu que a ferramenta de detecção de IA, Originality.AI, identificou o texto gerado pelo GPT-4 com uma precisão média de 91,3%. No entanto, após o reprocessamento pelo Undetectable AI, a precisão de detecção do Originality.ai caiu para uma média de 27,8%.^[35][36]

Alguns especialistas acreditam que técnicas como a marca d'água digital são ineficazes porque podem ser removidas ou adicionadas, o que geraria falsos positivos.^[37] O próprio artigo "Uma Marca d'água para Grandes Modelos de Linguagem" (em inglês: A Watermark for Large Language Models), que apontou defendeu uma técnica para se colocar marcas d'águas em textos gerados por inteligência artificial, também apontou diferentes problemas técnicos, incluindo ataques de inserção, exclusão e substituição de texto, que podem ser usadas para burlar a detecção da marca d'água, bem como para acusar falsamente outras pessoas. Esses ataques variam em complexidade, desde simples paráfrases até abordagens mais sofisticadas envolvendo tokenização e alterações de homóglifos. O estudo aponta, então, o desafio de manter a robustez da marca d'água contra atacantes que podem empregar ferramentas automatizadas de paráfrase ou mesmo substituições específicas de modelos de linguagem para alterar trechos de texto, mantendo a similaridade semântica. Os resultados experimentais mostram que, embora tais ataques possam degradar a força da marca d'água, eles também acarretam prejuízos na qualidade do texto e aumento dos recursos computacionais.^[32]

Diferentes softwares alegam serem capazes de detectar imagens geradas por software de inteligência artificial, como o Midjourney ou DALL-E. Assim como as ferramentas que buscam algoritmos em textos, diferentes estudos apontam que as ferramentas de detecção de imagens não são confiáveis, podendo gerar falsos positivos.^[38][39]

Outras ferramentas, que também possuem a confiabilidade questionada, são as que afirmam ter a capacidade de identificar deepfakes de vídeo e áudio.^[40]

Assim como no âmbito da detecção de textos gerados por inteligência artificial, há quem defenda a implementação de uma marca d'água digital em imagens, áudios e vídeos gerados por inteligência artificial. O laboratório anglo-estadunidense Google DeepMind afirma estar desenvolvendo um software de detecção chamado SynthID, que funciona inserindo uma marca d'água digital invisível ao olho humano nos pixels de imagens geradas por inteligência artificial.^[41][42]

Algumas ferramentas de inteligência artificial, ao gerar vídeos ou imagens, como a Galaxy AI da empresa sul-coreana Samsung, deixa uma marca d'água visível na imagem, bem como informações nos metadados.^[43] Entretanto, apenas cortar parte da mídia já suficiente para esconder a marca d'água, e os metadados são facilmente apagados de diferentes formas, como através de ferramentas disponíveis na Internet ou ao fazer uma captura de tela da imagem, que irá gerar uma imagem completamente nova e com metadados próprios.^[44][45]

• Alinhamento de Inteligência Artificial
• Alucinação (inteligência artificial)
• Detecção de similaridade de conteúdo
• Neurodiversidade
• Processamento de linguagem natural
• Transtorno do espectro autista

Notas

Referências