Detection of texts generated by ChatGPT
capabilities, limitations, and practical applications
DOI:
https://doi.org/10.35699/2525-8036.2024.53509Keywords:
Artificial intelligence, ChatGPT, AI detection, Digital securityAbstract
The popularization of Artificial Intelligence (AI) tools for text generation has intensified debates about the authenticity and reliability of digital content amid growing concerns about academic fraud, copyright violations, and misinformation. This study evaluated the effectiveness of five detection tools (Copyleaks AI Content Detector, AI by Smodin, PlagiarismDeTector.NET AI, ZeroGPT, and AI Content Detector) in distinguishing between human-written texts and texts generated by ChatGPT. The results indicate that the tools vary in their accuracy and reliability. While Copyleaks and AI by Smodin demonstrated high accuracy in identifying AI-generated and human-written texts, PlagiarismDeTector.NET AI showed several inconsistencies, especially in correctly distinguishing AI-generated texts. ZeroGPT and AI Content Detector showed variable performance, excelling in some scenarios and facing challenges in others. These findings highlight the ongoing need for improvement in AI text detection tools to ensure a secure and trustworthy digital environment.
References
AREMU, Toluwani. Unlocking Pandora's Box: Unveiling the Elusive Realm of AI Text Detection. SSRN, Rochester, NY, 2023. Disponível em: http://dx.doi.org/10.2139/ssrn.4470719. Acesso em: 23 dez. 2024.
CHAKA, Chaka. Detecting AI content in responses generated by ChatGPT, YouChat, and Chatsonic: The case of five AI content detection tools. Journal of Applied Learning and Teaching, v. 6, n. 2, 2023. Disponível em: https://doi.org/10.37074/jalt.2023.6.2.12. Acesso em: 23 dez. 2024.
COUTINHO, Dimítria. 2023, o ano em que o ChatGPT mostrou a IA generativa ao mundo. Data Privacy Brasil, 29 dez. 2023. Disponível em: https://www.dataprivacybr.org/documentos/2023-o-ano-em-que-o-chatgpt-mostrou-a-ia-generativa-ao-mundo/. Acesso em: 23 dez. 2024.
GIL, Antonio Carlos. Métodos e técnicas de pesquisa social. São Paulo: Editora Atlas, 2008.
HUANG, Yue; SUN, Lichao. Harnessing the power of chatgpt in fake news: An in-depth exploration in generation, detection and explanation. Pré-print. arXiv preprint, v. 1, 2023. Disponível em: https://doi.org/10.48550/arXiv.2310.05046. Acesso em: 23 dez. 2024.
LUCCHI, Nicola. ChatGPT: a case study on copyright challenges for generative artificial intelligence systems. European Journal of Risk Regulation, v. 15, n. 3, p. 602-624, 2024. Disponível em: https://www.cambridge.org/core/journals/european-journal-of-risk-regulation/article/chatgpt-a-case-study-on-copyright-challenges-for-generative-artificial-intelligence-systems/CEDCE34DED599CC4EB201289BB161965. Acesso em: 23 dez. 2024.
MEYER, Jesse G.; URBANOWICZ, Ryan J.; MARTIN, Patrick C. N.; O’CONNOR, Karen; LI, Ruowang; PENG, Pei-Chen; BRIGHT, Tiffani J.; TATONETTI, Nicholas; WON, Kyoung Jae; GONZALEZ-HERNANDEZ, Graciela; MOORE, Jason H. ChatGPT and large language models in academia: opportunities and challenges. BioData Mining, v. 16, n. 1, 2023. Disponível em: https://doi.org/10.1186/s13040-023-00339-9. Acesso em: 23 dez. 2024.
OPENAI. OpenAI Charter. São Francisco: 2024. Disponível em: https://openai.com/charter/. Acesso em: 23 dez. 2024.
SARKAR, Ratan Kumar. AI Content Detector. ChatGPT, 2024. Disponível em: https://chatgpt.com/g/g-NcgzdHmZc-ai-content-detector. Acesso em: 23 dez. 2024.
SARRION, Eric. Exploring the Power of ChatGPT: Applications, Techniques, and Implications. Berkeley: Apress, 2023.
TRINDADE, Alessandra Stefane C. E.; OLIVEIRA, Henry Poncio C. Inteligência artificial (IA) generativa e competência em informação: habilidades informacionais necessárias ao uso de ferramentas de IA generativa em demandas informacionais de natureza acadêmica-científica. Perspectivas em Ciência da Informação, v. 29, p. e-47485, 2024. Disponível em: https://doi.org/10.1590/1981-5344/47485. Acesso em: 23 dez. 2024.
Downloads
Published
Issue
Section
License
Copyright (c) 2024 Felipe Soares de Moraes
This work is licensed under a Creative Commons Attribution 4.0 International License.
1. Os conteúdos dos trabalhos são de exclusiva responsabilidade de seu autor.
2. É permitida a reprodução total ou parcial dos trabalhos publicados na Revista, desde que citada a fonte.
3. Ao submeterem seus trabalhos à Revista os autores certificam que os mesmos são de autoria própria e inéditos (não publicados em qualquer meio digital ou impresso).
4. Os direitos autorais dos artigos publicados na Revista são do autor, com direitos de primeira publicação reservados para este periódico.
5. Para fins de divulgação, a Revista poderá replicar os trabalhos publicados nesta revista em outros meios de comunicação como, por exemplo, redes sociais (Facebook, Academia.Edu, etc).
6. A Revista é de acesso público, portanto, os autores que submetem trabalhos concordam que os mesmos são de uso gratuito.
7. Constatando qualquer ilegalidade, fraude, ou outra atitude que coloque em dúvida a lisura da publicação, em especial a prática de plágio, o trabalho estará automaticamente rejeitado.
8. Caso o trabalho já tenha sido publicado, será imediatamente retirado da base da revista, sendo proibida sua posterior citação vinculada a ela e, no número seguinte em que ocorreu a publicação, será comunicado o cancelamento da referida publicação. Em caso de deflagração do procedimento para a retratação do trabalho, os autores serão previamente informados, sendo-lhe garantido o direito à ampla defesa.
9. Os dados pessoais fornecidos pelos autores serão utilizados exclusivamente para os serviços prestados por essa publicação, não sendo disponibilizados para outras finalidades ou a terceiros.
