VOLUME 14

2024

ISSN: 2237-5864

Acesso Livre

Estudo de caso sobre o uso de um chatbot como ferramenta pedagógica para ensino de reações de Diels-Alder na graduação

Estudio de caso sobre el uso de un chatbot como herramienta pedagógica para la enseñanza de Diels-Alder en el pregrado Shape2

A case study on the use of a chatbot as a pedagogical tool for teaching Diels-Alder reaction in undergraduate education

O estudo em questão investigou o emprego do chatbot IQ.QO Assistente, desenvolvido por um dos autores para ser especializado no ensino de química orgânica, com conhecimento restrito a fontes confiáveis. A pesquisa é um estudo de caso realizado com dez estudantes do terceiro período de um curso de Química durante o primeiro semestre de 2024. Analisou-se a suscetibilidade do chatbot a erros conceituais em comparação com modelos de linguagem de acesso amplo. Adicionalmente, por meio da análise de conteúdo de trinta prompts coletados voluntariamente, buscou-se identificar padrões na elaboração de perguntas pelos graduandos. Os resultados mostraram que o chatbot desenvolvido apresentou uma taxa de erro de apenas 11%, significativamente menor do que a de modelos gerais. A análise dos prompts revelou uma tendência à simplicidade, com ênfase nos dados de entrada (63,5%) e ausência de contexto, sugerindo que os estudantes utilizam inteligências artificiais generativas de forma semelhante a motores de busca. Tais dados reforçam a necessidade de literacia digital para o uso eficaz de ferramentas de inteligência artificial no contexto educativo, promovendo o desenvolvimento de competências digitais e a transição para modelos de aprendizagem ativa.

Palavras-chave: inteligência artificial; chatbot; ensino de química; química orgânica; Diels-Alder.

El presente estudio investigó el uso del chatbot IQ.QO Asistente, desarrollado por uno de los autores para especializarse en la enseñanza de química orgánica, con una base de conocimiento restringida a fuentes fiables. La investigación es un estudio de caso realizado con diez estudiantes del tercer período de la carrera de Química durante el primer semestre de 2024. Se analizó la susceptibilidad del chatbot a errores conceptuales en comparación con modelos de lenguaje de acceso amplio. Adicionalmente, mediante el análisis de contenido de treinta prompts recopilados voluntariamente, se buscaron identificar patrones en la elaboración de preguntas por parte de los estudiantes de pregrado. Los resultados mostraron que el chatbot desarrollado presentó una tasa de error de solo el 11%, significativamente menor que la de los modelos generales. El análisis de los prompts reveló una tendencia a la simplicidad, con énfasis en los datos de entrada (63,5%) y ausencia de contexto, lo que sugiere que los estudiantes utilizan inteligencias artificiales generativas de forma similar a los motores de búsqueda. Dichos datos refuerzan la necesidad de la alfabetización digital para el uso eficaz de herramientas de inteligencia artificial en el contexto educativo, promoviendo el desarrollo de competencias digitales y la transición hacia modelos de aprendizaje activo.

Palabras clave: inteligencia artificial; chatbot; enseñanza de química; química orgánica; Diels-Alder.

The present study investigated the use of the chatbot IQ.QO Assistant, developed by one of the authors to specialize in organic chemistry education, with its knowledge restricted to reliable sources. The research is a case study conducted with ten third-semester Chemistry undergraduate students during the first half of 2024. The chatbot’s susceptibility to conceptual errors was analysed in comparison to broad-access language models. Additionally, through content analysis of thirty voluntarily collected prompts, the study aimed to identify patterns in the students’ formulation of questions. The results showed that the developed chatbot exhibited an error rate of only 11%, significantly lower than that of general models. The analysis of the prompts revealed a tendency towards simplicity, with an emphasis on input data (63.5%) and a lack of context, suggesting that students use generative artificial intelligences similarly to search engines. These findings reinforce the need for digital literacy for the effective use of artificial intelligence tools in the educational context, promoting the development of digital competencies and the transition to active learning models.

Keywords: artificial intelligence; chatbot; chemistry education; organic chemistry; Diels-Alder.

“Isto fica feliz em ser útil” – era dessa forma que o androide Andrew Martin, em O Homem Bicentenário^⁵, se reportava aos seus donos todas as vezes que realizava uma tarefa. Não é à toa que histórias sobre máquinas alcançando a inteligência humana sempre povoaram o imaginário desde que começaram a surgir. A concepção de uma entidade capaz de raciocinar de maneira humana, porém com acesso irrestrito a um vasto repositório de conhecimento, pode suscitar, concomitantemente, entusiasmo e apreensão. Longe das histórias asimovianas^⁶ e das distopias em que as máquinas substituem os humanos, é pertinente discutir as possibilidades de uso da inteligência artificial (IA) e suas implicações nos mais diversos campos do conhecimento.

Neste trabalho, apresentaremos e discutiremos as implicações do uso de um chatbot desenvolvido especialmente para auxiliar os alunos na disciplina de Química Orgânica II, do terceiro período de um curso de graduação em uma universidade pública brasileira. Por meio de testes, buscamos verificar como os dez graduandos utilizaram essa ferramenta, seus padrões de uso e a adequação das respostas do chatbot. O estudo concentrou-se na análise das perguntas e respostas relacionadas ao conteúdo sobre a reação de Diels-Alder, um tópico importante que frequentemente apresenta desafios no ensino de química orgânica. Essa dificuldade deve-se, principalmente, à sua natureza tridimensional, que exige dos estudantes um raciocínio espacial para compreender a sobreposição de orbitais moleculares, a estereoquímica dos produtos e os fatores cinéticos que governam a reação.

Especificamente sobre a interação dos graduandos com o chatbot criado, analisamos a qualidade dos prompts utilizados para compreendermos como os alunos utilizam essa ferramenta em seus estudos pessoais. Essa qualidade é um fator determinante para a utilidade da resposta da IA e, segundo Giray (2023), os parâmetros para essa qualidade são estabelecidos pela presença e clareza de quatro componentes essenciais: a instrução ou tarefa, o contexto, os dados de entrada e o indicador de saída.

Embora o termo prompt tenha ganhado nova proeminência com a popularização das IAs, seu uso no campo educacional é antigo, em que tradicionalmente se refere a um estímulo ou instrução que visa evocar uma resposta específica do aprendiz. No contexto das inteligências artificiais generativas (IAGs), essa noção é ampliada: prompts são instruções ou comandos, geralmente formulados como perguntas, fornecidos a um modelo de linguagem, como um chatbot, para orientar seu comportamento e gerar respostas desejadas. Trata-se da forma adequada de comunicar-se com as IAs, orientando a especificação da tarefa, detalhando o contexto, fornecendo dados de entrada e especificando o formato desejado de resposta (Giray, 2023). Em linhas gerais, os prompts servem para melhorar a qualidade das respostas obtidas. Podem ser utilizados para qualquer tarefa e, quando elaborados adequadamente, orientam o modelo de linguagem a produzir resultados mais precisos e relevantes para o usuário.

Para alcançar esses objetivos, a metodologia foi elaborada para responder às seguintes perguntas de pesquisa: o chatbot de base de conhecimento delimitada comete menos erros do que outros modelos de linguagem de uso geral? Os graduandos analisados elaboram prompts completos para interagir com o chatbot? A qualidade dos prompts interfere na qualidade das respostas geradas pelo chatbot delimitado?

A partir das respostas a essas questões, espera-se contribuir para a definição de melhores práticas no uso de IAs em contextos universitários. Embora o estudo se concentre em um tópico de química orgânica, os achados oferecem implicações pedagógicas que podem ser aplicadas a outras áreas do ensino. A necessidade de curadoria de fontes para a IA e de capacitação dos estudantes em engenharia de prompt indica um modelo de integração tecnológica que pode ser adaptado a diferentes conteúdos e disciplinas que exijam rigor conceitual. Dessa forma, a principal contribuição do trabalho está na reflexão sobre como planejar e mediar o uso de IAs na educação superior, transformando-as em ferramentas eficazes para promover a aprendizagem ativa.

É importante, contudo, reconhecer as limitações deste estudo para contextualizar seus achados. A principal limitação, conforme apontado, é o escopo focado em um único tópico da química orgânica, a reação de Diels-Alder. Embora isso tenha permitido uma análise aprofundada, a eficácia e os padrões de uso do chatbot em outros temas da disciplina não foram avaliados. Adicionalmente, o estudo foi conduzido com uma amostra reduzida de participantes, o que, embora seja característico de um estudo de caso qualitativo, requer cautela na generalização dos padrões de interação observados. Por fim, como em toda pesquisa envolvendo IA, os resultados representam um retrato de um momento específico, e a rápida evolução dessas tecnologias impõe a necessidade de validação e estudos contínuos.

Figura 1 – (Bloco I) Esquema de aprendizagem supervisionada. (Bloco II) Esquema de aprendizagem não supervisionada. (Bloco III) Esquema de aprendizagem por reforço ou semi-supervisionada.

A comunicação eficaz com as IAGs é uma habilidade técnica conhecida como engenharia de prompts, que consiste na elaboração de instruções claras para orientar o comportamento dos modelos de linguagem. As características principais de um prompt são: instrução, contexto, dados de entrada e indicador de saída, conforme Giray (2023). A instrução define a tarefa e pode se caracterizar como “escreva um resumo” ou “traduza o texto”. As informações adicionais que ajudam o modelo a entender a tarefa, como delimitar o público ou o estilo da escrita, definem o contexto. Os dados de entrada são aqueles específicos os quais se deseja que o modelo processe, podendo ser um texto, uma imagem ou até um conjunto de instruções. É importante também indicar o formato da resposta desejada, seja delimitando a quantidade de caracteres do texto ou se o usuário prefere que os dados sejam apresentados sob a forma de uma tabela, por exemplo (Giray, 2023).

Nesse sentido, o uso de prompts melhora a precisão e a relevância das respostas obtidas, controla o formato e o conteúdo da saída, além de automatizar tarefas, tornando a comunicação com a IA mais eficaz. A habilidade de elaborar um prompt está intrinsecamente ligada ao que se conhece como competência em informação (CoInfo), uma capacidade necessária não apenas no contexto escolar, mas para a sociedade da informação como um todo. A CoInfo revela a capacidade de identificar e definir qual informação é necessária para responder a uma pergunta, esclarecer uma dúvida ou resolver um problema (Kulthau, 1991). É ela que motiva o planejamento de estratégias para obter informações e que está em ação quando interagimos com mecanismos de busca ou com IAs, baseando-se na consciência da lacuna de conhecimento e na habilidade para formular perguntas.

Para elaborar prompts com as quatro características, o usuário pode se atentar para as seguintes recomendações:

Tarefa clara: Defina a tarefa a ser realizada de forma explícita, utilizando verbos como “explique”, “resuma” ou “compare”. Evite ambiguidades e seja o mais específico possível.

Contextualização: Forneça dados sobre o contexto, como seu papel (por exemplo, “sou um estudante...”) e o tópico em estudo (por exemplo, “estamos analisando...”). Isso direciona a IA para o nível e a especificidade da resposta desejada.

Dados precisos: Apresente dados específicos e relevantes sobre o tema, utilizando termos técnicos apropriados. A clareza e o detalhamento dos dados de entrada são essenciais para a qualidade da resposta.

Formato desejado: Indique o formato em que a resposta deve ser apresentada, como um resumo conciso, uma lista organizada ou uma explicação detalhada. Essa etapa permite moldar a resposta de acordo com suas necessidades (Giray, 2023).

As IAs têm sido consideradas ferramentas tecnológicas relevantes para os usuários em diversos meios, incluindo o científico. Na química, observa-se um aumento significativo nas publicações relacionadas às IAs, especialmente em química analítica e bioquímica (Baum et al., 2021), destacando suas funcionalidades e a expansão do uso, o que abre espaço para novas integrações e desenvolvimentos futuros.

Estudos recentes descrevem outros tipos de inteligências artificiais que podem prever a estrutura tridimensional de proteínas com base nos resíduos de aminoácidos (Senior et al., 2020), realizar triagens para auxiliar no descobrimento de novos fármacos (Sellwood et al., 2018), assessorar no planejamento de sínteses (Segler; Preuss; Waller, 2018), predizer propriedades moleculares (Kuntz; Wilson, 2022) e até mesmo contribuir para a resolução de funções de onda complexas (Carleo; Troyer, 2017), dentre muitas outras possibilidades. A utilidade da IA nessas áreas de pesquisa apresenta grande potencial, pois muitas dessas tarefas representam desafios de altíssima complexidade que, até recentemente, demandavam décadas de pesquisa ou eram considerados computacionalmente intratáveis.

O uso de tecnologias no âmbito educacional não é uma prática recente. Professores e estudantes têm explorado uma variedade de recursos, como softwares (Scott; Bohaty; Gadbury-Amyot, 2021), aplicativos (Grando; Cleophas, 2021), vídeos (Santos et al., 2017), animação (Lopes; Chaves, 2018), jogos digitais (Tauber; Levonis; Schweiker, 2022) e a própria internet (Leite, 2018). Esse conjunto de ferramentas é conhecido no campo educacional como tecnologias digitais de informação e comunicação (TDIC) (Leite, 2015), um campo de pesquisa que tem sido amplamente explorado por pesquisadores da área (Leite, 2020). Além disso, existem normas e diretrizes que ressaltam a importância de desenvolver atividades que promovam o aprimoramento das competências digitais (Silva; Behar, 2019) dos estudantes e de professores (ISTE, 2018; Profuturo, 2020; Unesco, 2024).

Apesar do amplo espectro de pesquisas na área, o uso desses recursos tecnológicos no contexto educacional ainda gera dúvidas e inseguranças. Por exemplo, a introdução da Wikipedia, em 2001, provocou debates vigorosos nas instituições acadêmicas acerca de como essa ferramenta poderia potencialmente fomentar a passividade intelectual dos alunos (Knight; Pryke, 2012). Quando um professor propõe uma atividade, os estudantes podem buscar informações diretamente em sites e blogs, reescrevendo os textos e tentando relacioná-los de forma consistente ao trabalho solicitado, muitas vezes sem considerar a confiabilidade das fontes de informação. As IAs podem realizar a mesma tarefa quase instantaneamente, com apenas um clique, privando o estudante de todo esse processo de busca, o que gera uma justificável preocupação por parte dos profissionais de educação (Leite, 2024).

Há ainda preocupações concernentes à ética do uso de IAs pelos alunos, que englobam desde a privacidade de seus dados de aprendizagem até o risco de vieses algorítmicos nas avaliações e a necessidade de garantir a integridade acadêmica. Portanto, é preciso pensar sua implementação em sala de aula de forma crítica, ponderando os riscos e os benefícios. Apesar desses desafios, o potencial pedagógico é notável e, segundo Luckin et al. (2022), a IA pode ser usada principalmente de três formas no domínio educacional: tutorias pessoais para cada aprendiz, suporte inteligente para aprendizagem colaborativa e realidade virtual inteligente.

No primeiro cenário, a IA monitoraria o progresso do aluno em tempo real, identificando lacunas e oferecendo feedbacks, recursos complementares e avaliações formativas para que ele possa aprimorar suas habilidades incipientes. No segundo caso, a IA avaliaria os diferentes perfis na turma, auxiliando o professor na composição de grupos, considerando afinidades e características específicas. Por fim, materiais instrucionais impulsionados por IA poderiam ser disponibilizados aos estudantes em formato de realidade virtual, proporcionando uma experiência sensorial mais imersiva e facilitando a compreensão de conceitos abstratos comuns à química.

Para este estudo, o tópico químico selecionado foi a reação de Diels-Alder, um conceito relevante para a química orgânica sintética, que apresenta um elevado grau de complexidade. Trata-se de uma das ferramentas mais importantes para construção de moléculas com anéis de seis átomos, estruturas que são a base para a síntese de inúmeros produtos farmacêuticos, como alguns antibióticos e anti-inflamatórios, polímeros e agroquímicos (Funel; Abele, 2013; Hermanson, 2013; Sauer, 1967; Yeingst; Helton; Hayes, 2024).

O principal desafio didático desta reação reside em sua natureza intrinsecamente tridimensional. Os estudantes frequentemente têm dificuldades em visualizar como as moléculas se aproximam no espaço, como suas nuvens eletrônicas interagem e, principalmente, como a orientação espacial dos reagentes determina a estrutura tridimensional do produto final. É justamente para superar essas barreiras de abstração que o uso de uma IA se mostra promissor. Ferramentas como o chatbot desenvolvido podem gerar representações visuais dinâmicas, oferecer explicações passo a passo e responder a dúvidas específicas sobre a estereoquímica da reação, proporcionando um suporte de aprendizagem personalizado que complementa os métodos de ensino tradicionais.

O chatbot intitulado IQ.QO Assistente, desenvolvido por um dos autores desta pesquisa, foi construído sobre uma base de conhecimento selecionada por especialistas da área de química orgânica, composta por vinte fontes acadêmicas internacionalmente reconhecidas. Essas fontes foram escolhidas por seu alto grau de precisão técnica e rigor científico, incluindo obras como Advanced Organic Chemistry Part A Structure and Mechanism e Writing Reaction Mechanisms in Organic Chemistry, bem como bibliotecas virtuais como Virtual Textbook of Organic Chemistry e LibreTexts Chemistry.

Cabe ressaltar que as configurações padrão do chatbot não permitem realizar pesquisas em sites diferentes daqueles incluídos em sua base de dados. Desta forma, evitamos que as respostas sejam geradas a partir de fontes não confiáveis ou de maior disponibilidade na internet, contornando um problema comum aos chatbots convencionais. Essa abordagem de curadoria criteriosa da base de dados do chatbot, embora não elimine completamente a possibilidade de erros, foi projetada especificamente para minimizar a ocorrência de imprecisões conceituais e alucinações, um desafio comum em IAs com bases de dados mais amplas e não verificadas.

A pesquisa foi conduzida como um estudo de caso na perspectiva de Stake (1995), que valoriza a análise aprofundada de um caso particular para a compreensão de um fenômeno mais amplo. Participaram dez estudantes do terceiro período do curso de Química, matriculados na disciplina de Química Orgânica II de uma universidade pública paulista.

Os alunos tiveram acesso ao IQ.QO Assistente por meio de um link disponibilizado pelo docente após uma seção de aulas expositivas sobre o tema, sendo incentivados a utilizá-lo como ferramenta de apoio aos estudos. Com exceção à forma de acessá-lo, a interação com o chatbot não foi direcionada, permitindo que os alunos formulassem suas perguntas (prompts) livremente. Embora as dúvidas abrangessem outros tópicos da disciplina, o critério de seleção para este estudo foram as interações relacionadas à reação de Diels-Alder, resultando em um corpus de análise composto por 30 prompts compartilhados pelos dez participantes sobre o conteúdo.

É importante destacar que, mesmo tendo criado o IQ.QO Assistente, os pesquisadores não têm acesso a nenhum conteúdo ou interação dos estudantes com o chatbot. Todos os estudantes foram informados sobre os objetivos da pesquisa e solicitados a enviar ao pesquisador responsável os arquivos de sua escolha referentes às interações pessoais com o chatbot. Portanto, o corpus desta pesquisa é composto em sua totalidade por materiais compartilhados voluntariamente pelos alunos que consentiram em participar.

Por conta do volume de dados coletados, filtramos as interações considerando somente aquelas que diziam respeito ao tópico de Diels-Alder, resultando na análise de materiais de dez graduandos que somaram trinta prompts. O material acessado, quando enviado na forma de imagem, foi transcrito utilizando o serviço de IA Google Gemini na versão Advanced 2.0 Pro Experimental. O processo de validação consistiu na verificação manual de cada transcrição por dois pesquisadores, que compararam o texto gerado com as imagens originais para garantir a fidedignidade dos dados.

O corpus foi então organizado para análise qualitativa com auxílio do software MaxQDA, seguindo a metodologia de análise de conteúdo (Bardin, 2015). Vale ressaltar que os dados comparativos com outros modelos de IA, como o ChaGPT, citados na seção de resultados, foram extraídos de um estudo anterior (Nascimento Junior; Morais; Girotto Junior, 2024), que empregou metodologia análoga para a avaliação de IAs de uso geral.

As categorias criadas são prévias, baseadas no modelo de prompt de Giray (2023), a saber: contexto (CT), instrução (IT), dados de entrada (DE) e indicador de saída (IS). A categoria iteração (ITE) foi adicionada para especificar os casos em que houve iteração do aluno em função da pergunta anterior. Além dessas categorias, as respostas do chatbot foram categorizadas em passagem correta (PC) e passagem incorreta (PI) quanto à precisão conceitual do conteúdo sobre Diels-Alder. O Quadro 1 traz as categorias utilizadas na análise baseadas nas características esperadas de um prompt.

A análise destes registros possibilitou a identificação de padrões de uso, das dúvidas mais frequentes sobre o conteúdo químico e da efetividade do chatbot como ferramenta de apoio ao aprendizado no contexto educacional.

A análise de conteúdo das interações dos alunos com o chatbot desenvolvido resultou na identificação de 461 segmentos, distribuídos entre as seis categorias pré-estabelecidas: contexto (CT), instrução (IT), dados de entrada (DE), indicador de saída (IS), iteração (ITE), passagem correta (PC) e passagem incorreta (PI). Esses segmentos foram extraídos a partir da categorização de frases completas dos prompts elaborados pelos alunos e das respostas geradas pelo chatbot, especificamente sobre o tópico de reações de Diels-Alder.

A distribuição quantitativa dos 461 segmentos revelou padrões tanto na estruturação dos prompts pelos alunos quanto na qualidade do conhecimento químico presente nas respostas da IA. O Gráfico 1 ilustra esta distribuição.

Gráfico 1 – Distribuição de categorias que tipificam os prompts dos alunos.

Fonte: elaborado pelos autores. Gráfico produzido com o auxílio dos softwares GraphPad Prisma e MaxQDA.

Em relação à estrutura dos prompts realizados pelos alunos, de trinta perguntas analisadas, foram categorizados 48 segmentos, com predominância de DE (30 segmentos, 62,5%), seguido de IT (10 segmentos, 20,8%) e ITE (8 segmentos, 16,7%). A concentração em dados de entrada (62,5%) indica que os alunos tendem a adotar uma abordagem direta nas suas consultas. Isso significa que focam principalmente no conteúdo específico de química sobre o qual desejam informações, em detrimento de estratégias mais sofisticadas de engenharia de prompt, como o uso do contexto e a adição do formato desejado para a resposta final. Em estudo realizado por Tassoti (2024), os alunos tendem a não contextualizar suas perguntas, uma vez que, basicamente, copiam e colam-nas ao interagir com a máquina. Uma hipótese para esse comportamento consiste na ideia de que os alunos usam IAs como utilizam motores de busca convencionais, tais como o Google, o Bing e o DuckDuckGo.

A presença de poucas perguntas de Iteração (16,7%) alinhada à alta concentração DE, sugere que os alunos não realizam refinamentos ou continuações em consultas anteriores, o que pode indicar uma aceitação da resposta inicial como verdadeira ou suficiente, incompreensão da resposta fornecida pela IA ou falta de reflexão sobre a resposta. Dos dez participantes do estudo, verificou-se que apenas um único sujeito procedeu com a retificação das informações. Na pesquisa de Tassoti (2024) ocorreu o mesmo fenômeno comportamental entre os discentes que, a despeito de identificarem passagens incorretas nas respostas, não corrigiram a máquina.

Embora essa aparente aceitação das respostas pelos estudantes possa dialogar com o debate sobre o determinismo tecnológico, essa perspectiva, que não é um consenso, parte da crença de que sistemas tecnológicos inevitavelmente superam o desempenho humano. Contudo, essa visão de confiança coexiste com uma postura mais cética por parte de outros usuários e pesquisadores, que alertam para os limites e vieses dessas ferramentas (Correa; Geremias, 2013).

A possível incompreensão da resposta gerada, caso tenha ocorrido, pode estar relacionada à complexidade do conteúdo das reações de Diels-Alder. Ainda que a IA com base restritiva gere respostas mais confiáveis, isso não garante que sejam simplificadas ou de fácil compreensão, pois a interpretação do conteúdo depende do arcabouço teórico que o graduando já possui. Em outras palavras, a IA atua como uma ferramenta de auxílio, mas sua eficácia está ligada ao conhecimento prévio do estudante para interpretar a resposta. Nesse cenário, um graduando com uma base teórica insuficiente pode não conseguir assimilar a explicação da IA, mesmo que ela esteja correta. O ideal seria que ele continuasse a iteração com a máquina para sanar as dúvidas, mas a própria dificuldade em entender a resposta inicial pode desestimular essa iteração. Estudos posteriores podem avaliar a ocorrência dessa possível perda de estímulo em seus estudantes.

Nessa mesma linha, complementarmente, o graduando que utilizar um chatbot para facilitar seus estudos e otimizar a aprendizagem deve, assim como qualquer estudo não apoiado por tecnologias digitais, reconhecer sua necessidade de informação. Essa habilidade é o cerne da competência em informação (CoInfo), discutida anteriormente, e se manifesta na capacidade de formular perguntas que efetivamente explorem uma lacuna de conhecimento. Portanto, a baixa qualidade observada nos prompts pode ser um reflexo direto de uma dificuldade em exercitar essa competência antes mesmo de interagir com a IA.

A completa ausência de unidades de contexto (CT) e indicadores de saída (IS) revela que os graduandos, em geral, não contextualizam suas consultas com informações adicionais nem especificam o formato desejado para as respostas, sugerindo pouca familiaridade com técnicas de engenharia de prompt. Isso é corroborado pelo estudo de Araújo e Saúde (2024), que demonstrou como o refinamento iterativo de prompts pode melhorar a qualidade das respostas do ChatGPT na geração de protocolos laboratoriais de química, indicando a importância da alfabetização em IA tanto para educadores quanto para estudantes.

A despeito da ausência de unidades de contexto (CT) e indicadores de saída (IS) nos prompts, observou-se um alto percentual (88,4%) de passagens corretas (PC) nas respostas fornecidas pelo chatbot (Gráfico 2). Isso sugere que o modelo de IA foi capaz de gerar conteúdo quimicamente preciso mesmo a partir de prompts pouco elaborados.

Gráfico 2 – Distribuição de categorias que tipificam as respostas do chatbot.

Fonte: elaborado pelos autores. Gráfico produzido com o auxílio dos softwares GraphPad Prisma e MaxQDA.

Estes resultados sugerem que a ação de delimitar as fontes de conhecimento do chatbot a apenas sites confiáveis pôde ser um fator preponderante na diminuição das respostas equivocadas e na ausência de alucinações pela IA. O Quadro 2 traz alguns segmentos representativos dos prompts dos graduandos e das respostas do chatbot.

Quadro 2 – Exemplos de segmentos de prompt e respostas extraídas das interações dos alunos.

Os prompts são breves e específicos sobre a reação de Diels-Alder. Prompts como “Na Diels-Alder, o produto cinético é o endo ou exo” (Estudante 1) e “O que acontece com os orbitais do dieno e dienófilo em uma reação de Diels-Alder endo?” (Estudante 3) direcionam a IA na busca pelo conhecimento empregado na geração da resposta, portanto, classificados dentro da categoria DE. Nota-se que os prompts, mesmo sem contexto e com instruções simples, variam em complexidade, desde prompts muito simples e gerais, como “vamos conversar sobre...” (Estudante 12) até prompts mais elaborados com termos como “orbitais” e “demanda da reação” (Estudante 9).

As respostas empregam terminologia química especializada e correta, como “interações secundárias entre os orbitais π” (resposta do chatbot para o Estudante 1), “orbital molecular ocupado de mais alta energia (HOMO)” (resposta para o estudante 3) e “cicloadição [4+2]” (resposta para o estudante 12). A IA fornece explicações textuais detalhadas, como exemplificado na resposta ao Estudante 9 sobre demanda eletrônica inversa, explicando a diferença na distribuição eletrônica entre dieno e dienófilo.

No tópico sobre a demanda da reação normal ou inversa, as respostas focaram principalmente na demanda normal, como esperado, dado que os materiais utilizados enfatizam esse mecanismo. Passagens como “o dieno fornece um orbital molecular ocupado de mais alta energia (HOMO)” foram consideradas corretas. No entanto, uma análise mais criteriosa nos impeliria a considerá-la como uma resposta incompleta. Seria mais adequado se a IA complementasse o raciocínio, enfatizando que o dieno também poderia utilizar o orbital LUMO na presença de substituintes retiradores de densidade eletrônica. O chatbot só aborda a demanda inversa quando diretamente questionado, como exemplificado no prompt do Estudante 9.

A IA apresentou falhas na representação gráfica de reagentes e/ou produtos em 27 das 44 passagens classificadas como incorretas, evidenciando que esse foi o seu maior campo de erro (61,4%). Tarefas de representação de compostos têm sido reportadas na literatura como desafiadoras para esses sistemas generativos. Estudos anteriores mostram esta dificuldade: os autores realizaram diversos testes em diferentes IAs e em nenhum deles houve uma representação isenta de erros conceituais ou possíveis concepções alternativas (Nascimento Junior; Morais; Girotto Junior, 2024).

No trabalho supracitado, os autores analisaram a precisão de diferentes modelos de IA em tarefas de geração de texto sobre o tópico de ligações químicas. Os resultados revelaram variações significativas no desempenho. O ChatGPT 3.5 (versão gratuita) apresentou uma taxa de erro de, aproximadamente, 25%, enquanto o ChatGPT 4.0 (versão paga) demonstrou resultados ligeiramente melhores, com 18% de erros. Ambos os testes foram conduzidos com as versões livres das IAs, utilizando como base de informação a rede e o conhecimento prévio disponível (Nascimento Junior; Morais; Girotto Junior, 2024). Em contraste, o IQ.QO Assistente obteve uma taxa de erro menor, de apenas 11%. Esses dados reforçam a importância de restringir as fontes de dados de IAGs a materiais de reconhecida confiabilidade acadêmica, visando minimizar erros conceituais e aumentar a fidedignidade nos resultados. É importante ponderar, contudo, que essa abordagem representa uma troca: ganha-se em precisão, mas limita-se o escopo do conhecimento da ferramenta, que ficará restrita aos tópicos e perspectivas abordados nas fontes selecionadas.

Estudos corroboram os achados dessa pesquisa, ao sugerirem que, para além da qualidade das fontes, a IAG depende da qualidade dos prompts utilizados (Tassoti, 2024; White et al., 2023). Um prompt bem elaborado, contendo os quatro componentes essenciais (Giray, 2023), maximiza a probabilidade de respostas relevantes e precisas.

A Figura 3 ilustra um exemplo de prompt meticulosamente elaborado para otimizar a resposta da IA, simulando uma possível interação de um aluno desse estudo. Este prompt foi estruturado com todos os componentes essenciais previamente discutidos, que podem ser dispostos em qualquer ordem desejada para a apresentação da informação. O prompt detalha o contexto do usuário como um estudante de Química Orgânica II, especifica o tópico de estudo (reações de Diels-Alder), delimita a tarefa a ser realizada (explicação da influência dos substituintes na demanda eletrônica) e define o formato da resposta (incluindo exemplos e um exercício).

Ao utilizar o prompt explicitado na Figura 3, que abarca todos os elementos esperados, no chatbot usado nessa pesquisa, a resposta não só apresentou a definição precisa da reação de Diels-Alder como uma cicloadição [4+2], mas também detalhou as diferenças entre a demanda eletrônica normal (DEN) e a demanda eletrônica inversa (DEI). O IQ.QO Assistente explicou que, na DEN, o dieno é caracterizado por conter grupos doadores de elétrons (EDG), enquanto o dienófilo contém grupos aceptores de elétrons (EWG). Termos muito específicos como EDG e EWG, associados a grupos doadores e retiradores de elétrons, respectivamente, apareceram apenas nesta resposta e em nenhuma outra do corpus de análise, evidenciando a importância da elaboração de prompts para interação com a ferramenta. Além disso, a IA forneceu exemplos específicos, citando a reação entre o 1-metóxi-butadieno e anidrido maleico como um caso de DEN, e a de um 1,3-butadieno com grupos retiradores de elétrons e estireno substituído com grupos doadores de elétrons para DEI. Por fim, a IA cumpriu com o solicitado ao criar um exercício com reagentes para complementar o estudo do tópico.

Para aprofundar o aprendizado, o próximo passo é interagir ativamente com a resposta. Isso pode incluir detalhar as etapas de resolução do exercício ou levantar questionamentos que conectem diferentes partes da explicação. Essa iteração contínua beneficia tanto a máquina, ao reforçar o aprendizado, quanto o aluno, ao incentivá-lo a refletir sobre suas próprias dúvidas e a aprimorar suas habilidades de organização, escrita e criticidade na formulação de novos prompts. Essa atitude leva-o a abandonar uma postura passiva em relação à informação e o conduz para uma postura ativa ao modificar e participar da estruturação das respostas.

Como desdobramento, as implicações desse estudo apontam direções para pesquisas futuras. Sugere-se a expansão deste estudo para outros tópicos da química e diferentes disciplinas, a fim de avaliar a generalização dos resultados. Investigações com amostras maiores poderiam permitir análises quantitativas sobre os padrões de uso da ferramenta. Por fim, estudos longitudinais seriam valiosos para acompanhar como a capacitação em engenharia de prompt impacta o desenvolvimento da autonomia e do pensamento crítico dos estudantes a longo prazo.

A pesquisa em questão teve como objetivo investigar se um chatbot especificamente criado para o ensino de química orgânica, com base de conhecimento delimitada a sites e materiais confiáveis, demonstra menor propensão a erros conceituais em comparação com modelos de linguagem de uso geral. Além disso, foram analisados os padrões de elaboração de prompts dos estudantes e, em contrapartida, apresentadas as características de um prompt eficaz, com base no modelo teórico e no exemplo prático discutidos no texto.

Os resultados demonstram que o chatbot criado comete menos erros conceituais do que suas contrapartes livres. A taxa de erro de apenas 11% do IQ.QO Assistente contrasta favoravelmente com os 25% do ChatGPT 3.5 e 18% do ChatGPT 4.0 relatados em estudo anterior. Essa diferença evidencia a importância de restringir as fontes de dados das IAs generativas a materiais academicamente validados, especialmente em domínios de conhecimento muito específicos como a química.

A análise dos 48 segmentos extraídos dos prompts dos graduandos revelou padrões que chamam a atenção pela simplicidade, com predominância de dados de entrada (62,5%), indicando uma abordagem direta nas consultas, baixa presença de instruções (20,8%) e iterações (16,7%), e ausência completa de elementos de contexto e indicadores de saída. Esses padrões sugerem que os alunos tendem a utilizar IAs generativas de maneira semelhante aos motores de busca convencionais, sem explorar técnicas mais sofisticadas de engenharia de prompt. Nesse sentido, os dados reforçam a necessidade de serem criados cursos que auxiliem os alunos a usarem as ferramentas de inteligência artificial no contexto educacional. Os professores podem ensinar com as ferramentas, mas também podem ensinar como usá-las, a fim de que os alunos consigam extrair o máximo delas, sendo beneficiados pela tecnologia.

As previsões da pesquisa alinham-se com os resultados de um teste feito a partir de um exemplo de prompt bem estruturado, contendo quatro componentes essenciais, que são contextualização, dados precisos, tarefa clara e formato desejado, evidenciando que a elaboração de prompts pode maximizar a precisão e relevância das respostas. Novamente, reitera-se a necessidade de ensinar os alunos como produzirem seus próprios prompts. As possibilidades educacionais vão desde o desenvolvimento do pensamento crítico, personalização do aprendizado, transição para aprendizagem ativa, desenvolvimento de habilidades computacionais e complemento ao ensino tradicional com assistentes de aprendizagem.

ALPAYDIN, Ethem. Introduction to machine learning. 2 ed. Cambridge, Mass: MIT Press, 2010.

ARAÚJO, José Luís; SAÚDE, Isabel. Can ChatGPT enhance chemistry laboratory teaching? Using prompt engineering to enable AI in generating laboratory activities. Journal of Chemical Education, Washington, D.C., v. 101, n. 5, p. 1858-1864, mai. 2024. Disponível em: https://pubs.acs.org/doi/10.1021/acs.jchemed.3c00745. Acesso em: 16 nov. 2025.

BAUM, Zachary J.; YU, Xiang; AYALA, Philippe Y.; ZHAO, Yanan; WATKINS, Stephen P.; ZHOU Qiongqiong. Artificial intelligence in chemistry: current trends and future directions. Journal of Chemical Information and Modeling, v. 61, n. 7, p. 3197-3212, 26 jul. 2021. Disponível em: https://pubs.acs.org/doi/10.1021/acs.jcim.1c00619. Acesso em: 02 dez. 2025.

CARLEO, Giuseppe; TROYER, Matthias. Solving the quantum many-body problem with artificial neural networks. Science, Washington, D. C., v. 355, n. 6325, p. 602-606, fev. 2017. Disponível em: https://www.science.org/doi/10.1126/science.aag2302. Acesso em: 16 nov. 2025.

FUNEL, Jacques-Alexis; ABELE, Stefan. Industrial applications of the Diels-Alder reaction. Angewandte Chemie International Edition, Weinheim, v. 52, n. 14, p. 3822-3863, 2013. Disponível em: https://onlinelibrary.wiley.com/doi/full/10.1002/anie.201201636. Acesso em: 16 nov. 2025.

GRANDO, John Wesley; CLEOPHAS, Maria das Graças. Análise de aplicativos móveis de realidades digitais para o ensino de química a partir de um modelo heurístico. Revista de Investigação Tecnológica em Educação em Ciências e Matemática, Cuiabá, v. 1, p. 152-165, 2021. Disponível em: https://revistas.unila.edu.br/ritecima/article/view/3195. Acesso em: 16 nov. 2025.

HERMANSON, Greg T. The reactions of bioconjugation. In: Bioconjugate Techniques. [S.I.]: Elsevier, 2013. p. 229-258.

LEITE, Bruno Silva. Tecnologias no ensino de química: teoria e prática na formação docente. Curitiba: Appris, 2015.

LEITE, Bruno Silva. Tecnologias digitais e metodologias ativas no ensino de química: análise das publicações por meio do corpus latente na internet. Revista Internacional de Pesquisa em Didática das Ciências e Matemática, Itapetininga, e020003, jul. 2020. Disponível em: https://periodicoscientificos.itp.ifsp.edu.br/index.php/revin/article/view/18. Acesso em: 16 nov. 2025.

LEITE, Bruno Silva. Análise da inteligência artificial ChatGPT na proposição de planos de aulas para o ensino de química, Vigo, v. 23, p. 473-497, 2024. Disponível em: https://dialnet.unirioja.es/servlet/articulo?codigo=9903754. Acesso em: 16 nov. 2025.

NASCIMENTO JÚNIOR, Wilton José Diolindo; MORAIS, Carla; GIROTTO JÚNIOR, Gildo. Enhancing AI responses in chemistry: integrating text generation, image creation, and image interpretation through different levels of prompts. Journal of Chemical Education, Washington, D. C., v. 101, n. 9, p. 3767-3779, set. 2024. Disponível em: https://pubs.acs.org/doi/10.1021/acs.jchemed.4c00230. Acesso em: 16 nov. 2025.

RUSSEL, Stuart. Inteligência artificial a nosso favor: como manter o controle sobre a tecnologia. São Paulo: Companhia das Letras, 2021.

SANTOS, Marcos Eduardo Miranda; BATISTA, Wanda dos Santos; OLIVEIRA, João Victor França; JANSEN, Isabel Conceição Carvalho; SANTOS, Kelly Fernanda de Sousa; SANTO, Eliane Coelho Rodrigues dos. Ações educativas para o combate ao mosquito Aedes aegypti em uma escola da região metropolitana de São Luís. Caderno Pedagógico, Curitiba, v. 14, n. 1, jun. 2017. DOI: https://doi.org/10.22410/issn.1983-0882.v14i1a2017.1317. Disponível em: https://ojs.studiespublicacoes.com.br/ojs/index.php/cadped/article/view/1372. Acesso em: 16 nov. 2025.

SCOTT, JoAnna M.; BOHATY, Brenda S.; GADBURY-AMYOT, Cynthia C. Using learning management software data to compare students’ actual and self-reported viewing of video lectures. Journal of Dental Education, v. 85, n. 10, p. 1674-1682, 2021. DOI: https://doi.org/10.1002/jdd.12633. Disponível em: https://onlinelibrary.wiley.com/doi/full/10.1002/jdd.12633. Acesso em: 16 nov. 2025.

SEGLER, Marwin H. S.; PREUSS, Mike; WALLER, Mark P. Planning chemical synthesis with deep neural networks and symbolic AI. Nature, Londres, v. 555, n. 7698, p. 604-610, mar. 2018. Disponível em: https://www.nature.com/articles/nature25978. Acesso em: 16 nov. 2025.

SENIOR, Andrew W.; EVANS, Richard; JUMPER, John; KIRKPATRICK, James; SIFRE, Laurent; GREEN, Tim; QIN, Chongli; ŽÍDEK, Augustin, NELSON, Alexander W. R.; BRIDGLAND, Alex; PENEDONES, Hugo; PETERSEN, Stig; SIMONYAN, Karen; CROSSAN, Steve; KOHLI, Pushmeet; JONES, David T.; SILVER, David; KAVUKCUOGLU, Koray; HASSABIS, Demis. Improved protein structure prediction using potentials from deep learning. Nature, Londres, v. 577, n. 7792, p. 706-710, jan. 2020. Disponível em: https://www.nature.com/articles/s41586-019-1923-7. Acesso em: 16 nov. 2025.

STAKE, Robert E. The art of case study research. California: Sage Publications, 1995.

TASSOTI, Sebastian. Assessment of students use of generative artificial intelligence: prompting strategies and prompt engineering in chemistry education. Journal of Chemical Education, Washington, D. C., v. 101, n. 6, p. 2475-2482, mai. 2024. Disponível em: https://pubs.acs.org/doi/10.1021/acs.jchemed.4c00212. Acesso em: 16 nov. 2025.

TAUBER, Amanda L.; LEVONIS, Stephan M.; SCHWEIKER, Stephanie S. Gamified virtual laboratory experience for in-person and distance students. Journal of Chemical Education, Washington, D. C., v. 99, n. 3, p. 1183-1189, jan. 2022. Disponível em: https://pubs.acs.org/doi/10.1021/acs.jchemed.1c00642. Acesso em: 16 nov. 2025.

WHITE, Jules; FU, Quchen; HAYS, Sam; SANDBORN, Michael; OLEA, Carlos; GILBERT, Henry; ELNASHAR, Ashraf; SPENCER-SMITH, Jesse; SCHMIDT, Douglas C. A prompt pattern catalog to enhance prompt engineering with ChatGPT. 2023. DOI: https://doi.org/10.48550/arXiv.2302.11382. Disponível em: https://arxiv.org/abs/2302.11382. Acesso em: 16 nov. 2025.

YEINGST, Tyus J.; HELTON Angelica M.; HAYES, Daniel J. Applications of Diels-Alder qhemistry in biomaterials and drug delivery. Macromolecular Bioscience, Weinheim, v. 24, n. 12, p. 2400274, dez. 2024. Disponível em: https://onlinelibrary.wiley.com/doi/full/10.1002/mabi.202400274. Acesso em: 16 nov. 2025.

Licenciado em Química pela Universidade Federal de Minas Gerais (UFMG) e mestre em Química Orgânica pela Universidade Estadual de Campinas (Unicamp). Doutorando na UNICAMP, pesquisa tecnologias digitais no ensino de química orgânica, incluindo animações, realidade aumentada/virtual e inteligência artificial. Realiza doutorado sanduíche na Universidade de Ottawa (Canadá), investigando pensamento sistêmico no ensino de química.

Licenciada em Química pela Universidade Federal Fluminense (UFF) e doutora pela Universidade Estadual de Campinas (Unicamp). Pesquisadora de Pós-Doutorado Júnior CNPq na Unicamp, desenvolve projeto sobre sistematização do conhecimento em divulgação científica. Atuou no Instituto Butantan (2021-2024) e colabora com o Prêmio Solve for Tomorrow Samsung/CENPEC desde 2020, integrando o comitê avaliador desde 2021.

Professor associado MS-5.1 da Universidade Estadual de Campinas (Unicamp) desde 2008. Formado em Química Industrial, Bacharelado e Licenciatura pela Universidade Federal Fluminense (UFF), possui mestrado pela Universidade Federal do Rio de Janeiro (UFRJ), doutorado e livre-docência pela Unicamp. Pesquisa síntese orgânica, com ênfase em síntese total de produtos naturais, análogos bioativos, geoquímica orgânica molecular e métodos QSAR/QSPR.

Livre-docente no Instituto de Química da Universidade Estadual de Campinas (Unicamp). Licenciado pela Universidade Estadual Paulista (UNESP/Araraquara), mestre e doutor em Ensino de Química pela Universidade de São Paulo (USP). Professor da educação básica por 9 anos, ingressou na Unicamp em 2017. Pesquisa formação de professores, competências digitais docentes, educação STEM/STEAM, divulgação científica e aplicações de inteligência artificial no ensino.

1 Universidade Estadual de Campinas (Unicamp), Campinas, SP, Brasil.

ORCID ID: https://orcid.org/0000-0002-9964-4572 . E-mail: wiltonjdn@gmail.com

2 Universidade Estadual de Campinas (Unicamp), Campinas, SP, Brasil.

ORCID ID: https://orcid.org/0000-0003-1204-0184 . E-mail: decarvalho.mayara@gmail.com

3 Universidade Estadual de Campinas (Unicamp), Campinas, SP, Brasil.

ORCID ID: https://orcid.org/0000-0002-6418-3614 . E-mail: pmiranda@unicamp.br

4 Universidade Estadual de Campinas (Unicamp), Campinas, SP, Brasil.

ORCID ID: https://orcid.org/0000-0001-9933-100X . E-mail: ggirotto@unicamp.br

Recebido em: 19/03/2025 Aprovado em: 15/10/2025 Publicado em: 03/12/2025

5 Filme de 1999, dirigido por Chris Columbus e baseado na obra de Isaac Asimov. A trama acompanha a jornada de duzentos anos do androide Andrew (interpretado por Robin Williams), que transcende sua programação inicial para desenvolver características complexas como criatividade, emoções e o anseio por ser reconhecido como um ser humano.

6 Isaac Asimov (1920-1992) foi um escritor e professor de bioquímica norte-americano, considerado um dos maiores escritores de ficção científica. Em suas obras, como a coletânea Eu, Robô e a série Fundação, Asimov explorou profundamente a relação entre humanos e máquinas inteligentes. Asimov é célebre por propor as Três Leis da Robótica, um código de ética para a inteligência artificial que se tornou um pilar no gênero e influenciou o debate filosófico sobre o tema.

Categoria	Descrição da categoria
Contexto (CT)	Informações externas ou contexto adicional que fornecem conhecimento básico ao modelo, ajudando-o a gerar respostas mais precisas e relevantes.
Instrução (IT)	Uma tarefa ou instrução específica que orienta o comportamento do modelo e o direciona para a saída desejada.
Dados de entrada (DE)	A entrada ou pergunta que queremos que o modelo processe e forneça uma resposta. No caso, os dados relacionados ao conteúdo de Química.
Indicador de saída (IS)	Especifica o tipo de formato da saída desejada. Ajuda a moldar a resposta definindo se precisamos de uma resposta curta, um parágrafo ou qualquer outro formato específico.
Iteração (ITE)	Especifica uma pergunta derivada da pergunta anterior.
Passagem correta (PC)	Especifica as passagens do texto gerado pela IA que estão conceitualmente corretas.
Passagem incorreta (PI)	Especifica as passagens do texto gerado pela IA que não estão conceitualmente corretas.

Segmento de prompt	Segmento de resposta
Na Diels-Alder, o produto cinético é o endo ou exo (Estudante 1)	A preferência pelo produto endo sob controle cinético é explicada pela regra de Alder. Esta regra estabelece que, em condições cinéticas, o produto endo é favorecido devido a interações secundárias entre os orbitais π do dieno e os substituintes [...].
O que acontece com os orbitais do dieno e dienófilo em uma reação de Diels-Alder endo? (Estudante 3)	[...] O dieno fornece um orbital molecular ocupado de mais alta energia (HOMO - Highest Occupied Molecular Orbital).
Vamos conversar sobre a reação de Diels Alder (Estudante 12)	[...] Esta reação envolve a cicloadição [4+2] entre um dieno conjugado e um dienófilo, resultando na formação de um anel de seis membros.
Quando a demanda da reação de Diels Alder será inversa? (Estudante 9)	Na reação de Diels-Alder de demanda eletrônica inversa, o dieno é pobre em elétrons e o dienófilo é rico em elétrons. Esta situação ocorre quando o dieno possui grupos retiradores de elétrons e o dienófilo possui grupos doadores de elétrons. [...]