Desde que o ChatGPT foi lançado no final de 2022, milhões de pessoas passaram a recorrer a modelos de linguagem de grande escala para aceder a conhecimento. E percebe-se facilmente porquê: faz-se uma pergunta, recebe-se uma síntese bem escrita e segue-se em frente - parece aprendizagem sem esforço.
No entanto, um novo artigo científico que coassinei apresenta evidência experimental de que essa facilidade pode ter um preço: quando as pessoas dependem de modelos de linguagem de grande escala para lhes resumirem informação sobre um tema, acabam por desenvolver um conhecimento mais superficial do que quando aprendem através de uma pesquisa normal no Google.
Eu e o meu coautor, Jin Ho Yun - ambos professores de marketing - relatámos este resultado num trabalho assente em sete estudos com mais de 10.000 participantes.
Como testámos a aprendizagem com ChatGPT e Google
Na maioria dos estudos foi usado o mesmo modelo de investigação: pedia-se aos participantes que aprendessem sobre um tema - por exemplo, como criar uma horta de legumes - e, de forma aleatória, atribuía-se a cada pessoa um de dois métodos: usar um LLM como o ChatGPT ou, de forma mais "à antiga", navegar por ligações através de uma pesquisa padrão no Google.
Não houve limitações quanto à utilização das ferramentas; os participantes podiam pesquisar no Google durante o tempo que entendessem e podiam continuar a pedir respostas ao ChatGPT se quisessem mais informação.
Depois de terminarem a pesquisa, era-lhes pedido que escrevessem conselhos para um amigo sobre o tema, com base no que tinham aprendido.
O que mostraram os resultados e os conselhos escritos
Os dados revelaram um padrão consistente: em comparação com quem aprendeu através de pesquisa na web, as pessoas que aprenderam com um LLM sentiram que aprenderam menos, despenderam menos esforço ao escrever o conselho e, no fim, produziram conselhos mais curtos, com menos factos e mais genéricos.
Quando esses conselhos foram, por sua vez, apresentados a uma amostra independente de leitores - que não sabiam qual ferramenta tinha sido usada para aprender o tema -, estes consideraram-nos menos informativos e menos úteis, e mostraram menor probabilidade de os adoptar.
Verificámos que estas diferenças se mantinham em vários contextos. Por exemplo, uma explicação possível para os utilizadores de LLM escreverem conselhos mais breves e genéricos seria o facto de os resultados do LLM exporem as pessoas a informação menos diversificada do que os resultados do Google.
Para controlar essa hipótese, conduzimos uma experiência em que os participantes eram expostos a um conjunto idêntico de factos nos resultados das suas pesquisas no Google e no ChatGPT.
De forma semelhante, noutra experiência mantivemos constante a plataforma de pesquisa - o Google - e variámos se os participantes aprendiam a partir dos resultados padrão do Google ou da funcionalidade de "Visão geral com IA".
Os resultados confirmaram que, mesmo mantendo constantes os factos e a plataforma, aprender através de respostas sintetizadas por LLM conduziu a um conhecimento mais superficial do que recolher, interpretar e sintetizar a informação por iniciativa própria, a partir de ligações web convencionais.
Porque é importante
Porque é que o uso de LLM pareceu enfraquecer a aprendizagem? Um dos princípios mais básicos do desenvolvimento de competências é que as pessoas aprendem melhor quando estão activamente envolvidas com o material que pretendem dominar.
Ao aprender sobre um tema através de uma pesquisa no Google, existe muito mais "fricção": é necessário navegar por diferentes ligações, ler fontes informativas e, depois, interpretar e sintetizar tudo por conta própria.
Apesar de exigir mais, essa fricção ajuda a formar uma representação mental mais profunda e mais original do assunto. Já com os LLM, grande parte desse trabalho é feito em nome do utilizador, o que transforma a aprendizagem de um processo activo para um processo mais passivo.
E a seguir?
Convém ser claro: não acreditamos que a solução para estes problemas passe por evitar o uso de LLM, sobretudo tendo em conta os benefícios inegáveis que oferecem em muitos contextos.
A nossa mensagem é outra: as pessoas precisam de se tornar utilizadores mais inteligentes ou mais estratégicos de LLM - e isso começa por compreender em que domínios os LLM ajudam e em quais podem prejudicar os objectivos.
Precisa de uma resposta rápida e factual a uma pergunta? Use à vontade o seu copiloto de IA preferido. Mas se a sua meta for construir conhecimento profundo e generalizável numa área, depender apenas de sínteses produzidas por LLM será menos útil.
No âmbito da minha investigação sobre a psicologia das novas tecnologias e dos novos media, também me interessa perceber se é possível tornar a aprendizagem com LLM num processo mais activo. Noutra experiência, testámos essa hipótese pedindo aos participantes que interagissem com um modelo GPT especializado que fornecia ligações web em simultâneo com as suas respostas sintetizadas.
Ainda assim, verificámos que, assim que os participantes recebiam um resumo do LLM, deixavam de estar motivados para aprofundar as fontes originais. O resultado foi que continuaram a desenvolver um conhecimento mais superficial do que os participantes que usaram o Google de forma padrão.
Com base nisto, no meu trabalho futuro tenciono estudar ferramentas de IA generativa que introduzam fricções saudáveis em tarefas de aprendizagem - em particular, analisar que tipos de mecanismos de protecção ou "lombas" mais eficazmente levam os utilizadores a aprender activamente para lá de respostas fáceis e sintetizadas.
Ferramentas deste tipo parecem especialmente críticas no ensino secundário, onde um grande desafio para os educadores é encontrar a melhor forma de capacitar os alunos para desenvolver competências fundamentais de leitura, escrita e matemática, ao mesmo tempo que se preparam para um mundo real em que os LLM provavelmente farão parte integrante do quotidiano.
O Resumo de Investigação é um apontamento breve sobre trabalhos académicos interessantes.
Shiri Melumad, Professora Associada de Marketing, Universidade da Pensilvânia
Este artigo é republicado de The Conversation ao abrigo de uma licença Creative Commons. Leia o artigo original.
Comentários
Ainda não há comentários. Seja o primeiro!
Deixar um comentário