ChatGPT + raisonnement critique : le duo gagnant pour les étudiants ?

UNE ÉTUDE RÉVÈLE LES EFFETS COMPLÉMENTAIRES DE L'IA ET DU RAISONNEMENT CRITIQUE

Une expérience aléatoire menée auprès de plus de 1 000 étudiants de première année à l’université Bocconi, en collaboration avec OpenAI Economic Research, a révélé des effets distincts et complémentaires entre l’accès à ChatGPT et une formation au raisonnement causal. L’accès à l’outil d’intelligence artificielle a amélioré la qualité et la cohérence des travaux des étudiants, tandis que l’exercice de raisonnement causal a permis de générer des idées plus originales. Les étudiants ayant bénéficié des deux méthodes ont cumulé ces avantages.

L'EXPÉRIENCE : UN CAS CONCRET EN MARKETING UNIVERSITAIRE

Pendant l’expérience, les étudiants ont travaillé sur un cas réel : développer des recommandations marketing pour la boutique de merchandising de leur université. Ils ont été répartis aléatoirement, selon leur horaire de cours, en quatre groupes. Le premier groupe avait accès à ChatGPT (GPT-4o), le deuxième a suivi une formation au raisonnement causal, le troisième a bénéficié des deux, et le dernier n’a reçu aucune aide.

Le raisonnement causal est une forme de pensée critique qui consiste à établir des liens entre les causes et les effets, et à expliquer pourquoi une solution peut fonctionner ou échouer. La formation dispensée ne concernait pas l’intelligence artificielle, mais utilisait un jeu, des exemples, des questions et des retours pour enseigner ces concepts.

DEUX APPROCHES, DEUX BÉNÉFICES : QUALITÉ ET ORIGINALITÉ

Les travaux des étudiants ont été évalués par des correcteurs humains formés, selon une grille de notation sur cinq points. Parallèlement, les chercheurs ont utilisé une analyse automatisée de texte pour mesurer le nombre et la variété des idées, les signes de raisonnement causal, ainsi que la similarité avec les recommandations écrites par trois experts.

Les étudiants ayant eu accès à ChatGPT ont obtenu un score presque d’un point supérieur sur cinq. Leurs réponses contenaient plus d’idées, suivaient une logique plus claire et ressemblaient davantage aux recommandations rédigées par des experts. L’intelligence artificielle a donc aidé les débutants à produire des travaux plus professionnels. Mais attention : les étudiants n’ont pas simplement confié leurs devoirs à ChatGPT. Ils devaient encore décider quoi demander, évaluer les réponses et choisir ce qui figurait dans leur rendu final.

LE RAISONNEMENT CRITIQUE : UNE SURPRISE DANS LES RÉSULTATS

La formation au raisonnement causal a produit un résultat plus inattendu. Les étudiants ayant suivi l’exercice ont expliqué plus clairement pourquoi leurs idées pouvaient fonctionner ou échouer. Cependant, ils n’ont pas obtenu de meilleurs scores sur la grille de notation, qui ne mesurait que l’adéquation des recommandations avec deux objectifs marketing standard : augmenter la notoriété et l’utilisation de la boutique universitaire.

L’analyse textuelle a révélé un autre avantage non capté par la grille. Dans l’ensemble, les étudiants ayant suivi l’exercice ont produit une plus grande variété d’idées, plus distinctes de celles de leurs camarades. Cela compte, car une grille traditionnelle, comme celle utilisée pour noter les étudiants de cette expérience, peut récompenser une réponse claire et bien structurée tout en ignorant si un étudiant a eu une idée que personne d’autre n’a eue.

L'IA ET LA CRITIQUE : DEUX Outils QUI NE SE REMPLACENT PAS

Il peut être tentant de présenter le débat éducatif comme un choix entre apprendre aux étudiants à réfléchir par eux-mêmes ou à utiliser l’intelligence artificielle. Cette expérience montre que les deux approches sont précieuses, mais de manières différentes. L’accès à l’IA a aidé les étudiants à produire des réponses plus abouties, riches en idées et logiquement cohérentes. La formation au raisonnement critique les a encouragés à développer une plus grande variété d’idées originales, à remettre en question les hypothèses et à expliquer pourquoi leurs idées devraient fonctionner.

LE DUO GAGNANT : LES ÉTUDIANTS BÉNÉFICIANT DES DEUX MÉTHODES

Les étudiants ayant reçu à la fois l’accès à ChatGPT et la formation au raisonnement critique ont montré les avantages de chaque méthode. La variété de leurs idées était comparable à celle des étudiants ayant suivi uniquement l’exercice. Leurs scores sur la grille et le nombre d’idées étaient similaires à ceux des étudiants ayant eu accès à ChatGPT seul. Leurs travaux ont également révélé une cohérence logique plus forte et davantage de preuves de recherche d’explications et de remise en question des hypothèses. Globalement, ce groupe a enregistré des progrès sur la plus large gamme de critères.

POURQUOI UNE ÉTUDE ALÉATOIRE EST-ELLE SI IMPORTANTE ?

Le caractère aléatoire de l’expérience a permis aux chercheurs d’analyser ces différents facteurs de manière isolée. Ils ont pu séparer les effets de l’accès à ChatGPT, de la formation au raisonnement critique, et de leur combinaison. Cela fait de cette étude une contribution particulièrement utile à un corpus de recherche en pleine expansion sur l’impact de l’intelligence artificielle sur les étudiants et sur la meilleure façon de structurer et soutenir leur apprentissage.

UN DÉFI POUR LES ÉCOLES : MESURER CE QUI COMPTE VRAIMENT

La différence entre l’impact de l’exercice de raisonnement causal sur les étudiants et ce que la grille de notation traditionnelle a capté pointe vers un défi plus large pour les écoles. Si l’intelligence artificielle peut aider les étudiants à produire des travaux aboutis, semblables à ceux d’experts, alors se concentrer uniquement sur la réponse finale nous en dit moins sur ce que l’étudiant comprend réellement.

De nombreux enseignants réfléchissent déjà aux implications de cette découverte. Cela s’inscrit dans une tendance de plusieurs décennies où la technologie et l’éducation évoluent ensemble pour soutenir les compétences dont les étudiants ont besoin dans la société moderne.

REPENSER LES ÉVALUATIONS POUR RÉCOMPENSER L'ORIGINALITÉ

Ces résultats soulignent l’importance de récompenser les étudiants pour des travaux qui reflètent l’originalité, le raisonnement et la prise en compte de plusieurs approches, et pas seulement les réponses les plus conventionnelles ou abouties. Les évaluations doivent évoluer pour mesurer des qualités comme la créativité et la pensée critique, et non plus seulement la conformité à un modèle attendu.

CE QU'IL FAUT RETENIR : L'IA ET LA CRITIQUE, UNE COMBINAISON GAGNANTE

L’intelligence artificielle a aidé les étudiants à améliorer la qualité de leurs réponses. La formation au raisonnement critique a élargi la portée de leurs idées. Les deux jouent des rôles complémentaires dans la préparation des étudiants pour l’avenir.