« Ce que nous devons essayer de comprendre est justement comment l’usage du langage peut être, par certains côtés, aussi systématique et prédictible et en même temps, d’une autre manière, aussi imprévisible et novateur. »

Jacques Bouveresse, La force de la règle Wittgenstein et l’invention de la nécessité, Les éditions de Minuit, 1987, p. 14.

Le mercredi 22 février dernier était publié sur ce même blog un intéressant article de Sacha Sydoryk portant sur les inquiétudes académiques associées à l’usage de Chat GPT à l’Université. Dérogeant un peu à la ligne éditoriale établie pour ces chroniques « d’actualité » on se propose de discuter avec cet article, tout du moins avec certaines des thèses qui y sont mises en avant en partageant quelques intuitions juridiques et d’autres moins juridiques à propos des usages de cet agent conversationnel reposant sur une IA. Dans le milieu de l’enseignement, l’angoisse immédiatement exprimée avait comme objet la possibilité d’en faire un outil de triche indétectable. Par une telle propriété, on entend le fait pour une production estudiantine d’avoir été composée essentiellement par cet outil sans qu’il soit possible d’en faire le constat à la seule lecture. L’appréciation de la qualité de la production de langage proposée par Chat GPT a déjà fait l’objet d’une analyse rigoureuse par Sacha Sydoryk dans son article. Par suite, en l’état actuel de la technique informatique, Chat GPT ne produit pas de travaux qualitatifs comme l’a bien montré l’auteur susmentionné. Toutefois, il faut admettre que les codes grammatologiques et syntaxiques sont correctement mis en œuvre ce qui n’est pas toujours le cas des travaux estudiantins, même pour les très bons d’entre eux. Ajoutons pour nuancer que si les productions de Chat GPT ne sont pas remarquables de qualité elles sont passables. Un exemple très médiatisé à Lyon[1] a révélé que des travaux remis avait été évalués au-dessus de la moyenne. L’article en référence évoque même le fait que « Cette pratique n’étant pas interdite, les sept étudiants ont reçu la note de 11,75/20 pour ces devoirs tout de même bien rédigés ». Il est ici difficile de suivre l’auteur de l’article et on a du mal d’ailleurs à savoir si c’est lui ou l’enseignant qui est à l’origine de cette thèse selon laquelle le recours à Chat GPT pour la rédaction d’un devoir maison ne serait pas interdite.

On peut rappeler que la sanction de la fraude à l’Université est encadrée par les articles R. 811-10 et suivants du Code de l’éducation. Á ce titre, le Code de l’éducation ne prévoit pas de définition précise de la fraude mentionnée au 1° de l’article R. 811-11 du Code de l’éducation. Les Universités définissent par suite au sein de leurs instances et dans le cadre défini par la loi les pratiques susceptibles de relever d’un acte de fraude. Il peut s’agir de triche comme l’utilisation d’un téléphone pendant un examen alors que c’est interdit, l’usage d’antisèche, la communication avec les autres étudiants ou encore la fourniture d’un document falsifié à l’inscription.

On ne risquera pas une définition de synthèse de la fraude, inexistante en droit positif, mais on peut mettre en évidence quelques intuitions notionnelles. Le dictionnaire Cornu distingue trois sens dont un est présenté comme général. Ce dernier propose d’envisager la fraude comme la mauvaise foi, la tromperie, ou encore l’action accomplie dans le dessein de préjudicier à des droits que l’on doit respecter. Le deuxième sens envisage la fraude comme un agissement illicite par l’emploi de moyens illégaux et enfin le dernier sens propose une approche légèrement distincte de la deuxième en considérant la fraude comme l’agissement illicite par l’emploi de moyens réguliers. Dans ce dernier cas il s’agirait notamment d’un acte régulier en soi mais accompli dans l’intention d’éluder une loi impérative ou prohibitive[2]. Si ces éléments ne font pas formellement partie du droit positif, ils composent assurément l’imaginaire interprétatif des acteurs confrontés à des actes dont ils doivent décider s’ils relèvent de la catégorie de fraude. Par suite, on peut retenir quelques traits caractéristiques susceptibles de justifier de retenir la qualification de fraude à savoir les idées de tromperie, d’indifférence éventuelle pour le caractère régulier du moyen utilisé ou enfin l’illicéité du moyen ou du résultat obtenu au regard des règles qui auraient dû en contraindre l’obtention.

Le Code de l’éducation précise une procédure lorsque les faits sont constatés lors d’examen ou concours (R. 811-12 du Code de l’éducation). Le cas des devoirs maison intégrant le contrôle continu entrent bien dans le champ de l’article R. 811-11 1° mais ne font pas l’objet d’une procédure aussi détaillée.  Le cas le plus fréquent de fraude à ces occasions est évidemment le plagiat lequel consiste à s’approprier, sans référence des idées qui ne sont pas les siennes. Toutefois, il faut relever que le Code de l’éducation ne vise pas le plagiat mais bien la fraude comme acte justifiant l’engagement de poursuite par une section disciplinaire de sorte que d’autres types d’actes pourraient être qualifiés de fraude sans relever du plagiat. Ajoutons incidemment que l’article L. 241-2 du Code des relations entre le public et l’administration (CRPA) évoque les actes obtenus par fraude. Assurément, il n’est pas difficile d’affirmer qu’un diplôme obtenu par le moyen d’un ou plusieurs actes de triches et/ou de plagiats peut-être analysé comme un acte obtenu par fraude[3]. La Cour administrative d’appel de Marseille a ainsi pu préciser au visa de l’article L. 241-2 du CRPA que « la fraude ne peut résulter que du comportement du bénéficiaire d’une décision qui trompe l’administration sur sa situation véritable pour obtenir une décision en sa faveur »[4]. On retrouve le caractère de tromperie évoqué plus haut permettant d’analyser certaines hypothèses d’usages d’un agent conversationnel.

Dans le cas de Chat GPT, la discussion n’est pas aisée mais à notre sens peu différente de cas plus ordinaires de plagiats tout en soulevant par suite des questions pédagogiques du type de celles évoquées dans l’article de Sacha Sydoryk[5]. Dans une première hypothèse imaginons le cas d’un travail consistant en un copier-coller pur et simple de réponses apportées par Chat GPT, en somme assez analogues au copier-coller de sites web bien connus des enseignants et enseignantes en droit (La toupie, fallaitpasfairedudroit, village justice etc.). Il semble peu difficile de considérer qu’un tel cas relève d’une pratique frauduleuse. La part de production personnelle est suffisamment proche de zéro pour que l’ensemble puisse être considéré comme un plagiat suivant une approche objective. Il reste ensuite tout un dégradé de pratiques auxquelles les enseignants sont déjà confrontés et qui peuvent être considérées comme des cas difficiles : reprendre des idées et développer à partir d’elles, utiliser Chat GPT pour délimiter un sujet en lui posant des questions, reformuler les réponses apportées pour rédiger des paragraphes au moins formellement harmonisés etc. Toutes ces pratiques sont déjà une réalité avec les sites évoqués mas également avec des sources sérieuses comme le fait de reprendre une note de jurisprudence publiée pour un commentaire d’arrêt, des morceaux d’articles pour une dissertation etc. La réflexion pourrait même être prolongée en intégrant les accompagnements privés qu’ils soient institutionnalisés dans des prépas ou par le biais de cours particuliers.

Il nous semble que la réponse ne saurait être ici purement répressive sans quoi elle serait assurément un coup d’épée dans l’eau. En effet, la perspective d’une réflexion pédagogique suggérée par Sacha Sydoryk nous paraît tout à fait intéressante. Il serait même envisageable de jouer sur un point faible désormais bien connu du public. Dans leur article publié sur le site du Wall Street Journal[6], Henry Kissinger, Eric Schmidt et Daniel Huttenlocher rappellent l’existence « d’hallucinations » ou encore de « Stochastic parroting »[7]. Ces termes caractérisent le fait pour ces outils de parfois « makes up facts to provide a seemingly coherent answer »[8]. Les auteurs ont ainsi fait l’expérience de demander six articles d’Henry Kissinger lui ayant servi à répondre à une question qui lui avait été préalablement posée sur ce que pense Henry Kissinger de l’intelligence artificielle. Sur les six références proposées par Chat GPT seule une était un véritable article d’Henry Kissinger. Jouant sur le renversement épistémologique que représenterait un tel outil d’après les auteurs, un travail d’analyse critique pourrait être demandé aux étudiants façon jeu des sept erreurs. Sans même chercher à piéger Chat GPT la discussion sur la production de tels agents conversationnels est l’occasion d’un travail stimulant. Il ne s’agit en somme que d’un ajustement de nos petits jeux de langage académiques en vue de préserver l’examen des qualités intellectuelles estudiantines lesquelles consistent toujours à savoir restituer un raisonnement articulé dans un langage clair, à comprendre un problème etc.

            Comme souvent pour les usages numériques, la problématique paraît moins relever des normes applicables que des conditions de leur efficacité réelle. Ainsi, la possibilité de sanctionner un usage abusif de Chat GPT ne résout notamment pas le problème de la détection dudit usage en particulier au regard de la qualité formelle des productions de langage de cet outil. Il s’agit d’un terrain de discussion sur lequel il conviendrait plutôt d’inviter des spécialistes d’informatique, des linguistes et des sociologues dans le but d’améliorer notre compréhension du fonctionnement de ces agents conversationnels. Peut-être serait-il possible de détecter un style d’écriture qui leur serait propre ?

---

[1] « 50 % des étudiants écrivent leur devoir grâce à ChatGPT : leur professeur de Lyon découvre la triche » ,Ouest France, 12/01/2023, https://www.ouest-france.fr/auvergne-rhone-alpes/lyon-69000/50-des-etudiants-ecrivent-leur-devoir-grace-a-chatgpt-leur-professeur-de-lyon-decouvre-la-triche-2eee1c62-927e-11ed-a40e-faa12f25a17d

[2] Gérard Cornu & Association Henri Capitant, Vocabulaire juridique, PUF, 9^ème éd., 2011, p. 477-478.

[3] Sur la qualification juridique du diplôme voir par exemples : CAA Versailles, 10 septembre 2015, N° RG 12/03213, Roger M ; CAA Versailles, 6 avril 2021, N° RG 20/04602, D. A.

[4] CAA Marseille, 19/11/2021, n° 19MA03332, SARL Guignard Promotion.

[5] S. Sydoryk, article précité, https://blogdroitadministratif.net/2023/02/22/chatgpt-a-la-faculte-de-droit-le-spectre-conjure-dune-triche-massive/.

[6] Henry Kissinger, Eric Schmidt et Daniel Huttenlocher, « ChatGPT Heralds an Intellectual Revolution », 25/02/2023, The Wall Street Journal, en ligne : https://www.wsj.com/articles/chatgpt-heralds-an-intellectual-revolution-enlightenment-artificial-intelligence-homo-technicus-technology-cognition-morality-philosophy-774331c6.

[7] N’étant pas spécialiste, nous ne prenons pas le risque de traduire avec maladresse, Deepl propose « le perroquet stochastique ».

[8] Nous traduisons : « de fabriquer des faits pour apporter une réponse apparemment cohérente ». Les exemples sont désormais nombreux et les spécialistes s’amusent à faire produire de telles erreurs à Chat GPT depuis en les partageant sur les réseaux sociaux.