Résumé : L’apparition des intelligences artificielles conversationnelles peut être perçue comme un risque à l’Université : les étudiants pourraient en effet mobiliser ces outils pour faire les différents travaux qu’ils ont à rendre. C’est à travers le logiciel ChatGPT que semblent se cristalliser les tensions. Pour le moment, le risque reste toutefois très limité, à charge pour les enseignants de s’adapter le cas échéant.

1. Le monde du droit n’est qu’assez rarement mis en émoi par une avancée technologique. L’informatisation, si elle a révolutionné manière de faire de la recherche, n’a pas pour autant drastiquement modifié ni la recherche ni l’enseignement – la crise du covid ayant eu le mérite de freiner l’enseignement à distance plutôt que de le développer. Si la « justice algorithmique » ou les outils de « justice prédictive » sont, en eux-mêmes, susceptibles de modifier la recherche en droit, seule la portion congrue de la doctrine qui s’intéresse à ces questions les discute. Il est pour autant un phénomène récent qui semble forcer la réflexion doctrinale sur l’avenir des facultés de droit, dans leur double dimension de recherche et d’enseignement, et qui a une portée bien plus grande en ce qu’elle fait réagir même les juristes ne se spécialisant pas dans les questions algorithmiques : il s’agit de « ChatGPT ».

I. ChatGPT ou l’intelligence artificielle conversationnelle gratuitement utilisable

2. Derrière ce nom se cache un programme informatique, fondé sur une intelligence artificielle capable d’apprendre, et qui permet non seulement de dialoguer avec l’IA, mais qui permet surtout de lui poser des questions plus ou moins complexes et d’obtenir des réponses plus ou moins longues – pour l’instant jusqu’à environ 350 mots, mais qui peuvent être développées – et dans un français sinon parfait, au moins très correct. Ce programme est ainsi capable de fournir des réponses plus ou moins longues à des questions juridiques, telles que « le président de la V^e République est-il politiquement responsable ? », ou « le Conseil d’État admet-il le recours de tiers pour contester un contrat administratif ? ».

3. Nous n’entrerons pas dans les détails techniques du fonctionnement du programme ; nous en sommes bien incapables. Il est toutefois notable qu’il est encore en phase d’apprentissage, qu’il a été construit en s’entraînant sur une quantité très importante de textes dans les langues qu’il maîtrise, dont au moins le français et l’anglais, mais qu’il n’est pas relié à internet. On a alors vu quelques réactions doctrinales s’interrogeant sur l’avenir tant de la recherche en droit[1] que de l’enseignement et de l’évaluation des étudiants. C’est à ces  dernières questions que ce bref texte entend sinon répondre, au moins proposer des pistes de réflexion.

4. De manière générale, il faut garder un élément à l’esprit : toute intelligence artificielle suffisamment avancée et reliée à des bases de données, sera en capacité de produire n’importe quel type de texte, qu’il s’agisse d’une dissertation de première année, d’une thèse de doctorat ou d’un article de doctrine. Elle pourra également faire des propositions de lege ferenda, le seul élément manquant étant, par la force des choses, l’autorité doctrinale. Pour autant, cette perspective, pour possible qu’elle est, n’est pas probable au moins à court ou moyen terme. Cela ne signifie pas qu’il ne faut pas garder un œil sur ces évolutions, mais cela signifie qu’il semble plus pertinent de concentrer les réflexions sur ce qui va se passer ou ce qui va probablement se passer. Nous le verrons, de telles interrogations sont d’ailleurs suffisamment importantes pour éventuellement amener de profonds changements, sans pour autant fantasmer une réalité composée d’intelligences artificielles omnipotentes.

5. La possibilité d’utiliser ChatGPT pour réaliser les exercices de travaux dirigés représente certainement la crainte majeure qui a envahi les réseaux sociaux et les discussions entre juristes, certains articles n’aidant pas à apaiser les réflexions[2]. Ces craintes justifient à elles seules l’écriture de ces lignes, tant elles semblent hanter les enseignants, encore plus que la possibilité de les remplacer eux-mêmes. Faut-il, alors, craindre l’IA pour remplacer les étudiants ? Rien n’est moins sûr, et ce pour plusieurs raisons.

II. ChatGPT : comme outil techniquement limité pour remplacer un étudiant

6. Pour le moment, la limite de signes est une première restriction d’importance. Admettons qu’une copie de première année doit faire un minimum de 1500 mots, soit environ 10 000 signes, pour obtenir une note passable. L’IA est, à l’heure actuelle, incapable de générer un texte aussi long. Cette limite est contournable. On peut en effet d’abord demander un plan, puis demander la rédaction de chaque morceau individuellement. La cohérence ne sera pour autant pas assurée, et cela demandera déjà un investissement certain de l’étudiant.

7. De plus, elle est incapable de suivre la méthodologie juridique du plan binaire. Malgré des demandes répétées, elle est incapable de générer de tels plans, encore moins de rédiger un travail cohérent en suivant le plan qu’elle va générer. Nous sommes encore bien loin des exigences académiques, sauf concernant le niveau de langue utilisé. Ce dernier est souvent bien meilleur que sur les copies, bien que le style soit trop souvent redondant.

8. Pas assez de signes, pas de plan ou, du moins, pas de plan convaincant – et l’on ne peut qu’encourager le lecteur à vérifier cela – mais pas non plus de maîtrise des exigences et de la méthode de chacun des exercices juridiques, et ce même en spécifiant la structure que doit prendre l’introduction, ce qui implique au passage la maîtrise d’une telle structure pour l’étudiant qui essaierait. De manière marginale, l’IA semble un peu mieux réussir les cas pratiques, grâce à leur caractère concret, mais sans réussir à être convaincante sur le syllogisme juridique et l’exposition des règles. Elle permet également une meilleure compréhension de textes, étant capable de les synthétiser ou de les expliquer, mais pas de les commenter au sens où nous l’entendons pour l’exercice du commentaire, en raison de son absence d’accès à d’autres éléments juridiques pour faire des liens explicatifs, qu’il s’agisse de droit positif ou de doctrine.

9. C’est d’ailleurs là un ultime problème de l’IA : celui de la maîtrise des règles juridiques, de la jurisprudence et de la doctrine. En effet, cette dernière n’est pas reliée à internet. Elle n’a pas accès aux sites internet externes et ne peut pas vérifier ou interroger une base de données. Ce qu’elle sait de la Constitution, de la jurisprudence du Conseil d’État ou du droit civil résulte de ce qu’elle aura pu lire au moment de l’apprentissage. Il ne lui est ainsi pas possible d’interroger des connaissances au moment de répondre à une question, la réponse se fait en suivant des règles de cohérence du langage telle qu’elles ont été assimilées au moment de l’apprentissage, et non pas en interrogeant des connaissances juridiques spécifiques. Il résulte de cela une incapacité de l’IA, dans ses réponses, à mobiliser les règles de droit, la jurisprudence ou la doctrine. Des questions trop précises la conduiront même à inventer des choses, qui seront par définition fausses.

10. C’est d’ailleurs ces limites qui peuvent, pour l’instant, faire écrire que « si les étudiants peuvent produire des réponses satisfaisantes à vos questions en utilisant une IA de génération de texte, alors vous posez des questions superficielles » et que « si une IA de génération de texte peut concurrencer votre production scientifique, alors vous êtes un penseur superficiel[3] ». La sentence est donc sans appel – du moins tant que l’outil n’évolue pas ; elle sera révisée le cas échéant.

11. Faut-il alors rejeter ChatGPT ou ses avatars futurs comme un simple gadget dont la mode passera ? Rien n’est moins sûr. En effet, si pour le moment les craintes sont exagérées, le futur n’est pas nécessairement exempt de nécessaires remises en question de nos méthodes. ChatGPT n’est d’abord pas conçu pour être un outil juridique, ni pour maîtriser le droit. Un tel outil devrait en effet nécessairement admettre comme références suprêmes les normes juridiques, et devrait également être connecté à au moins certaines bases de données doctrinales. Ces choses ne sont pas impossibles, mais elles sont suffisamment spécifiques pour que, sur le plan économique, elles ne voient pas le jour dans une version qui serait gratuite et destinée aux étudiants.

12. De même, les autres limites ne sont pas infranchissables : l’IA pourra facilement apprendre à générer plus de signes, à rédiger de meilleurs plans et, surtout, à mieux comprendre et suivre les instructions de rédaction. À moyen terme, il est alors possible que de tels outils soient réellement utilisés par nos étudiants, et ce de manière efficace.

13. Le risque doit être relativisé, mais il nécessitera quelques changements. Relativisation d’abord, parce que l’usage ne pourra en réalité qu’avoir lieu pour les travaux dirigés ou, plus généralement, les travaux effectués en autonomie. Or, jusqu’au Master, ces travaux restent minoritaires dans le poids qu’ils ont pour la réussite, la majorité des notes étant constituée de travaux sur tables. Si le problème se pose réellement, concernant les travaux dirigés, la solution sera tout à la fois de revoir nos méthodes d’évaluation ou de revoir nos exercices. Revoir nos méthodes d’évaluation impliquera de ne plus prendre en compte, pour la notation, les exercices faits à la maison. Revoir nos exercices semble peut-être plus difficile tant la dissertation, le commentaire de décision et le cas pratique semblent ancrés dans notre culture juridique universitaire[4]. Il serait pourtant possible, si ce chemin était choisi, d’évaluer les étudiants sur des travaux d’ampleur pendant le semestre, puis que les évaluer par des contrôles de connaissances. Il serait également possible de ne pas noter les devoirs faits en autonomie lors des séances de travaux dirigés, ce qui inciterait les étudiants à se concentrer sur la compréhension des exigences en vue de se préparer pour les examens terminaux. Il ne s’agit là, évidemment, que de pistes de réflexion qui mériteraient d’être approfondies.

14. Concernant les exercices de Master, au premier rang desquels les rapports de stages ou les mémoires de recherche, la question est nécessairement différente. Admettons cependant qu’un étudiant qui utiliserait une IA pour l’aider à rédiger un mémoire, et qui produirait tout de même un travail de qualité, mériterait sans doute une bonne note : il aurait, en effet, su tirer parti des outils qui seront à sa disposition dans le monde professionnel ou dans le monde de la recherche. Il en va de même pour le rapport de stage, l’évaluation pouvant par ailleurs se transposer non pas tant sur le rapport mais sur les missions réalisées pendant le stage.

Conclusion : ChatGPT ne remplacera ni les chercheurs ni les étudiants mais impose une vigilance accrue

15. Il est nécessaire de conclure sur cette question en prenant un nécessaire recul : pour le moment, ChatGPT et l’IA conversationnelle n’est pas la menace qui pèse sur les travaux dirigés. En effet, c’est aujourd’hui le plagiat pur et simple de copies disponibles sur internet, gratuitement ou non, qui est le souci majeur que l’on rencontre, au moins dans les premières années. Notons qu’il s’agit d’un souci non pas parce que les copies sont bonnes et qu’elles permettent indûment d’avoir de bonnes notes, mais parce que les étudiants risquent de se fourvoyer dans ce qu’ils pensent être une solution court-termiste et qui ne sera d’aucune aide en examen. Cet élément n’est d’ailleurs pas le seul, puisqu’il est possible également de demander à un enseignant particulier de faire le plan voire de rédiger la copie, ce qui est moins détectable au moment de la notation. Les problèmes que pose ChatGPT existent donc déjà, ce dernier ne faisant que rajouter l’accessibilité.

16. Restons donc vigilants, sans craindre outre mesure une massification de ce qui pourrait s’assimiler à de la fraude à l’intelligence artificielle, mais en gardant ouverte les différentes portes afin de modifier nos pratiques. Elles devront l’être, en tout état de cause, pour une raison ou pour une autre.

---

[1]N. Molfessis, « ChatGPT peut-il me remplacer ? », JCPG, 2023, n^o 3, act. 81, p. 133.

[2]M. J. Bommarito, D. M. Katz, « GPT Takes the Bar Exam », SSRN, 29 décembre 2022). Disponible sur <https://ssrn.com/abstract=4314839>, Ch. Terwiesch, « Would Chat GPT Get a Wharton MBA? A Prediction Based on Its Performance in the Operations Management Course », Mack Institute for Innovation Management at the Wharton School, University of Pennsylvania, 2023. Disponible sur <https://mackinstitute.wharton.upenn.edu/wp-content/uploads/2023/01/Christian-Terwiesch-Chat-GTP-1.24.pdf>, ou encore J. H. Choi, K. E. Hickman, A. Monahan, D. B. Schwarcz, « ChatGPT Goes to Law School », Minnesota Legal Studies Research Paper No. 23-03, 2023. Disponible sur <https://ssrn.com/abstract=4335905>.

[3]« If students can provide satisfactory answers to your questions by using an AI text generator, then you are asking superficial questions. And if an AI text generator can compete with your scholarship, then you are superficial thinker » : B. L. Frye, « Should Using an AI Text Generator to Produce Academic Writing Be Plagiarism? »,  (December 3, 2022). Fordham Intellectual Property, Media & Entertainment Law Journal, 2023, à paraître. Disponible sur <https://ssrn.com/abstract=4292283>.

[4]Et encore. Des voies s’élèvent au moins en droit civil pour critiquer le commentaire de décision dans la doctrine suite à la nouvelle manière de rédiger de la Cour de cassation. Voir B. Dondero, « Pour un droit plus systématique : vers la fin des notes de jurisprudence ? », D., 2020, pp. 292-298, et en réponse, Fr. Rouvière, « La fin du commentaire d’arrêt », RDT civ., 2020, pp. 489-491.

---