Comment la vérification est faite, et mesurée.

L'écrit est lu par des motifs, pas par un modèle. Ils reconnaissent les textes rédigés (article L. 1235-3 du code du travail, articles 4 et 5 du code de procédure civile, article 31 de la loi n° 85-677 du 5 juillet 1985, arrêté du 24 janvier 1975 fixant…), les décisions (Soc., 26 octobre 2017, pourvoi n° 16-13.793, CA Douai, 20 déc. 2024, n° 22/01172, CE, 12 mars 2021, n° 439…, CEDH, req. n° …, CJUE, aff. C-…), les conventions collectives par leur titre en clair, les actes de l'Union par leur numéro, la Convention EDH et ses protocoles, la Déclaration de 1789.

Le passage cité n'est retenu que s'il est entre guillemets français et introduit par un verbe de citation (« dispose que », « aux termes de », « selon lequel »). Une première version prenait tout guillemet pour une citation et produisait des alertes à tort sur des extraits d'arrêts recopiés ; la règle a été resserrée, et depuis, plus aucune. Un passage trop long après « que », coupé par un tiret de liste ou un retour à la ligne, n'est pas attribué.

Les cas difficiles ont été appris un à un sur des écrits réels : « article 8-1 » d'une convention qui veut dire 8 § 1 ; « du même code » ; une lettre collée au chiffre (« L1226-9 ») ; un nom de code coquillé (« proceedure ») ; deux codes homonymes départagés par l'existence de l'article ; les codes étrangers exclus ; les énumérations dont le passage cité se trouve dans l'un des articles.

Ce que « à la date » veut dire

Légifrance publie chaque article dans toutes ses versions. L'outil demande la version en vigueur au jour des faits. Un article abrogé n'est pas dit « introuvable » : l'outil remonte le temps par paliers de cinq, dix, quinze et vingt ans jusqu'à trouver la dernière version, et rend « abrogé depuis le », avec le texte qui a pris la suite. Quand l'écrit annonce une rédaction (« issue de la loi du… », « antérieure à l'ordonnance de 2016 »), l'outil lit cette rédaction-là et signale une version discordante si la date des faits la contredit.

Pendant des mois, le fond daté de Légifrance rendait une erreur avec le paramètre que la documentation indiquait ; nous l'avons découvert en triant des alertes, et corrigé avec un autre filtre. Nous le disons parce que c'est le genre de détail qui sépare un outil qu'on a fait tourner sur des écrits réels d'un outil qu'on a décrit.

« Cassé depuis »

Un arrêt de cour d'appel cité par son numéro de rôle et sa date est retrouvé dans Judilibre, qui publie les cours d'appel depuis 2022 avec la ville pseudonymisée ; l'appariement se fait sur le numéro de rôle et la date. L'outil cherche ensuite si un arrêt de la Cour de cassation désigne cette décision comme celle qu'il attaque. Si oui : cassé depuis, avec l'arrêt. Si la Cour et le jour correspondent sans certitude : peut-être cassé, à vérifier.

Les autres fonds

Les conventions collectives sont cherchées dans KALI par leur titre en clair, puis lues article par article ; une lecture « sans nettoyage » a été nécessaire pour ne pas perdre les articles des sections profondes (deux sur quarante-trois pour les taxis, avant correction). Les actes de l'Union sont lus par EUR-Lex à partir du numéro CELEX reconstruit depuis la citation, et par Cellar pour les actes anciens. La Convention EDH est lue dans le texte officiel de la Cour ; ses arrêts par numéro de requête dans HUDOC ; ceux de la Cour de justice par affaire ; ceux du Conseil d'État par numéro. Les lois qu'aucune base ne consolide sont dites « non consolidées » plutôt qu'introuvables.

Chaque citation reçoit un statut et une phrase qui dit ce que la source contient. Pour un texte : vérifiée · abrogée à la date · pas encore applicable · introuvable · version discordante · passage introuvable · ambiguë · non vérifiable. Pour une décision : vérifiée · introuvable · date discordante · chambre discordante · passage introuvable · cassé depuis · peut-être cassé.

La phrase compte autant que le statut. « Aucun article L. 1245 dans le code du travail, ni dans la recherche ni dans le plan du code ; le code est bien identifié, c'est le numéro qui n'existe pas » vaut mieux qu'un voyant rouge : elle dit ce qu'il faut corriger, et elle est vérifiable par vous en ouvrant le lien.

Toutes les lectures sont mises en cache et rejouées en parallèle ; le rapport d'un jeu de conclusions prend quelques minutes la première fois, quelques secondes ensuite.

Le banc ne contient aucun exemple écrit par nous. Il prend des écrits professionnels tels que la justice les publie : les moyens annexés aux arrêts de la Cour de cassation, rédigés par des avocats aux Conseils, et les arrêts de cours d'appel, qui reprennent les conclusions des parties. Il a grandi en quatre étapes, chacune servant à trouver des défauts de l'outil avant de compter les erreurs des écrits.

Le protocole de tri est toujours le même : chaque alerte est rejouée contre sa source. Si la source donne raison à l'écrit, c'est un défaut de l'outil ; il est corrigé, un test hors ligne est ajouté, et le passage est relancé. Si la source donne tort à l'écrit, l'alerte entre dans le dossier de preuve avec la phrase de la source. Les 99 sont ce qui reste après ce tri sur le quatrième passage.

Le taux de citations confirmées dit ce que valent les écrits, pas ce que vaut l'outil. Pour mesurer l'outil, on prend des écrits sains, on abîme une citation par écrit et par type d'erreur, et l'on compte celles qu'il retrouve. Sur le premier banc : 261 erreurs glissées, 247 vues.

Les treize numéros d'article manqués sont ceux dont le numéro abîmé existe aussi : l'article L. 1235-4 existe comme le L. 1235-3. Seul un passage cité peut trahir cette erreur-là, et c'est pourquoi le rapport pousse à citer. Le pourvoi manqué avait pour voisin un pourvoi joint de la même décision : la citation restait vraie. Sur les passages suivants, la détection s'est tenue entre 86 et 100 % selon le type.

Un banc sert d'abord à ça. Sur le deuxième passage, 46 des 77 alertes venaient de nous. Quelques-unes, pour donner l'échelle du travail :

• Les actes anciens de l'Union n'étaient pas lisibles par EUR-Lex ; ils le sont par Cellar, en HTML.
• « article 8-1 » d'une convention voulait dire l'article 8, paragraphe 1.
• Les lois que d'autres textes citent sans qu'aucune base ne les consolide étaient dites introuvables ; elles sont dites non consolidées, avec la date lue en repli.
• Deux codes homonymes (« code de la sécurité sociale » et « de la sécurité intérieure » mal abrégés) sont départagés par l'existence de l'article.
• Un passage avec une ellipse (« … ») est cherché par morceaux, et dans les versions antérieures du texte.
• « Rédaction antérieure à l'ordonnance de 2016 » est une rédaction légitime : on lit à la veille du texte modificateur au lieu de crier à la discordance. Dix-neuf alertes à tort tenaient à cela.
• Les entités HTML, « du même code », les passages après un point-virgule, les actes de l'Union en capitales, chacun a eu son cas et son test.

Chaque correction est datée dans un journal, avec le cas qui l'a provoquée. C'est ce journal, plus que le chiffre, qui dit ce que vaut l'outil : il montre à quelle vitesse une erreur trouvée cesse d'en être une.

La relecture à la main vérifie ce qu'on pense à vérifier. Elle ne rouvre pas un article dans sa rédaction de 2019, et elle ne cherche pas si l'arrêt d'appel cité en janvier a été cassé en juin ; personne n'a le temps. Sur 323 arrêts, 39 des 99 erreurs étaient des textes abrogés à la date, c'est-à-dire des références que le rédacteur croyait bonnes.

L'éditeur juridique répond à une recherche ; il ne relit pas un écrit. Il sait donner un article à une date si on le lui demande article par article. L'outil pose la question pour chaque citation, sans qu'on y pense, et rend un document.

L'assistant d'IA générative écrit bien et cite mal, par construction : il produit ce qui ressemble à une référence. Demander à un modèle de vérifier ses propres citations, c'est lui demander de trouver plausible ce qu'il a trouvé plausible. Le vérificateur n'a pas ce défaut parce qu'il n'a pas d'opinion : il lit.

Ce que nous n'avons trouvé nulle part ailleurs sous cette forme : la lecture à la date des faits comme règle par défaut, le « cassé depuis » depuis un écrit, et un banc public d'écritures réelles avec ses erreurs listées une à une.

Le protocole du banc, le journal des corrections et le dossier des 99 citations fausses, chacune avec sa source, sont remis à tout cabinet qui en fait la demande. Le dossier de preuve est généré depuis le dernier passage du banc, jamais écrit à la main.

Si vous trouvez une alerte à tort, elle nous intéresse plus qu'un compliment : c'est ainsi que les 46 précédentes ont disparu.