résumé

Résumé analytique

Trois éléments déterminent l’efficacité d’un agent IA juridique :le modèle sur lequelilrepose,l’infrastructure quil’entoure (par exemple, des agents spécialisés dans le domaine juridique tels que CoCounsel, Lexis+ avec Protégé, Harvey, Legora et l’assistant propre à NetDocuments, ou des agents à usage général comme ChatGPT ou Claude), ainsi quele contexte auquel ila accès pendant son fonctionnement — les documents, la recherche qui les identifie, le graphe de connaissances reliant les documents entre eux, et tout autre élément que le cabinet met en avant concernant le dossier. Il existe déjà un certain nombre de tests de performance (tels que le VLAIR de Valsetle BigLaw Bench de Harvey) permettant de mesurer les deux premiers facteurs séparément ou les trois de manière globale. Mais à notre connaissance, aucun d’entre eux n’isole l’impact et les aspects économiques de la couche contextuelle elle-même — c’est-à-dire ce qui change, tant en termes de qualité des réponses que de coût, lorsque le modèle et le système d’exploitation sont maintenus fixes et que seul le contexte varie. 

Cet écart est important car chaque facteur — modèle, interface et contexte — évolue séparément au fil du temps et offre des opportunités stratégiques différentes aux entreprises. Les modèles s’améliorent grâce aux progrès réalisés par les laboratoires spécialisés dans les modèles de base. Le marché des interfaces est extrêmement concurrentiel, et les entreprises en utilisent souvent plusieurs à la fois ou alternent entre elles au fil du temps, à mesure que le paysage évolue. Le contexte est la couche qui est mise en place une seule fois et qui se transmet à chaque mise à niveau de modèle et à chaque agent adopté par une entreprise. C’est l’un des rares domaines où l’investissement propre à une entreprise porte ses fruits au lieu d’être remis à zéro. 

Dans cette optique, nous avons mis au point un test de performance reposant sur un principe très simple : maintenir le modèle et le harnais inchangés, n’apporter des modifications qu’à la couche contextuelle, puis mesurer les évolutions en termes de précision et de coût. Notre test de performance reste délibérément neutrequant à la manière dont le contexteest censé s’améliorer, car des métadonnées plus riches, une recherche plus précise, des compétences personnalisées et un graphe de connaissances sont autant de pistes envisageables. 

Se baser uniquement sur la précision ne serait pas un bon critère d’évaluation, car la précision peut presque toujours être obtenue en augmentant les dépenses : un modèle plus grand, davantage de raisonnements, plus de recherches. Toute mesure honnête d’une couche contextuelle doit donc mettre en balance la qualité qu’elle produit et le coût nécessaire pour l’obtenir. L’unité sur laquelle nous nous sommes mis d’accordest le coût d’une réponse correcte. La variation de ce chiffre est ce que nous appelonsle « Context Value Ratio »(CVR). Lorsque nous avons évalué notre « Legal Context Graph » par rapport à ce critère de référence, les résultats ont été sans appel. Par exemple :

Cette efficacité place les entreprises face à un choix. Elles peuvent soit profiter des économies réalisées, soit les réinvestir dans l’amélioration des réponses, soit faire les deux. Une entreprise satisfaite du niveau de précision actuel peut réaliser ces économies directement.Pour une entreprise de 2 000 personnes posant quatre millions de questions par an, cela se traduit par environ 940 000 dollars d’économies annuelles, à qualité inchangée.Une entreprise souhaitant améliorer la précision peut réinvestir une partie de ces gains d’efficacité. Dans l’analyse comparative, nous présentons un exemple où le fait de faire passer le niveau de raisonnement du modèle de « moyen » à « élevé » a amélioré la précision de 7 %, tout en restant 18 % moins coûteux que le scénario de référence. Concrètement, cela représente 216 000 réponses correctes supplémentaires par an. Ces gains ne sont pas faciles à obtenir : les réponses qu’un système n’a pas encore réussi à donner correctement sont, par définition, les plus difficiles.

Et bien que ces chiffres fassent la une, ce rapport se penche en profondeur sur la méthodologie qui les sous-tend : comment et quels éléments mesurer concernant le contexte juridique, quelle est la valeur d'un gain en qualité des réponses par rapport à son coût, et dans quels domaines un investissement supplémentaire est le plus rentable. L'objectif est de fournir aux services juridiques et aux cabinets d'avocats un cadre réutilisable pour évaluer l'impact de leur propre « couche contextuelle » au fil du temps. 

01 – Comment ça marche ?

Comment fonctionne le LCEB — et le cadre sur lequel il repose —

Le principe fondamental du « Legal Context Engineering Benchmark » repose sur une comparaison contrôlée à variable unique. Un agent, c’est-à-dire un modèle fixe intégré à un environnement de test fixe, répond deux fois à la même série de questions. Lors du premier passage, l’agent ne dispose que des outils dont il dispose habituellement : une recherche parmi les documents du dossier et la possibilité d’extraire leur texte pour une analyse plus approfondie. Lors du deuxième passage, il dispose de ces mêmes outils et peut en outre accéder à la couche contextuelle améliorée soumise au test (par exemple, un graphe de connaissances, de meilleurs filtres de métadonnées, une recherche sémantique). Étant donné que le modèle, les instructions et les questions restent inchangés entre les deux passages, toute différence constatée en termes de qualité des réponses ou de coût est probablement directement liée à l’ingénierie contextuelle. 

Il convient de noter que maintenir les autres variables constantes est plus difficile qu’il n’y paraît. Une description d’outil qui guide un agent de manière à entraîner un surajustement par rapport à l’ensemble de données de test, un message système modifié qui incite l’agent à se comporter différemment, un paramètre de recherche optimisé pour un cas et laissé tel quel dans l’autre : chacun de ces éléments introduit une deuxième variable, et tout résultat qui en découle ne constitue plus une mesure du contexte. Notre infrastructure de test interne compare donc les deux interfaces de l’outil avant le début d’une exécution, et ne peut pas poursuivre si elles diffèrent sur un quelconque point autre que la disponibilité du graphe de contexte juridique lui-même. 

La version actuelle de notre test de performance porte sur dix dossiers réels, cinq transactions et cinq litiges, constitués à partir de documents réglementaires publics et de registres judiciaires qui, en tout ou en partie, ne relèvent pas de la période couverte par les données d’entraînement des modèles que nous avons testés (cette approche permet de s’assurer que les agents ne s’appuient pas sur leurs données d’entraînement et sont contraints de se fier exclusivement au contenu du dossier testé). Au total, ces dix dossiers comptent 874 documents et environ 60 millions de caractères : des déclarations d’enregistrement et des procurations pouvant atteindre plusieurs centaines de milliers de caractères chacune, ainsi que des registres contenant des requêtes, des ordonnances, des transcriptions de dépositions et de la correspondance. Aucun document de ce corpus n’a été généré de manière synthétique, ce qui constitue un choix de conception délibéré de notre part. À maintes reprises au cours de nos tests, nous avons constaté qu’un dossier généré synthétiquement, qui semblait réaliste à première vue, manquait de logique interne ou — pire encore — se révélait d’une simplicité irréaliste lorsqu’on l’examinait de plus près. 

Chaque thème du LCEB comporte au moins vingt-cinq questions — soit trois cents au total pour les dix thèmes — et chacune d’entre elles correspond à une question qu’un professionnel du droit aurait des raisons de poser. Elles sont délibérément réparties selon différents niveaux de difficulté et différents types, et chacune est identifiée par la catégorie à laquelle elle appartient. 

Les questions sont rédigées à partir des documents sources en déployant une série de modèles puissants afin de lire intégralement chaque document d’un dossier, ce qui représente souvent une entreprise extrêmement coûteuse et peu efficace en termes de traitement des tokens. Les agents proposent ensuite des paires question-réponse à partir de ce qu’ils ont découvert au cours de ces analyses approfondies. Chaque paire se compose de trois parties : la question elle-même, une réponse de référence exposant ce que le dossier étaye réellement (y compris les citations), et une brève liste des éléments spécifiques qu’une réponse complète doit contenir, qui sert de grille d’évaluation pour cette question. 

Enfin, nous procédons à une vérification croisée des réponses et des grilles d'évaluation à l'aide de validations déterministes (par exemple, pour vérifier si les citations figurant dans la réponse correspondent bien à des passages du corpus de documents), ainsi qu'à l'aide de contrôles ponctuels effectués par un expert humain en la matière. 

Les réponses fournies par les agents au cours des deux séries de tests — par exemple, une fois avec le « Legal Context Graph » activé et une fois sans — sont ensuite évaluées par un modèle performant, qui prend en compte la question, les critères qui s’y appliquent, la réponse fournie dans son intégralité, ainsi que la trace des appels d’outils effectués par l’agent pour l’élaborer. 

Une exécution enregistre deux informations : si la réponse était correcte et ce qu’elle a coûté. Chaque appel effectué par l’agent est comptabilisé, et ses jetons sont classés en trois catégories — données d’entrée nouvelles, données d’entrée mises en cache et données de sortie — car chacune est facturée à un tarif différent. Ces tarifs correspondent aux prix publiés pour le modèle qui fournit la réponse, valables à la date de publication. Le résultat est un montant exprimé en dollars. 

Il convient de noter que, le modèle restant fixedans le cadre d’unecomparaison, celle-ci peut être répétée sur un autre modèle et les résultats peuvent être comparés côte à côte. C’est ce que nous avons fait pour les trois membres de la famille GPT-5.6, de sorte que seules les évolutions des capacités varient, tandis que la structure tarifaire reste comparable : 

Les trois modèles partagent une date butoir de 16 février 2026 pour l’apprentissage, de sorte que leur exposition au corpus est identique. Ils ont tous été testés sur les dix mêmes thèmes, les mêmes 300 questions, les mêmes grilles d’évaluation, le même backend de documents en temps réel et la même configuration du système de notation. La seule différence entre les trois tableaux de résultats que nous présenterons plus loin (dans la section 2) réside dans le modèle qui a répondu aux questions. 

Deux caractéristiques justifient cette comparaison supplémentaire. Premièrement, elle permet de vérifier si une couche contextuelle sert de béquille aux modèles faibles ou de catalyseur aux modèles puissants — une distinction qui détermine si l’investissement sera maintenu lors de la prochaine mise à jour du modèle. Deuxièmement, le CVR divise deux coûts mesurés surle même modèle; ainsi, le prix du modèle apparaît à la fois au numérateur et au dénominateur et s’annule. Ce qui subsiste après cette annulation correspond précisément à ce que nous souhaitons comparer : dans quelle mesure l’utilisation de la couche contextuelle par chaque modèle modifie le coût d’une réponse correcte pour celui-ci. C’est pourquoi les trois ratios peuvent être comparés côte à côte, même si les montants en dollars qui les sous-tendent ne le peuvent pas. 

02 – l'unité de mesure

Ce que coûte une bonne réponse

Les écarts de coût entre deux agents fonctionnant sur le même modèle étaient autrefois suffisamment faibles pour être négligeables dans la plupart des cas. Lorsqu’un agent répondait en un seul passage, il lisait et écrivait modérément ; désormais, il planifie, fait appel à des outils, lit, réessaie et vérifie son travail, ce qui est devenu le principal facteur de coût variable lié au fonctionnement du système. Cette tendance ne fait que s’accélérer. METR, qui effectue des mesures sur des tâches logicielles et de recherche plutôt que juridiques, constate que la durée d’une tâche qu’un agent de pointe accomplit sans aide avec un taux de réussite de 50 % s’élève désormais à plusieurs heures, et qu’elle double environ tous les quatre mois. 

Cela fait du coût une grandeur à mesurer, tout en soulevant la question de l'unité à utiliser pour le mesurer. Le coût par requête, ou par tâche, est le chiffre le plus simple à calculer, mais aussi l’un des moins significatifs, car ce qui importe véritablement à un professionnel du droit, c’est d’obtenir une réponse correcte.Le coût par réponse correcte estdonc l’indicateur que nous avons retenu : il s’agit du montant total dépensé pour une série de requêtes, divisé par le nombre de réponses correctes pondéré par leur crédit, ce qui donne un chiffre unique en dollars, où plus il est bas, mieux c’est. 

Ce chiffre correspond au coûtde chaque appel de modèle effectué par l'agent lorsqu'il répond à une question ou exécute une tâche. La construction initiale du contexte représente un coût distinct, facturé une fois par dossier plutôt qu'une fois par question, et il s'inscrit dans la vue « complète » abordée à la section 4. 

Puis :

Le « Context Value Ratio » (CVR) indique de combien de fois le coût d'une réponse correcte est réduit. À 2,0, la couche contextuelle permet de réduire de moitié le coût d'une réponse correcte. Au-dessus de 1,0, elle est rentable ; à 1,0, elle atteint le seuil de rentabilité ; en dessous de 1,0, elle coûte plus cher qu'elle ne rapporte. 

Ce ratio mesureune évolution, ce qui correspond à la question que se pose une entreprise lorsqu'elle évalue un investissement : compte tenu de la situation actuelle, cet investissement est-il rentable ? Ce qu'il ne permet pas de déterminer, c'est la situation initiale de l'entreprise. C'est pourquoi, outre le taux de conversion (CVR), nous prenons toujours en compte le score de qualité : il s'agit d'une mesure de l'exhaustivité des réponses fournies par l'agent, calculée en moyenne sur l'ensemble des questions, sur une échelle de 0 à 100. 

Ces deux chiffres sont absolument essentiels, car on peut toujours améliorer un prix en réduisant l'effort plutôt qu'en s'améliorant, et la manière la moins coûteuse de réduire le coût d'une bonne réponse consiste à cesser de tenter de répondre aux questions difficiles. Prenons l'exemple de deux systèmes auxquels on pose les mêmes cent questions : 

Les réponses du système B coûtent un tiers de moins chacune, et c’est pourtant ce système que n’opterait aucune entreprise, puisqu’il a laissé soixante questions sans réponse sur cent. Le prix à lui seul ne suffit pas à les distinguer. 

La même prudence s’impose lorsqu’on compare deux systèmes différents – ou entre différents ensembles de documents –, car il est plus facile d’améliorer un score lorsqu’il reste une marge de progression par rapport à votre référence : un système répondant à six questions sur dix peut réaliser des gains peu coûteux à tous les niveaux, tandis qu’un système répondant déjà à neuf questions sur dix devra engager des dépenses importantes pour chaque point restant. Ce ratio est particulièrement fiable lorsqu’il est comparé à la référence antérieure de l’entreprise elle-même – mêmes dossiers, mêmes questions, avec ou sans la couche contextuelle. 

Voilà en gros la méthode. Elle aboutit à l'ensemble de fiches d'évaluation ci-dessous. Voyons cela de plus près. 

03 – Mise en pratique

Quelle est la valeur de ces économies pour une entreprise ?

Un indicateur tel que le « Context Value Ratio » est utile en théorie, mais ce qui importe vraiment pour les cabinets d'avocats et les services juridiques, c'est de savoir comment le mettre en pratique : soit pour améliorer leur activité, soit pour optimiser la prestation de leurs services juridiques. C'est précisément ce que traite cette section. 

Prenons l’exemple d’un grand cabinet — 2 000 professionnels ayant accès à un assistant juridique basé sur l’IA — et demandons-nous quelle valeur le « Legal Context Graph » représente pour eux sur une année. Trois configurations entrent en ligne de compte, et nous les avons toutes évaluées à l’aide du modèle de frontière sur un ensemble identique de 300 questions : 

Les deux premières lignes présentent les résultats de référence de la section 2, exprimés par question : la couche contextuelle garantit la qualité tout en divisant le prix par deux. La troisième ligne est au cœur du sujet de cette section. Après avoir réduit le coût d’une question de près de moitié grâce au « Legal Context Graph », un cabinet n’est pas obligé de concrétiser ces économies sous forme d’argent comptant. Elle peut au contraire « réinvestir » une partie de ces économies dans des configurations d’agents qui améliorent la précision : un modèle plus grand, un budget de raisonnement plus long, une recherche plus étendue. Pour les besoins de cet exemple, nous prenons la solution la plus simple : faire passer l’effort de raisonnement du modèlede « moyen » à « élevé », ce qui permet au même agent de réfléchir plus longtemps sur chaque question, de raisonner plus en profondeur, de vérifier davantage et de lire plus loin. 

C’est la couche contextuelle qui rend cette mise à niveau abordable. L’augmentation de l’effort de raisonnement coûte environ 1,5 fois plus par question, que le Graph soit présent ou non. Appliquée au scénario de référence sans assistance, cette mise à niveau augmenterait les dépenses de l’entreprise d’environ la moitié. Appliquée à un prix par question déjà réduit de moitié, cette même mise à niveau permet à l’entreprise de dépenser18 % de moins qu’aujourd’hui. La précision est donc obtenue grâce à des dépenses que l’entreprise avait déjà budgétisées. 

Une entreprise est donc confrontée à un véritable choix stratégique plutôt qu’à une demande de financement, puisque aucune de ces deux options n’implique de dépenser un dollar de plus qu’actuellement. La première consiste à mettre ces économies de côté tout en maintenant la qualité au même niveau, soit 73,9 contre 75,4. La seconde consiste à les réinvestir : la précision passe de 73,9 à 79,3 tandis que les dépenses continuent de baisser. L’ampleur de chaque option dépend de l’intensité avec laquelle l’entreprise utilise l’outil, ce qui constitue la seule variable que nous ne pouvons pas fournir. Sur 250 jours ouvrés et 2 000 professionnels : 

À raison de huit questions par personne et par jour — un chiffre réaliste pour un cabinet d'avocats dont les professionnels comptent véritablement sur les agents comme partenaires de travail au quotidien —, la mise de côté de ces économies rapporte environ 940 000 dollars par an, de manière récurrente, pour une capacité que le cabinet a déjà développée. En revanche, réinvestir cette somme permet d’obtenir 216 000 réponses correctes supplémentaires, le cabinet se retrouvant toujours avec environ 371 000 dollars de plus par an qu’aujourd’hui. 

Le deuxième de ces aspects mérite une attention particulière, car il renverse le compromis habituel. Dans les systèmes d’IA, la précision s’obtient généralement au prix d’un surcoût : un modèle plus volumineux, davantage de raisonnement, davantage de recherche, autant d’éléments qui ont un coût plus élevé. Ici, l’ordre des priorités est inversé. La couche contextuelle réduit d’abord le coût d’une requête, et la précision est financée grâce aux recettes ainsi générées, de sorte qu’une entreprise termine l’année à la fois avec une précision accrueetune meilleure situationfinancière— une combinaison rarement possible. 

Ce qui importe le plus, d’ailleurs, c’est précisément le moment où un seuil devient difficile à franchir. À mesure qu’un système s’approche de la limite maximale d’un ensemble de questions, les réponses qui restent en suspens sont celles qui coûtent le plus cher : les recoupements entre plusieurs documents, les questions dont la réponse n’apparaît qu’une fois tous les quinze millions de caractères. Ce sont précisément ces réponses que l’on peut obtenir en approfondissant la réflexion. Une entreprise qui a libéré des ressources budgétaires peut se permettre de les consacrer à cette « queue » ; une entreprise qui n’en a pas, ne le peut pas. 

04 – Tout au long du traitement d'un dossier

Quand la situation ne cesse de changer

Tout ce qui précède n'est qu'un instantané : figer la situation, établir le contexte, poser les questions. C'est là que s'arrêtent la plupart des analyses comparatives, mais ce n'est pas ainsi que se déroulent la plupart des dossiers juridiques. Les documents arrivent, sont révisés, remplacés, et il faut établir une couche contextuelle, puis la maintenir à jour. 

La première conséquence est que le « Context Value Ratio » s’appréhende mieux sous la forme d’une courbe que sous celle d’un simple chiffre. Le contexte est créé une seule fois par dossier ; la valeur qu’il génère s’accumule à chaque question posée ou tâche effectuée. Un dossier qui se clôture rapidement, ou sur lequel une équipe juridique n’a jamais l’occasion de se pencher, ne rentabilisera pas l’investissement, quelle que soit la qualité de conception du contexte. À mesure que le nombre de questions augmente, le coût de création, réparti sur l’ensemble de celles-ci, tend vers zéro et le ratio se rapproche de la valeur correspondant aux seules réponses, indiquée ci-dessus. La question clé est donccelle du volume d’agents de seuil de rentabilité: le nombre de questions traitées par les agents par dossier à partir duquel le ratio global — coût de création et coût de réponse combinés — atteint 1,0. Il est utile d’isoler cette notion, car elle transforme une question à laquelle un cabinet ne peut répondre (« la conception du contexte en vaut-elle la peine ? ») en une question à laquelle il peut répondre : « quelle intensité de travail consacrons-nous à un dossier ? » 

Trois variables déterminent le volume d'agentique de seuil de rentabilité. La première est le coût de construction de la couche contextuelle, qui dépend du choix du modèle et du volume de texte traité. Nous avons délibérément choisi de ne pas publier notre propre chiffre : sur nos dix dossiers, il variait d’environ six fois à paramètres identiques, car ce sont les documents qui le déterminent plutôt que nos propres décisions, et un chiffre unique transposé de notre corpus à celui d’un autre cabinet serait trompeur. C’est le seul paramètre qu’un cabinet doit mesurer par lui-même. La deuxième est l’économie par question, qui est ce que mesure la référence. 

La troisième caractéristique mérite d’être examinée de plus près : les variations dans les techniques utilisées pour construire la couche contextuelle dès le départ. Certaines approches d’ingénierie contextuelle, par exemple, tirent leur valeur d’une structure calculée de telle sorte que chaque nouveau document ajouté ou modifié invalide ce qui avait déjà été construit, et que le coût se répète à chaque fois qu’un document est déposé. D’autres approches s’appliquent à chaque document individuellement ; ainsi, un nouveau document entraîne une charge de travail proportionnelle à sa taille et ne modifie en rien ce qui a déjà été construit. Au premier abord, ces tactiques d’ingénierie contextuelle peuvent sembler identiques et présenter le même coût ; cependant, sur la durée d’un dossier recevant des documents chaque semaine, elles divergent fortement. Un ratio mesuré sur un corpus figé met en valeur le modèle de reconstruction ; un cabinet doit donc déterminer dans quel type de modèle il investit avant de comparer les chiffres globaux. 

Il existe un quatrième aspect que le résultat à deux niveaux présenté ci-dessus met en évidence. Le coût de construction et le coût de réponse ne doivent pas nécessairement être pris en charge au même niveau de modèle. La construction d’un index au niveau du document est une tâche limitée et mécanique — lire un document, décrire son contenu et son emplacement — et elle relève souvent largement des capacités d’un modèle économique. Répondre à une question juridique portant sur l’ensemble d’un dossier ne l’est souvent pas. Un cabinet peut donc construire sa couche contextuelle à l’aide d’un modèle économique et consacrer les économies ainsi réalisées à un modèle bien plus performant au moment de répondre aux questions. 

Cette asymétrie a une incidence importante sur le volume d'activité d'équilibre, car l'économie réalisée par question est proportionnelle au prix du modèle utilisé par l'agent chargé de répondre, alors que le coût de création ne l'est pas. 

Il convient de noter que la version actuelle du Legal Context Engineering Benchmark ne mesure pas l'évolution dans le temps ; toutefois, nous avons déjà commencé à tester des extensions de ce benchmark qui prennent en compte des séries d'affaires se déroulant par étapes, chaque document comportant sa date réelle. Nous prévoyons de publier un rapport distinct sur cet ensemble de données dans les mois à venir. En attendant, le principe général reste valable : une couche contextuelle ne se construit pas en une seule fois, mais se développe au fil du temps afin de s’adapter aux priorités d’un cabinet d’avocats ou d’un service juridique. 

05 – L'invitation

Pourquoi nous publions cette méthode

Ce que nous avons décrit dans ce rapport n’est pas seulement la référence interne qui guide l’évolution du « Legal Context Graph » de NetDocuments, mais aussi la méthodologie qui sous-tend cette référence — une méthodologie dont nous espérons que tout service juridique ou cabinet d’avocats pourra tirer parti pour évaluer ses investissements dans la couche contextuelle. 

Pour appliquer cette méthodologie, il suffit de suivre les étapes décrites ci-dessous.

1. Ne modifiez ni votre modèle ni votre harnais.
2. Notez les types de questions que vos professionnels posent réellement, et demandez à une personne qualifiée de préciser en quoi consiste une réponse complète.
3. Modifiez une technique ou une compétence d'ingénierie contextuelle à la fois.
4. Indiquez le prix d'une bonne réponse avant et après.
5. Et lisez vous-même certaines des réponses avant de croire ces chiffres.
6. Si votre budget le permet, effectuez la comparaison sur plusieurs niveaux de modèles : c'est le moyen le moins coûteux de déterminer si ce que vous avez mis au point constitue un frein ou un accélérateur.