sammendrag

Sammendrag

Tre ting avgjør om en juridisk AI-agent er effektiv. Modellen under den, verktøyet som er bygget rundt den (for eksempel juridisk spesifikke agenter som CoCounsel, Lexis+ med Protégé, Harvey, Legora og NetDocuments' egen assistent, eller generelle agenter som ChatGPT eller Claude), og konteksten den kan nå mens den arbeider – dokumentene, søket som finner dem, kunnskapsgrafen som forbinder dokumenter sammen, og alt annet firmaet avdekker om saken. En rekke kvalitetsstandarder (som Vals' VLAIR og Harveys BigLaw Bench ) finnes allerede for å måle de to første faktorene isolert eller alle tre helhetlig. Men så vidt vi vet, isolerer ingen av dem virkningen og økonomien til selve kontekstlaget – hva som endres, både i svarkvalitet og kostnad, når modellen og verktøyet holdes fast, og bare konteksten varierer. 

Dette gapet er viktig fordi hver faktor – modell, sele og kontekst – utvikler seg separat over tid og presenterer ulike strategiske muligheter for bedrifter. Modeller forbedres med fremgangen til grunnleggende modelllaboratorieselskaper. Seler er et ekstremt konkurransepreget område, og bedrifter bruker ofte flere samtidig eller bytter mellom dem over tid etter hvert som landskapet endres. Kontekst er laget som bygges én gang og videreføres på tvers av hver modelloppgradering og hver agent et firma tar i bruk. Det er et av de få stedene der et firmas egen investering kombineres i stedet for å tilbakestilles. 

Med det i tankene bygde vi en referanseverdi basert på det enkleste prinsippet: hold modellen og selen konstant, gjør kun endringer i kontekstlaget, og mål hva som endret seg med tanke på nøyaktighet og kostnad. Referanseverdien vår er bevisst nøytral til hvordan kontekst skal bli bedre, siden rikere metadata, skarpere gjenfinning, tilpassede ferdigheter og en kunnskapsgraf alle er kandidater. 

Nøyaktighet alene ville være feil måltavle, fordi nøyaktighet nesten alltid kan kjøpes med mer penger: en større modell, mer resonnement, mer gjenfinning. Enhver ærlig måling av et kontekstlag må derfor veie kvaliteten det produserer mot hva den kvaliteten koster å oppnå. Enheten vi bestemte oss for er kostnaden for et riktig svar . Endringen i dette tallet er det vi kaller kontekstverdiforholdet (CVR). Da vi evaluerte vår juridiske kontekstgraf mot denne referanseindeksen, var resultatene avgjørende. For eksempel:

Denne effektiviteten gir bedrifter et valg. De kan ta besparelsene, reinvestere dem i bedre svar, eller gjøre begge deler. Et firma som er fornøyd med dagens nøyaktighet, kan realisere besparelsene direkte. For et firma med 2000 ansatte som stiller fire millioner spørsmål i året, tilsvarer det omtrent 940 000 dollar i årlige besparelser med uendret kvalitet. Et firma som ønsker bedre nøyaktighet, kan reinvestere noe av denne effektiviteten. I referanseindeksen diskuterer vi et eksempel der det å øke modellens resonneringsinnsats fra middels til høy forbedret nøyaktigheten med 7 %, samtidig som det fortsatt koster 18 % mindre enn grunnlinjen. I praksis er det 216 000 ekstra riktige svar i året. Dette er ikke enkle gevinster: svarene et system ennå ikke har fått riktige, er per definisjon de vanskelige.

Og selv om disse tallene er overskriften, fokuserer denne rapporten dypt på metodikken bak dem: hvordan og hva man skal måle om juridisk kontekst, hva en gevinst i svarkvalitet er verdt mot hva det koster, og hvor ytterligere investeringer gir mest avkastning. Målet er å gi juridiske avdelinger og advokatfirmaer et gjenbrukbart rammeverk for å vurdere effekten av sitt eget kontekstlag over tid. 

01 – Hvordan det fungerer

Hvordan LCEB – og rammeverket bak det – fungerer

Den grunnleggende utformingen av Legal Context Engineering Benchmark er en kontrollert sammenligning med én variabel. Én agent, det vil si en fast modell innenfor en fast sele, svarer på det samme settet med spørsmål to ganger. Ved første gjennomgang har agenten bare de verktøyene en agent vanligvis har: et søk på tvers av sakens dokumenter og muligheten til å hente teksten for videre undersøkelse. Ved andre gjennomgang har den de samme verktøyene og kan i tillegg nå det forbedrede kontekstlaget som testes (for eksempel en kunnskapsgraf, bedre metadatafiltre, semantisk søk). Fordi modellen, instruksjonene og spørsmålene holdes konstante på tvers av de to gjennomgangene, er enhver forskjell som oppstår i svarkvalitet eller i kostnad sannsynligvis drevet direkte av kontekstteknikk. 

Merk at det å holde andre variabler konstante er vanskeligere enn det høres ut. En verktøybeskrivelse som styrer en agent på en måte som overtilpasser testdatasettet, en endret systemmelding som instruerer agenten til å oppføre seg annerledes, en søkeparameter som er justert for den ene siden og overlatt til den andre: hver av disse introduserer en andre variabel, og ethvert resultat som følger er ikke lenger en måling av kontekst. Vår interne testutvalg sammenligner derfor de to verktøyoverflatene før en kjøring starter, og kan ikke fortsette hvis de er forskjellige på noe annet enn tilgjengeligheten til selve den juridiske kontekstgrafen. 

Den nåværende versjonen av vår referanseindeks baserer seg på ti reelle saker, fem transaksjonssaker og fem rettstvister, satt sammen av offentlige regulatoriske innleveringer og rettssaker som enten helt eller delvis faller utenfor treningsdatagrensen for modellene vi testet med (dette bidrar til å sikre at agenter ikke svarer fra sine treningsdata, og i stedet er tvunget til å stole utelukkende på innholdet i testsaken). Til sammen inneholder de ti sakene 874 dokumenter og omtrent 60 millioner tegn: registreringserklæringer og fullmakter som er på hundretusenvis av tegn hver, i tillegg til dokumenter med begjæringer, ordrer, avskrifter av vitneforklaringer og korrespondanse. Ingenting i dokumentsamlingen ble syntetisk generert, noe som er et bevisst designvalg vi tok. Gang på gang i testingen vår så vi at en syntetisk generert sak som så realistisk ut på avstand, manglet intern logikk eller – enda verre – konvergerte mot en urealistisk enkelhet ved nærmere ettersyn. 

Hver sak i LCEB inneholder minst tjuefem spørsmål – tre hundre fordelt på ti – og hvert av dem er et spørsmål en jurist ville ha grunn til å stille. De er bevisst spredt over en rekke vanskelighetsgrader og typer, og hver er merket med den typen den tilhører. 

Spørsmål utarbeides fra kildedokumentene ved å spre en rekke sterke modeller for å lese hvert dokument i en sak i sin helhet, ofte et enormt symbolsk ineffektivt og kostbart foretagende. Agentene foreslår deretter spørsmål-og-svar-par basert på det som oppdages i disse dypdykkene. Hvert par er forfattet i tre deler: selve spørsmålet, et referansesvar som angir hva dokumentet faktisk støtter (inkludert sitater), og en kort liste over de spesifikke tingene et fullstendig svar må inneholde, som blir poengrubrikken for det spørsmålet. 

Til slutt kryssjekker vi svar og rubrikker via deterministiske valideringer (for eksempel om sitatene i svaret faktisk samsvarer med teksten i dokumentkorpuset), samt via stikkprøvekontroller utført av en menneskelig fagekspert. 

Svarene som agentene sender ut i løpet av de to testkjøringene – for eksempel én gang med den juridiske kontekstgrafen aktivert og én gang uten den – blir deretter vurdert av en sterk modell, som ser spørsmålet, kriteriene som gjelder for det, det utgående svaret i sin helhet og sporet av verktøykall agenten gjorde da han produserte det. 

En kjøring registrerer to ting: om svaret var riktig, og hva det kostet å produsere. Hver samtale agenten foretar telles, og tokenene sorteres i tre typer – fersk input, bufret input og output – fordi hver faktureres med en annen sats. Disse satsene er de publiserte prisene for modellen som svarer, gjeldende per publiseringen. Det som kommer ut er et tall i dollar. 

Merk at fordi modellen holdes fast i en sammenligning, kan sammenligningen gjentas på en annen modell og resultatene leses side om side. Vi gjorde dette på tvers av alle tre medlemmene av GPT-5.6-familien, slik at bare kapasiteten endres og prisstrukturen forblir sammenlignbar: 

Alle tre deler en kunnskapsgrense 16. februar 2026, så opplæringseksponeringen for korpuset er identisk mellom dem. Alle tre kjørte mot de samme ti sakene, de samme 300 spørsmålene, de samme rubrikkene, det samme live-dokument-backend og den samme vurderingskonfigurasjonen. Det eneste som er forskjellig mellom de tre poengkortene vi presenterer senere (i del 2) er hvilken modell som besvarte spørsmålene. 

To egenskaper gjør denne ekstra sammenligningen verdt å utføre. For det første tester den om et kontekstlag er en krykke for svake modeller eller en akselerator for sterke – et skille som avgjør om investeringen overlever neste modelloppgradering. For det andre deler CVR to kostnader målt på samme modell, slik at modellens pris vises i både telleren og nevneren og kansellerer ut. Det som overlever kanselleringen er nøyaktig det vi ønsker å sammenligne: hvor mye hver modells bruk av kontekstlaget endrer hva et riktig svar koster den. Dette er grunnen til at de tre forholdstallene kan leses side om side, selv om dollarbeløpene bak dem ikke kan det. 

02 – måleenheten

Hva et riktig svar koster

Kostnadsvariasjonen mellom én agent og en annen som kjørte på samme modell pleide å være liten nok til å ignoreres i de fleste tilfeller. Når en agent svarte i én omgang, leste og skrev den beskjedent; nå planlegger den, kaller verktøy, leser, prøver på nytt og kontrollerer arbeidet sitt, og det har blitt den største variable kostnaden ved å kjøre systemet. Denne trenden akselererer bare. METR , som måler på programvare- og forskningsoppgaver snarere enn juridiske, finner at lengden på oppgaven en frontieragent fullfører uten hjelp med en suksessrate på 50 % nå er flere timer, og har doblet seg omtrent hver fjerde måned. 

Det gjør kostnader til noe man kan måle, i tillegg til at det reiser spørsmålet om hvilken enhet man skal måle dem i. Kostnad per spørring, eller per oppgave, er det enkleste tallet å beregne og blant de minst informative, fordi det en jurist virkelig bryr seg om er et riktig svar. Kostnad per riktig svar er derfor barometeret vi valgte: totalen brukt på en spørring delt på det poengvektede antallet riktige svar i den, noe som gir et enkelt tall i dollar der lavere er bedre. 

Det tallet verdsetter er kostnaden ved å svare : hvert modellanrop agenten foretar mens de svarer på et spørsmål eller utfører en oppgave. Å bygge konteksten i utgangspunktet er en separat kostnad, som betales én gang per sak i stedet for én gang per spørsmål, og den hører hjemme i den fullstendige visningen som er omtalt i avsnitt 4. 

Da:

Kontekstverdiforholdet er hvor mange ganger billigere et riktig svar blir. Ved 2,0 gjør kontekstlaget at et riktig svar koster halvparten så mye. Over 1,0 tjener det inn kostnaden sin; ved 1,0 går det i null; under 1,0 koster det mer enn det gir avkastning. 

Forholdet måler en endring , som er spørsmålet et firma som vurderer en investering stiller seg: lønner dette seg ut fra hvor vi er? Det det ikke kan si, er hvor et firma står i utgangspunktet. Derfor ser vi alltid på kvalitetspoengsummen, i tillegg til CVR-tallet: hvor fullstendig svaret agenten leverer, i gjennomsnitt for hvert spørsmål, fra 0 til 100. 

Begge tallene er helt essensielle, fordi en pris alltid kan forbedres ved å redusere innsatsen snarere enn ved å forbedre, og den billigste måten å redusere kostnadene for et riktig svar på er å slutte å prøve å stille spørsmål som er vanskelige å svare på. Tenk deg to systemer stilt til de samme hundre spørsmålene: 

System Bs svar koster en tredjedel mindre per stykk, og System B er det ingen firma ville ha, ettersom seksti av hundre spørsmål er ubesvart. Pris alene kan ikke skille dem fra hverandre. 

Den samme forsiktigheten gjelder for sammenligning av to forskjellige systemer – eller på tvers av forskjellige dokumentsett – fordi en pris er enklest å forbedre når det er plass igjen i referansepunktet ditt: et system som svarer på seks av ti spørsmål har rimelige gevinster tilgjengelig gjennomgående, mens et som allerede svarer på ni av ti må bruke mye penger på hvert gjenværende poeng. Forholdet er mest pålitelig å lese mot et firmas egen tidligere baseline – samme saker, samme spørsmål, med kontekstlaget og uten det. 

Det er hele metoden. Det den produserer er settet med poengkort nedenfor. La oss dykke ned i det. 

03 – Setter det ut i livet

Hva besparelsene er verdt for et firma

Et forholdstall som kontekstverdiforholdet er nyttig i teorien, men det som virkelig betyr noe for advokatfirmaer og juridiske avdelinger er hvordan de skal sette det ut i praksis: enten for å forbedre virksomheten sin eller for å forbedre leveransen av juridiske tjenester. Denne delen dekker nettopp det. 

Tenk deg et stort firma – 2000 fagfolk med tilgang til en juridisk AI-assistent – ​​og spør hva Legal Context Graph er verdt for dem over et år. Tre konfigurasjoner er relevante for spørsmålet, og vi målte alle tre på frontmodellen på tvers av de samme 300 spørsmålene: 

De to første radene er referanseresultatet fra del 2, uttrykt per spørsmål: kontekstlaget holder kvaliteten og halverer prisen. Den tredje raden er sentral for hva denne delen handler om. Etter å ha redusert kostnaden for et spørsmål med nesten halvparten ved hjelp av den juridiske kontekstgrafen, trenger ikke et firma å realisere disse besparelsene som bokstavelige kontanter. Det kan i stedet "reinvestere" deler av disse besparelsene i agentselekonfigurasjoner som øker nøyaktigheten – en større modell, et lengre resonneringsbudsjett, bredere gjenfinning. I dette eksemplet tar vi den enkleste av disse: å øke modellens resonneringsinnsats fra middels til høy , noe som lar den samme agenten diskutere lenger om hvert spørsmål, resonnere mer, verifisere mer og lese videre. 

Det som gjør denne oppgraderingen rimelig er kontekstlaget. Å øke resonneringsinnsatsen koster omtrent 1,5 ganger mer per spørsmål, uansett om grafen er til stede eller ikke. Anvendt på den uassisterte grunnlinjen, ville det øke firmaets utgifter med omtrent halvparten. Anvendt på toppen av en spørsmålspris som allerede er halvert, gir den samme oppgraderingen firmaet forbruket 18 % mindre enn det gjør i dag. Nøyaktigheten kjøpes derfor med utgifter firmaet allerede hadde budsjettert med. 

Et firma står følgelig overfor et reelt strategisk valg snarere enn en finansieringsforespørsel, siden ingen av veiene krever at man bruker en dollar mer enn det bruker nå. Den første er å sette besparelsen i banken samtidig som kvaliteten holdes på paritet, 73,9 mot 75,4. Den andre er å reinvestere den: nøyaktigheten øker fra 73,9 til 79,3 mens forbruket fortsatt synker. Størrelsen på hver avhenger av hvor mye firmaet bruker verktøyet, som er den ene variabelen vi ikke kan levere. Over 250 arbeidsdager og 2000 fagfolk: 

Med åtte spørsmål per person per dag – et realistisk tall for et advokatfirma der fagfolk virkelig er avhengige av agenter som daglige arbeidspartnere – gir besparelsen omtrent 940 000 dollar i året, gjentakende, for en kapasitet firmaet allerede har bygget opp. På den annen side gir reinvestering 216 000 ekstra riktige svar, og firmaet er fortsatt rundt 371 000 dollar i året bedre stilt enn det er i dag. 

Det andre av disse fortjener spesiell oppmerksomhet, ettersom det reverserer den vanlige avveiningen. Nøyaktighet i AI-systemer oppnås vanligvis gjennom mer penger: en større modell, mer resonnement, mer gjenfinning, som alle koster mer. Her går rekkefølgen den andre veien. Kontekstlaget reduserer prisen på et spørsmål først, og nøyaktigheten finansieres av inntektene, slik at et firma avslutter året både mer nøyaktig og økonomisk lenger frem i tid – en kombinasjon som sjelden er tilgjengelig. 

Det som dessuten betyr aller mest er nøyaktig hvor en referanse blir vanskelig. Når et system nærmer seg taket på et spørsmålssett, er det de dyre svarene som forblir utestående: avstemmingene av flere dokumenter, spørsmålene der svaret forekommer én gang på femten millioner tegn. Det er nettopp disse svarene som videre overveielse kjøper. Et firma som har frigjort budsjett har råd til å bruke det på den halen; et firma som ikke har det, kan ikke. 

04 – I løpet av en saks levetid

Når saken stadig forandrer seg

Alt ovenfor er et øyeblikksbilde: frys saken, bygg konteksten, still spørsmålene. Det er der de fleste referansepunkter stopper, men det er ikke realiteten i de fleste juridiske saker. Dokumenter ankommer, blir revidert, blir erstattet, og et kontekstlag må bygges og deretter beholdes. 

Den første konsekvensen er at kontekstverdiforholdet bedre forstås som en kurve enn som et enkelt tall. Kontekst bygges én gang per sak; verdien den returnerer påløper én gang per spørsmål som stilles eller oppgave som utføres. En sak som avsluttes raskt, eller som et juridisk team aldri har grunn til å avhøre, vil ikke betale tilbake investeringen uansett hvor godt konteksten ble konstruert. Etter hvert som antallet spørsmål øker, faller byggekostnaden som amortiseres på tvers av dem mot null, og forholdet nærmer seg tallet for kun besvarelse som er rapportert ovenfor. Hovedspørsmålet er derfor break-even-agentvolumet : antall spørsmål besvart av agenter per sak der det fulladede forholdet – byggekostnader sammen med besvarelseskostnader – når 1,0. Det er verdt å isolere det fordi det konverterer et spørsmål et firma ikke kan svare på, er kontekstutvikling verdt det, til et det kan: hvor tungt jobber vi med en sak? 

Tre variabler setter det agentiske volumet ved break-even. Den første er kostnaden ved å bygge kontekstlaget, drevet av valg av modell og mengden tekst som behandles. Vi publiserer bevisst ikke vårt eget tall: på tvers av våre ti saker varierte det omtrent seks ganger med identiske innstillinger, fordi det er dokumentene som flytter det snarere enn noen avgjørelse vi har tatt, og et enkelt tall som overføres fra vårt korpus til et annet firmas ville være misvisende. Dette er den ene inputen et firma må måle for seg selv. Den andre er besparelsen per spørsmål, som er det referansepunktet måler. 

Den tredje egenskapen fortjener en nærmere undersøkelse: variasjoner i teknikkene som brukes til å bygge kontekstlaget i utgangspunktet. Noen konteksttekniske tilnærminger, for eksempel, henter sin verdi fra en struktur som er beregnet på en slik måte at hvert nytt dokument som legges til eller endres, ugyldiggjør det som allerede er bygget, og kostnaden gjentas hver gang en innlevering lander. Andre tilnærminger knytter seg til individuelle dokumenter, slik at et nytt dokument legger til arbeid proporsjonalt med seg selv og lar alt som allerede er bygget være urørt. På dag én kan disse konteksttekniske taktikkene se identiske ut og koste det samme; i løpet av levetiden til en sak som mottar dokumenter ukentlig, avviker de kraftig. Et forholdstall målt på et frossent korpus flatterer gjenoppbyggingsdesignet, så et firma bør fastslå hvilken type det investerer i før det sammenligner overskriftstall. 

Det er en fjerde betraktning som det todelte resultatet ovenfor setter i fokus. Byggekostnaden og svarkostnaden trenger ikke å betales på samme modellnivå. Å konstruere en indeks på dokumentnivå er en avgrenset, mekanisk oppgave – les ett dokument, beskriv hva som står i det og hvor – og det er ofte godt innenfor kapasiteten til en økonomisk modell. Å svare på et juridisk spørsmål på tvers av en sak er ofte ikke det. Et firma kan derfor bygge sitt kontekstlag med en økonomisk modell og bruke de resulterende besparelsene på en langt mer kapabel modell i spørsmålsrunden. 

Denne asymmetrien har stor effekt på agentens break-even-volum, fordi besparelsen per spørsmål skaleres med prisen på modellen som brukes av svaragenten, mens byggekostnaden ikke gjør det. 

Merk at den nåværende versjonen av Legal Context Engineering Benchmark ikke måler endring over tid, men vi har allerede begynt å teste utvidelser til referansepunktet som tar hensyn til sett med saker som utspiller seg i etapper, der hvert dokument bærer sin faktiske dato. Vi forventer å rapportere om dette datasettet separat i månedene som kommer. I mellomtiden gjelder det generelle poenget: et kontekstlag er ikke noe som bygges én gang, men snarere dyrkes over tid for å optimalisere for hva et advokatfirma eller en juridisk avdeling verdsetter. 

05 – Invitasjonen

Hvorfor vi publiserer metoden

Det vi beskriver i denne rapporten er ikke bare den interne referanseindeksen som styrer utviklingen av NetDocuments' Legal Context Graph, men også metodikken som ligger til grunn for denne referanseindeksen – en metodikk som vi håper enhver juridisk avdeling eller advokatfirma kan utnytte for å vurdere investeringer i kontekstlaget. 

For å bruke denne metoden, følg ganske enkelt trinnene som er beskrevet.

1. Hold modellen og selen konstant.
2. Skriv ned hvilke typer spørsmål fagfolkene dine faktisk stiller, og få noen kvalifiserte til å spesifisere hva et fullstendig svar inneholder.
3. Endre én kontekstutviklingsteknikk eller -funksjon om gangen.
4. Pris et riktig svar før og etter.
5. Og les noen av svarene selv før du tror på noen av tallene.
6. Der budsjettet tillater det, bør du kjøre sammenligningen på mer enn ett modellnivå – det er den billigste måten å finne ut om det du har bygget er en krykke eller en akselerator.