sintesi

Sintesi

Tre fattori determinano l’efficacia di un agente di IA legale:il modello su cui si basa,l’ infrastruttura costruitaattorno ad esso (ad esempio, agenti specifici per il settore legale come CoCounsel, Lexis+ con Protégé, Harvey, Legora e l’assistente di NetDocuments, oppure quelli generici come ChatGPT o Claude) eil contesto a cuipuò accedere mentre opera: i documenti, la ricerca che li individua, il grafico di conoscenza che collega i documenti tra loro e qualsiasi altra informazione che lo studio legale metta in evidenza riguardo alla questione. Esistono già diversi benchmark di qualità (comeilVLAIR di Valseil BigLaw Bench di Harvey) per misurare i primi due fattori separatamente o tutti e tre in modo olistico. Ma, per quanto ne sappiamo, nessuno di essi isola l’impatto e gli aspetti economici del livello contestuale in sé: cosa cambia, sia in termini di qualità delle risposte che di costo, quando il modello e l’interfaccia rimangono fissi e varia solo il contesto. 

Questo divario è rilevante perché ciascun fattore — modello, framework e contesto — si evolve separatamente nel tempo e offre diverse opportunità strategiche alle aziende. I modelli migliorano con i progressi delle aziende che sviluppano modelli di base. I framework rappresentano un ambito estremamente competitivo, e le aziende spesso ne utilizzano più di uno contemporaneamente o passano da uno all’altro nel corso del tempo, man mano che il panorama cambia. Il contesto è lo strato che viene costruito una volta sola e che viene mantenuto in ogni aggiornamento del modello e in ogni agente adottato dall’azienda. È uno dei pochi ambiti in cui l’investimento dell’azienda produce un effetto cumulativo anziché azzerarsi. 

Tenendo presente questo, abbiamo creato un benchmark basato sul principio più semplice: mantenere costanti il modello e l’harness, apportare modifiche solo al livello contestuale e misurare i cambiamenti in termini di accuratezza e costo. Il nostro benchmark è volutamente neutraleriguardo al modo in cui il contestodovrebbe migliorare, poiché metadati più ricchi, un recupero più preciso, competenze personalizzate e un grafico di conoscenza sono tutti possibili approcci. 

La sola accuratezza non sarebbe un parametro di valutazione adeguato, poiché l’accuratezza può quasi sempre essere ottenuta aumentando la spesa: un modello più grande, più ragionamenti, più operazioni di recupero. Qualsiasi misura onesta di un livello contestuale deve quindi soppesare la qualità che produce rispetto al costo necessario per ottenerla. L’unità di misura che abbiamo sceltoè il costo di una risposta corretta. La variazione di tale cifra è ciò che chiamiamo«Context Value Ratio»(CVR). Quando abbiamo valutato il nostro «Legal Context Graph» rispetto a questo parametro di riferimento, i risultati sono stati decisivi. Ad esempio:

Questa efficienza pone le aziende di fronte a una scelta. Possono utilizzare i risparmi, reinvestirli in soluzioni migliori, oppure fare entrambe le cose. Un’azienda soddisfatta dell’attuale livello di accuratezza può realizzare direttamente i risparmi.Per un’azienda con 2.000 dipendenti che pone quattro milioni di domande all’anno, ciò si traduce in circa 940.000 dollari di risparmio annuo a parità di qualità.Un’azienda che desideri una maggiore accuratezza può reinvestire parte di tale efficienza. Nel benchmark discutiamo un esempio in cui l’aumento dello sforzo di ragionamento del modello da medio ad alto ha migliorato l’accuratezza del 7%, pur costando il 18% in meno rispetto al valore di riferimento. In termini pratici, ciò equivale a 216.000 risposte corrette in più all’anno. Non si tratta di risultati facili da ottenere: le risposte che un sistema deve ancora dare correttamente sono, per definizione, quelle difficili.

E sebbene questi dati siano al centro dell’attenzione, il presente rapporto si concentra in modo approfondito sulla metodologia che sta alla base di essi: come e cosa misurare riguardo al contesto giuridico, quale sia il valore di un miglioramento della qualità delle risposte rispetto ai costi che comporta e in quali ambiti ulteriori investimenti garantiscano il massimo ritorno. L’obiettivo è fornire agli uffici legali e agli studi legali un quadro di riferimento riutilizzabile per valutare l’impatto del proprio contesto nel corso del tempo. 

01 – Come funziona

Come funziona l’LCEB — e il quadro di riferimento su cui si basa —

Il principio fondamentale alla base del Legal Context Engineering Benchmark è un confronto controllato con una singola variabile. Un agente, ovvero un modello fisso all’interno di un ambiente di test prestabilito, risponde due volte alla stessa serie di domande. Nel primo ciclo l’agente dispone solo degli strumenti di cui dispone normalmente: una ricerca tra i documenti del caso e la possibilità di recuperarne il testo per un’ulteriore analisi. Nel secondo passaggio dispone degli stessi strumenti e può inoltre accedere al livello contestuale avanzato oggetto di test (ad esempio, un grafico di conoscenza, filtri di metadati più efficaci, ricerca semantica). Poiché il modello, le istruzioni e le domande rimangono costanti in entrambi i passaggi, qualsiasi differenza emerga nella qualità delle risposte o nei costi è probabilmente determinata direttamente dall’ingegneria del contesto. 

Si noti che mantenere costanti le altre variabili è più difficile di quanto sembri. Una descrizione dello strumento che guida un agente in modo tale da causare un sovradattamento al set di dati di test, un messaggio di sistema modificato che induce l’agente a comportarsi diversamente, un parametro di ricerca ottimizzato per un aspetto e lasciato invariato per l’altro: ciascuno di questi elementi introduce una seconda variabile, e qualsiasi risultato che ne deriva non è più una misurazione del contesto. Il nostro sistema di test interno confronta quindi le due interfacce dello strumento prima dell’inizio di un’esecuzione e non può procedere se queste differiscono sotto qualsiasi aspetto, ad eccezione della disponibilità del Grafo del Contesto Legale stesso. 

La versione attuale del nostro benchmark si basa su dieci casi reali, cinque di natura transazionale e cinque contenziosi, ricavati da documenti normativi pubblici e registri giudiziari che, in tutto o in parte, esulano dal periodo di riferimento dei dati di addestramento dei modelli con cui abbiamo effettuato i test (ciò contribuisce a garantire che gli agenti non rispondano attingendo dai propri dati di addestramento, ma siano invece costretti a fare affidamento esclusivamente sul contenuto del caso di prova). Complessivamente, i dieci casi contengono 874 documenti e circa 60 milioni di caratteri: dichiarazioni di registrazione e deleghe che raggiungono centinaia di migliaia di caratteri ciascuna, oltre a registri contenenti istanze, ordinanze, trascrizioni di deposizioni e corrispondenza. Nessun documento del corpus è stato generato sinteticamente, una scelta progettuale deliberata da parte nostra. Più volte, durante i nostri test, abbiamo constatato che un caso generato sinteticamente, che a prima vista sembrava realistico, mancava di logica interna o — peggio ancora —, a un esame più attento, si rivelava di una semplicità irrealistica. 

Ogni argomento trattato nel LCEB comprende almeno venticinque domande — trecento in totale per i dieci argomenti — e ognuna di esse è una domanda che un professionista del diritto avrebbe motivo di porre. Le domande sono state volutamente distribuite in base a diversi livelli di difficoltà e tipologie, e ciascuna è contrassegnata con la tipologia a cui appartiene. 

Le domande vengono formulate a partire dai documenti di riferimento, ricorrendo a una serie di modelli avanzati in grado di leggere integralmente ogni documento relativo a un caso, un’operazione spesso estremamente dispendiosa in termini di risorse e di costi. Gli agenti propongono quindi coppie di domande e risposte sulla base di quanto emerso da queste analisi approfondite. Ogni coppia è composta da tre parti: la domanda stessa, una risposta di riferimento che illustra ciò che il documento effettivamente sostiene (comprese le citazioni) e un breve elenco degli elementi specifici che una risposta completa deve contenere, che diventa la griglia di valutazione per quella domanda. 

Infine, verifichiamo le risposte e le griglie di valutazione tramite validazioni deterministiche (ad esempio, controllando se i riferimenti citati nella risposta corrispondano effettivamente al testo presente nel corpus di documenti), nonché tramite controlli a campione effettuati da un esperto in materia. 

Le risposte fornite dagli agenti nel corso delle due sessioni di test — ad esempio, una con il Legal Context Graph abilitato e una senza — vengono poi valutate da un modello avanzato, che prende in esame la domanda, i criteri ad essa applicabili, il testo completo della risposta fornita e la traccia delle chiamate agli strumenti effettuate dall’agente per generarla. 

Un'esecuzione registra due dati: se la risposta era corretta e quanto è costato generarla. Ogni chiamata effettuata dall'agente viene conteggiata e i relativi token vengono suddivisi in tre categorie — input nuovo, input memorizzato nella cache e output — poiché ciascuno di essi viene fatturato a una tariffa diversa. Tali tariffe corrispondono ai prezzi pubblicati per il modello che fornisce la risposta, aggiornati al momento della pubblicazione. Il risultato è un importo espresso in dollari. 

Si noti che, poiché il modello rimane fissonell’ambito di unconfronto, è possibile ripetere il confronto su un modello diverso e confrontare i risultati fianco a fianco. Abbiamo proceduto in questo modo per tutti e tre i modelli della famiglia GPT-5.6, in modo che solo le capacità cambino e la struttura dei prezzi rimanga comparabile: 

Tutti e tre hanno come data limite di apprendimento il 16 febbraio 2026, pertanto l’esposizione al corpus durante l’addestramento è identica per ciascuno di essi. Tutti e tre sono stati testati con le stesse dieci tematiche, le stesse 300 domande, gli stessi criteri di valutazione, lo stesso backend per i documenti in tempo reale e la stessa configurazione del sistema di correzione. L’unica differenza tra le tre schede di valutazione che presenteremo più avanti (nella Sezione 2) è il modello che ha risposto alle domande. 

Due caratteristiche rendono utile effettuare questo confronto aggiuntivo. Innanzitutto, permette di verificare se uno strato contestuale funga da “stampella” per i modelli deboli o da “acceleratore” per quelli forti — una distinzione che determina se l’investimento sopravviverà al prossimo aggiornamento del modello. In secondo luogo, il CVR divide due costi misurati sullostesso modello, per cui il prezzo del modello compare sia al numeratore che al denominatore e si annulla. Ciò che sopravvive all’annullamento è proprio ciò che vogliamo confrontare: in che misura l’uso del livello contestuale da parte di ciascun modello modifica il costo della risposta corretta. Ecco perché i tre rapporti possono essere letti fianco a fianco, anche se gli importi in dollari che li sottendono non possono esserlo. 

02 – l'unità di misura

Quanto costa una risposta corretta

La variazione dei costi tra un agente e l’altro in esecuzione sullo stesso modello era in passato talmente esigua da poter essere ignorata nella maggior parte dei casi. Quando un agente rispondeva in un unico passaggio, leggeva e scriveva in misura modesta; ora pianifica, richiama strumenti, legge, riprova e verifica il proprio lavoro, e questo è diventato il costo variabile più rilevante nell’esecuzione del sistema. Questa tendenza è in continua accelerazione. METR, che effettua misurazioni su attività software e di ricerca piuttosto che su quelle legali, rileva che la durata di un’attività che un agente all’avanguardia completa autonomamente con un tasso di successo del 50% arriva ora a diverse ore e si è raddoppiata all’incirca ogni quattro mesi. 

Ciò rende il costo un elemento da misurare, oltre a sollevare la questione dell’unità di misura da utilizzare. Il costo per query, o per attività, è il dato più semplice da calcolare ma anche uno dei meno significativi, poiché ciò che interessa davvero a un professionista del settore legale è ottenere una risposta corretta.Il «costo per risposta corretta» èquindi il parametro che abbiamo scelto: il totale speso per un ciclo diviso per il numero, ponderato in base al credito, di risposte corrette ottenute, il che produce un unico valore in dollari, dove un valore più basso è preferibile. 

Tale cifra rappresenta il costodelle risposte: ogni richiamo al modello effettuato dall’agente mentre risponde a una domanda o esegue un’attività. La creazione iniziale del contesto rappresenta un costo a sé stante, addebitato una volta per ogni caso piuttosto che una volta per ogni domanda, e rientra nella visione “fully-loaded” discussa nella Sezione 4. 

Quindi:

Il rapporto di valore contestuale indica di quante volte diventa più economica una risposta corretta. A un valore di 2,0, il livello contestuale fa sì che una risposta corretta costi la metà. Al di sopra di 1,0, il suo costo è giustificato; a 1,0, si raggiunge il pareggio; al di sotto di 1,0, costa più di quanto rende. 

Questo indice misurauna variazione, ovvero la domanda che si pone un’azienda quando valuta un investimento: partendo dalla situazione attuale, conviene? Ciò che non è in grado di indicare è la posizione di partenza dell’azienda. Ecco perché, oltre al dato relativo al CVR, prendiamo sempre in considerazione il punteggio di qualità: quanto è completa la risposta fornita dall’agente, calcolata come media su tutte le domande, su una scala da 0 a 100. 

Entrambe le cifre sono assolutamente fondamentali, perché è sempre possibile migliorare un risultato riducendo lo sforzo piuttosto che migliorando la qualità, e il modo meno costoso per ridurre il costo di una risposta corretta è smettere di tentare di rispondere alle domande difficili. Consideriamo due sistemi a cui vengono poste le stesse cento domande: 

Le risposte del Sistema B costano un terzo in meno ciascuna, e il Sistema B è quello che nessuna azienda vorrebbe, avendo lasciato senza risposta sessanta domande su cento. Il prezzo da solo non basta a distinguerli. 

La stessa cautela vale quando si confrontano due sistemi diversi – o insiemi di documenti diversi – poiché è più facile migliorare un prezzo quando c’è ancora margine nel proprio parametro di riferimento: un sistema che risponde a sei domande su dieci può ottenere miglioramenti a basso costo su tutta la linea, mentre uno che risponde già a nove su dieci deve investire molto per ogni punto rimanente. Il rapporto è più attendibile se confrontato con la linea di base precedente della stessa azienda — stesse questioni, stesse domande, con e senza il livello contestuale. 

Questo è tutto il metodo. Il risultato è l'insieme di schede di valutazione riportato di seguito. Vediamole nel dettaglio. 

03 – Mettere in pratica quanto appreso

Quanto valgono i risparmi per un’azienda

Un indicatore come il Context Value Ratio è utile in teoria, ma ciò che conta davvero per gli studi legali e gli uffici legali è come metterlo in pratica: sia per migliorare la propria attività, sia per elevare il livello dei servizi legali offerti. Questa sezione tratta proprio questo argomento. 

Prendiamo in esame uno studio legale di grandi dimensioni — 2.000 professionisti con accesso a un assistente legale basato sull’intelligenza artificiale — e chiediamoci quale sia il valore del Legal Context Graph per loro nell’arco di un anno. Tre configurazioni influiscono sulla risposta a questa domanda, e le abbiamo valutate tutte e tre sul modello di frontiera utilizzando le stesse 300 domande: 

Le prime due righe riportano i risultati di riferimento della Sezione 2, espressi per singola domanda: il livello contestuale garantisce qualità e dimezza il prezzo. La terza riga è fondamentale per comprendere l’argomento trattato in questa sezione. Avendo ridotto il costo di una domanda di quasi la metà grazie al Legal Context Graph, uno studio legale non è tenuto a tradurre tale risparmio in denaro contante. Può invece «reinvestire» parte di tali risparmi in configurazioni degli agenti che aumentano la precisione: un modello più grande, un budget di ragionamento più ampio, un recupero più esteso. Ai fini di questo esempio prendiamo la più semplice di queste opzioni: aumentare lo sforzo di ragionamento del modelloda «medio» a «alto», il che consente allo stesso agente di riflettere più a lungo su ciascuna domanda, ragionando in modo più approfondito, verificando di più e leggendo più a fondo. 

Ciò che rende questo aggiornamento economicamente sostenibile è il livello contestuale. Aumentare lo sforzo di ragionamento comporta un costo circa 1,5 volte superiore per ogni domanda, indipendentemente dalla presenza o meno del Graph. Se applicato alla linea di base senza assistenza, aumenterebbe la spesa dell’azienda di circa la metà. Se applicato a un prezzo per domanda già dimezzato, lo stesso aggiornamento comporta per l’azienda una spesainferiore del 18% rispetto aquella attuale. L’accuratezza viene quindi ottenuta con una spesa che l’azienda aveva già preventivato. 

Di conseguenza, l’azienda si trova di fronte a una vera e propria scelta strategica piuttosto che a una richiesta di finanziamento, poiché nessuna delle due opzioni richiede di spendere un dollaro in più rispetto a quanto spende attualmente. La prima consiste nel mettere da parte il risparmio mantenendo la qualità allo stesso livello, 73,9 contro 75,4. La seconda consiste nel reinvestirlo: la precisione sale da 73,9 a 79,3 mentre la spesa continua a diminuire. L’entità di ciascuna opzione dipende dall’intensità con cui l’azienda utilizza lo strumento, che è l’unica variabile che non siamo in grado di fornire. Su 250 giorni lavorativi e 2.000 professionisti: 

Considerando otto domande al giorno per persona — una cifra realistica per uno studio legale i cui professionisti fanno davvero affidamento sugli agenti come compagni di lavoro quotidiani — investire il risparmio garantisce un ritorno di circa 940.000 dollari all’anno, su base ricorrente, per una capacità che lo studio ha già sviluppato. D’altra parte, reinvestendo tale somma si ottengono 216.000 risposte corrette in più, con lo studio che si ritrova comunque con circa 371.000 dollari in più all’anno rispetto a oggi. 

Il secondo di questi aspetti merita particolare attenzione, poiché ribalta il consueto compromesso. L’accuratezza nei sistemi di IA si ottiene solitamente aumentando la spesa: un modello più grande, più ragionamenti, più ricerche, ciascuno dei quali comporta costi maggiori. In questo caso, l’ordine è invertito. Il livello contestuale riduce innanzitutto il costo di una domanda, e l’accuratezza viene finanziata con i proventi, cosicché un’azienda chiude l’anno sia con una maggiore accuratezza sia con un miglioramentofinanziario— una combinazione raramente disponibile. 

Ciò che conta di più, inoltre, è proprio il punto in cui un benchmark diventa difficile. Man mano che un sistema si avvicina al limite massimo in una serie di domande, le risposte che rimangono in sospeso sono quelle più costose: le riconciliazioni tra più documenti, le domande la cui risposta compare una volta ogni quindici milioni di caratteri. Sono proprio queste le risposte che si ottengono con un’ulteriore analisi. Un’azienda che ha liberato risorse di bilancio può permettersi di spenderle per quella “coda”; un’azienda che non l’ha fatto, no. 

04 – Nel corso del ciclo di vita di una questione

Quando la situazione continua a cambiare

Tutto ciò che è stato descritto finora è un’istantanea: congelare la situazione, costruire il contesto, porre le domande. È qui che si fermano la maggior parte dei benchmark, ma questa non è la realtà della maggior parte delle questioni legali. I documenti arrivano, vengono rivisti, sostituiti, e occorre costruire e poi mantenere un livello contestuale. 

La prima conseguenza è che il “Context Value Ratio” va inteso più come una curva che come un singolo numero. Il contesto viene creato una volta per ogni pratica; il valore che restituisce si accumula una volta per ogni domanda posta o attività svolta. Una pratica che si chiude rapidamente, o che un team legale non ha mai motivo di esaminare, non ripagherà l’investimento, per quanto ben strutturato sia stato il contesto. Man mano che il numero di domande aumenta, il costo di creazione, ammortizzato su di esse, tende a zero e il rapporto si avvicina al valore relativo alle sole risposte riportato sopra. La domanda chiave è quindiil volume di agenti di pareggio: il numero di domande a cui gli agenti rispondono per ogni pratica al quale il rapporto a carico pieno — costo di creazione insieme al costo di risposta — raggiunge 1,0. Vale la pena isolarla perché trasforma una domanda a cui uno studio non può rispondere, «vale la pena progettare il contesto?», in una a cui può rispondere: «quanto intensamente lavoriamo su una pratica?». 

Tre variabili determinano il volume di pareggio. La prima è il costo di creazione del livello contestuale, determinato dalla scelta del modello e dal volume di testo elaborato. Abbiamo deliberatamente deciso di non pubblicare il nostro dato: nelle dieci pratiche esaminate, esso variava di circa sei volte a parità di impostazioni, poiché a determinarlo sono i documenti piuttosto che una nostra decisione, e un unico valore trasferito dal nostro corpus a quello di un altro studio potrebbe risultare fuorviante. Questo è l’unico dato che uno studio deve misurare autonomamente. La seconda è il risparmio per domanda, che è ciò che misura il benchmark. 

La terza caratteristica merita un’analisi più approfondita: le variazioni nelle tecniche utilizzate per costruire il livello contestuale fin dall’inizio. Alcuni approcci di ingegneria contestuale, ad esempio, traggono il loro valore da una struttura calcolata in modo tale che ogni nuovo documento aggiunto o modificato invalidi ciò che era già stato costruito, e il costo si ripeta ogni volta che viene archiviato un documento. Altri approcci si applicano ai singoli documenti, per cui un nuovo documento comporta un carico di lavoro proporzionale alla propria entità e lascia inalterato tutto ciò che è già stato costruito. All’inizio queste tattiche di ingegneria del contesto possono sembrare identiche e avere lo stesso costo; nel corso della durata di una pratica in cui si ricevono documenti settimanalmente, però, divergono nettamente. Un rapporto misurato su un corpus statico favorisce il modello di ricostruzione, pertanto uno studio legale dovrebbe stabilire in quale tipo sta investendo prima di confrontare i dati principali. 

C’è una quarta considerazione che il risultato a due livelli sopra riportato mette in evidenza. Il costo di costruzione e il costo di risposta non devono necessariamente essere sostenuti allo stesso livello del modello. La creazione di un indice a livello di documento è un’attività limitata e meccanica — leggere un documento, descriverne il contenuto e la posizione — e spesso rientra ampiamente nelle capacità di un modello economico. Rispondere a una domanda legale relativa a un caso spesso non lo è. Uno studio legale può quindi costruire il proprio livello contestuale con un modello economico e destinare i risparmi così ottenuti a un modello molto più potente al momento di rispondere alle domande. 

Tale asimmetria ha un forte impatto sul volume di attività di pareggio, poiché il risparmio per domanda varia in proporzione al prezzo del modello utilizzato dall’agente che fornisce la risposta, mentre il costo di realizzazione non varia in proporzione a esso. 

Si noti che l’attuale versione del Legal Context Engineering Benchmark non misura i cambiamenti nel tempo, ma abbiamo già iniziato a testare alcune estensioni del benchmark che tengono conto di serie di questioni che si sviluppano in fasi successive, con ogni documento che riporta la propria data effettiva. Prevediamo di pubblicare un rapporto separato su questo set di dati nei prossimi mesi. Nel frattempo, resta valida l’osservazione generale: un livello contestuale non è qualcosa che si costruisce una volta per tutte, ma piuttosto qualcosa che va coltivato nel tempo per ottimizzarlo in base a ciò che uno studio legale o un ufficio legale ritiene importante. 

05 – L'invito

Perché pubblichiamo questo metodo

Quanto descritto in questo rapporto non è solo il parametro di riferimento interno che guida l’evoluzione del Legal Context Graph di NetDocuments, ma anche la metodologia alla base di tale parametro — una metodologia che speriamo qualsiasi ufficio legale o studio legale possa utilizzare per valutare gli investimenti nel livello contestuale. 

Per applicare questa metodologia è sufficiente seguire i passaggi indicati.

1. Mantieni invariati il modello e l'imbracatura.
2. Annotate i tipi di domande che i vostri professionisti pongono effettivamente e chiedete a una persona qualificata di specificare quali elementi deve contenere una risposta completa.
3. Modifica una tecnica o una competenza di ingegneria del contesto alla volta.
4. Indica il prezzo della risposta corretta prima e dopo.
5. E leggi tu stesso alcune delle risposte prima di dare credito a qualsiasi cifra.
6. Se il budget lo consente, esegui il confronto su più livelli di modello: è il modo più economico per capire se ciò che hai creato è un ostacolo o un acceleratore.