resumo

Resumo Executivo

Três fatores determinam se um agente de IA jurídica é eficaz.O modelo subjacentea ele,a estrutura construídaem torno dele (por exemplo, agentes específicos para o âmbito jurídico, como CoCounsel, Lexis+ com Protégé, Harvey, Legora e o próprio assistente da NetDocuments, ou agentes de uso geral como o ChatGPT ou o Claude) eo contexto ao qual eletem acesso enquanto trabalha — os documentos, a pesquisa que os localiza, o grafo de conhecimento que conecta os documentos entre si e qualquer outra informação que o escritório disponibilize sobre o assunto. Já existem diversos parâmetros de referência de qualidade (como o VLAIR,de Vals, eo BigLaw Bench, de Harvey) para medir os dois primeiros fatores isoladamente ou todos os três de forma holística. Mas, até onde sabemos, nenhum deles isola o impacto e os aspectos econômicos da própria camada de contexto — o que muda, tanto na qualidade da resposta quanto no custo, quando o modelo e o conjunto de dados são mantidos fixos e apenas o contexto varia. 

Essa lacuna é importante porque cada fator — modelo, harness e contexto — evolui separadamente ao longo do tempo e apresenta diferentes oportunidades estratégicas para as empresas. Os modelos melhoram com o avanço das empresas que atuam na área de laboratórios de modelos fundamentais. Os harnesses constituem um espaço extremamente competitivo, e as empresas costumam utilizar vários ao mesmo tempo ou alternar entre eles ao longo do tempo, à medida que o cenário se transforma. O contexto é a camada que é construída uma única vez e se mantém em todas as atualizações de modelo e em todos os agentes que uma empresa adota. É um dos poucos aspectos em que o investimento da própria empresa se acumula, em vez de ser reiniciado. 

Com isso em mente, criamos um teste de desempenho baseado no princípio mais simples: manter o modelo e o conjunto de testes constantes, realizar modificações apenas na camada de contexto e medir o que mudou em termos de precisão e custo. Nosso teste de desempenho é deliberadamente neutroquanto à forma como o contextodeve ser aprimorado, uma vez que metadados mais ricos, recuperação mais precisa, habilidades personalizadas e um gráfico de conhecimento são todos possíveis opções. 

A precisão por si só seria um critério de avaliação equivocado, pois a precisão quase sempre pode ser obtida com um maior investimento: um modelo maior, mais raciocínio, mais recuperação de informações. Qualquer medida honesta de uma camada de contexto, portanto, precisa ponderar a qualidade que ela produz em relação ao custo para obtê-la. A unidade que definimosé o custo de uma resposta correta. A variação nesse valor é o que chamamosde Índice de Valor do Contexto (CVR). Quando avaliamos nosso Gráfico de Contexto Jurídico em relação a esse parâmetro de referência, os resultados foram decisivos. Por exemplo:

Essa eficiência coloca as empresas diante de uma escolha. Elas podem aproveitar a economia, reinvesti-la em respostas melhores ou fazer as duas coisas. Uma empresa satisfeita com a precisão atual pode aproveitar a economia diretamente.Para uma empresa com 2.000 funcionários que faz quatro milhões de perguntas por ano, isso se traduz em aproximadamente US$ 940.000 em economia anual, mantendo a mesma qualidade.Uma empresa que deseja maior precisão pode reinvestir parte dessa eficiência. Na análise comparativa, discutimos um exemplo em que aumentar o nível de raciocínio do modelo de médio para alto melhorou a precisão em 7%, mantendo o custo 18% menor do que o da linha de base. Em termos práticos, isso representa 216.000 respostas corretas adicionais por ano. Esses ganhos não são fáceis: as respostas que um sistema ainda precisa acertar são, por definição, as mais difíceis.

E, embora esses números sejam o destaque, este relatório se concentra profundamente na metodologia por trás deles: como e o que medir em relação ao contexto jurídico, qual é o valor de um ganho na qualidade das respostas em relação ao seu custo e onde um investimento adicional traz maior retorno. O objetivo é fornecer aos departamentos jurídicos e escritórios de advocacia uma estrutura reutilizável para avaliar o impacto de sua própria camada de contexto ao longo do tempo. 

01 – Como funciona

Como funciona o LCEB — e a estrutura por trás dele

A estrutura fundamental do Legal Context Engineering Benchmark consiste em uma comparação controlada com uma única variável. Um agente — ou seja, um modelo fixo dentro de um ambiente de teste fixo — responde ao mesmo conjunto de perguntas duas vezes. Na primeira rodada, o agente dispõe apenas das ferramentas que um agente normalmente possui: uma pesquisa nos documentos do caso e a capacidade de recuperar seu texto para investigação posterior. Na segunda rodada, ele dispõe dessas mesmas ferramentas e, além disso, pode acessar a camada de contexto aprimorada que está sendo testada (por exemplo, um grafo de conhecimento, filtros de metadados mais eficazes, pesquisa semântica). Como o modelo, as instruções e as perguntas permanecem constantes nas duas rodadas, qualquer diferença que surja na qualidade das respostas ou no custo provavelmente é resultado direto da engenharia de contexto. 

Observe que manter outras variáveis constantes é mais difícil do que parece. Uma descrição de ferramenta que orienta um agente de forma a causar sobreajuste no conjunto de dados de teste, uma mensagem do sistema alterada que instrui o agente a se comportar de maneira diferente, um parâmetro de busca ajustado para um lado e deixado inalterado no outro: cada um desses fatores introduz uma segunda variável, e qualquer resultado decorrente disso deixa de ser uma medição do contexto. Nosso ambiente de testes interno, portanto, compara as duas interfaces da ferramenta antes do início de uma execução e não pode prosseguir se elas diferirem em qualquer aspecto que não seja a disponibilidade do próprio Gráfico de Contexto Jurídico. 

A versão atual de nosso benchmark é executada em dez casos reais — cinco transacionais e cinco contenciosos —, reunidos a partir de registros regulatórios públicos e pautas judiciais que, no todo ou em parte, estão fora do período de corte dos dados de treinamento dos modelos com os quais realizamos os testes (isso ajuda a garantir que os agentes não respondam com base em seus dados de treinamento e sejam, ao contrário, obrigados a basear-se exclusivamente no conteúdo do caso de teste). Juntos, os dez casos totalizam 874 documentos e aproximadamente 60 milhões de caracteres: declarações de registro e procurações que chegam a centenas de milhares de caracteres cada, além de pautas de processos contendo moções, decisões, transcrições de depoimentos e correspondência. Nada no corpus de documentos foi gerado sinteticamente, o que constitui uma escolha deliberada de projeto que fizemos. Repetidamente, em nossos testes, observamos que um caso gerado sinteticamente que parecia realista à primeira vista carecia de lógica interna ou — pior ainda — revelava uma simplicidade irrealista quando examinado mais de perto. 

Cada tema do LCEB contém pelo menos vinte e cinco questões — trezentas no total, distribuídas pelas dez áreas — e cada uma delas é uma questão que um profissional do direito teria motivos para fazer. Elas são deliberadamente distribuídas por uma variedade de níveis de dificuldade e tipos, e cada uma está identificada com o tipo ao qual pertence. 

As perguntas são elaboradas a partir dos documentos originais por meio da geração de uma série de modelos robustos para ler integralmente cada documento de um processo, o que frequentemente representa um esforço extremamente ineficiente em termos de tokens e oneroso. Os agentes, então, propõem pares de perguntas e respostas com base no que é encontrado nessas análises aprofundadas. Cada par é elaborado em três partes: a própria pergunta, uma resposta de referência que expõe o que o registro realmente comprova (incluindo citações) e uma breve lista dos elementos específicos que uma resposta completa deve conter, a qual se torna a tabela de pontuação para essa pergunta. 

Por fim, verificamos as respostas e as rubricas por meio de validações determinísticas (por exemplo, se as citações na resposta correspondem efetivamente ao texto do corpus de documentos), bem como por meio de verificações pontuais realizadas por um especialista humano na matéria. 

As respostas geradas pelos agentes nas duas execuções de teste — por exemplo, uma com o Gráfico de Contexto Jurídico ativado e outra sem ele — são então avaliadas por um modelo robusto, que analisa a pergunta, os critérios aplicáveis a ela, a resposta gerada na íntegra e o histórico das chamadas de ferramentas que o agente realizou ao produzi-la. 

Uma execução registra duas informações: se a resposta estava correta e quanto custou para ser produzida. Cada chamada feita pelo agente é contabilizada, e seus tokens são classificados em três tipos — entrada nova, entrada em cache e saída —, pois cada um é cobrado a uma taxa diferente. Essas taxas correspondem aos preços publicados para o modelo responsável pela resposta, atualizados na data da publicação. O resultado é um valor em dólares. 

Observe que, como o modelo é mantido fixoem umacomparação, essa comparação pode ser repetida com um modelo diferente e os resultados podem ser analisados lado a lado. Fizemos isso com todos os três membros da família GPT-5.6, de modo que apenas as mudanças nas capacidades sejam consideradas, enquanto a estrutura de preços permanece comparável: 

Todos os três compartilham uma data limite de conhecimento em 16 de fevereiro de 2026; portanto, a exposição ao corpus durante o treinamento é idêntica entre eles. Todos os três foram testados com os mesmos dez temas, as mesmas 300 perguntas, os mesmos critérios de avaliação, o mesmo backend de documentos em tempo real e a mesma configuração do avaliador. A única diferença entre os três quadros de resultados que apresentaremos posteriormente (na Seção 2) é qual modelo respondeu às perguntas. 

Duas características justificam a realização dessa comparação adicional. Em primeiro lugar, ela verifica se uma camada de contexto funciona como uma muleta para modelos fracos ou como um acelerador para modelos fortes — uma distinção que determina se o investimento sobreviverá à próxima atualização do modelo. Em segundo lugar, o CVR divide dois custos medidos nomesmo modelo; assim, o preço do modelo aparece tanto no numerador quanto no denominador e se cancela. O que sobrevive ao cancelamento é exatamente o que desejamos comparar: em que medida o uso da camada de contexto por cada modelo altera o custo da resposta correta para ele. É por isso que os três índices podem ser analisados lado a lado, mesmo que os valores em dólares por trás deles não possam. 

02 – a unidade de medida

Quanto custa uma resposta correta

A variação de custo entre um agente e outro executado no mesmo modelo costumava ser pequena o suficiente para ser ignorada na maioria dos casos. Quando um agente respondia em uma única passagem, ele lia e gravava de forma modesta; agora, ele planeja, aciona ferramentas, lê, repete tentativas e verifica seu trabalho, e isso se tornou o maior custo variável da execução do sistema. Essa tendência só vem se acelerando.O METR, que avalia tarefas de software e pesquisa em vez de tarefas jurídicas, constata que o tempo que um agente de ponta leva para concluir uma tarefa sem ajuda, com uma taxa de sucesso de 50%, agora chega a várias horas e vem dobrando aproximadamente a cada quatro meses. 

Isso torna o custo algo a ser medido, além de levantar a questão de em que unidade medi-lo. O custo por consulta ou por tarefa é o valor mais fácil de calcular e um dos menos informativos, pois o que realmente importa para um profissional do direito é uma resposta correta.O custo por resposta correta é, portanto, o parâmetro que selecionamos: o total gasto em uma execução dividido pelo número de respostas corretas, ponderado pelo crédito, o que resulta em um único valor em dólares, sendo que quanto menor, melhor. 

O que esse valor representa é o custode responder: cada chamada de modelo que o agente realiza ao responder a uma pergunta ou ao executar uma tarefa. A construção do contexto, em primeiro lugar, é um custo separado, cobrado uma vez por assunto, e não uma vez por pergunta, e faz parte da visão “totalmente carregada” discutida na Seção 4. 

Então:

A Relação de Valor do Contexto indica quantas vezes mais barata se torna uma resposta correta. Com um valor de 2,0, a camada de contexto faz com que uma resposta correta custe metade do preço. Acima de 1,0, ela compensa seu custo; em 1,0, ela atinge o ponto de equilíbrio; abaixo de 1,0, ela custa mais do que rende. 

O índice medeuma variação, que é a questão que uma empresa que está avaliando um investimento se coloca: a partir da situação atual, isso vale a pena? O que ele não pode indicar é qual é a situação inicial da empresa. É por isso que, além do valor do CVR, sempre analisamos o índice de qualidade: em que medida o agente fornece uma resposta completa, calculado como média de todas as perguntas, em uma escala de 0 a 100. 

Ambos os números são absolutamente essenciais, pois um preço sempre pode ser melhorado reduzindo o esforço, em vez de aprimorando o desempenho, e a maneira menos onerosa de reduzir o custo de uma resposta correta é deixar de tentar responder às perguntas difíceis. Considere dois sistemas submetidos às mesmas cem perguntas: 

As respostas do Sistema B custam um terço a menos cada uma, e o Sistema B é aquele que nenhuma empresa desejaria, já que deixou sessenta das cem perguntas sem resposta. O preço, por si só, não é suficiente para diferenciá-los. 

A mesma cautela se aplica à comparação entre dois sistemas diferentes — ou entre conjuntos de documentos distintos —, pois é mais fácil melhorar um preço quando ainda há margem de manobra em sua referência: um sistema que responde a seis de cada dez perguntas apresenta ganhos de baixo custo em toda a linha, enquanto aquele que já responde a nove de cada dez precisa investir pesadamente para conquistar cada ponto restante. A proporção é mais confiável quando analisada em relação à própria linha de base anterior da empresa — mesmos assuntos, mesmas perguntas, com e sem a camada de contexto. 

Esse é todo o método. O resultado são os quadros de resultados apresentados a seguir. Vamos analisar mais a fundo. 

03 – Colocando em prática

Qual é o valor dessas economias para uma empresa

Um indicador como o Índice de Valor Contextual é útil em teoria, mas o que realmente importa para escritórios de advocacia e departamentos jurídicos é como colocá-lo em prática: seja para aprimorar seus negócios, seja para elevar o padrão da prestação de serviços jurídicos. Esta seção aborda exatamente isso. 

Considere uma grande empresa — 2.000 profissionais com acesso a um assistente de IA jurídica — e pergunte-se qual é o valor do Gráfico de Contexto Jurídico para ela ao longo de um ano. Três configurações influenciam essa questão, e medimos todas as três no modelo de fronteira com base nas mesmas 300 perguntas: 

As duas primeiras linhas representam o resultado de referência da Seção 2, expresso por pergunta: a camada de contexto garante qualidade e reduz o preço pela metade. A terceira linha é fundamental para o tema desta seção. Tendo reduzido o custo de uma pergunta em quase metade por meio do Gráfico de Contexto Jurídico, um escritório não precisa necessariamente converter essa economia em dinheiro efetivo. Em vez disso, ela pode “reinvestir” parte dessas economias em configurações do agente que aumentem a precisão — um modelo maior, um orçamento de raciocínio mais extenso, uma recuperação mais ampla. Para os fins deste exemplo, consideramos a opção mais simples: elevar o esforço de raciocínio do modelode “médio” para “alto”, o que permite que o mesmo agente delibere por mais tempo sobre cada pergunta, raciocinando mais detalhadamente, verificando mais e lendo mais profundamente. 

O que torna essa atualização acessível é a camada de contexto. Aumentar o esforço de raciocínio custa aproximadamente 1,5 vez mais por pergunta, independentemente da presença ou não do Graph. Quando aplicada à linha de base sem assistência, essa atualização aumentaria os gastos da empresa em cerca de metade. Quando aplicada sobre um preço por pergunta que já foi reduzido pela metade, a mesma atualização faz com que a empresa gaste18% a menos do quegasta atualmente. A precisão é, portanto, obtida com despesas que a empresa já havia orçado. 

Consequentemente, a empresa se depara com uma escolha estratégica genuína, e não com um pedido de financiamento, uma vez que nenhuma das opções exige gastar um dólar a mais do que gasta atualmente. A primeira consiste em economizar o valor poupado, mantendo a qualidade em paridade: 73,9 contra 75,4. A segunda consiste em reinvesti-lo: a precisão aumenta de 73,9 para 79,3, enquanto os gastos continuam a diminuir. A magnitude de cada opção depende do grau de utilização da ferramenta pela empresa, que é a única variável que não podemos fornecer. Ao longo de 250 dias úteis e com 2.000 profissionais: 

A uma média de oito perguntas por pessoa por dia — um número realista para um escritório de advocacia cujos profissionais realmente contam com os agentes como companheiros no trabalho diário —, a economia gerada representa aproximadamente US$ 940.000 por ano, de forma recorrente, por uma capacidade que o escritório já desenvolveu. Por outro lado, reinvestir esse valor rende 216.000 respostas corretas adicionais, com o escritório ainda ficando cerca de US$ 371.000 por ano em melhor situação do que está hoje. 

O segundo desses aspectos merece atenção especial, pois inverte a relação de compromisso habitual. A precisão nos sistemas de IA é normalmente alcançada por meio de maiores gastos: um modelo maior, mais raciocínio, mais recuperação de informações — cada um desses elementos tem um custo mais elevado. Aqui, a ordem é inversa. A camada de contexto reduz primeiro o custo de uma consulta, e a precisão é financiada com os recursos gerados, de modo que uma empresa encerra o ano tanto com maiorprecisão quantoem melhor situaçãofinanceira— uma combinação raramente disponível. 

Além disso, o que mais importa é exatamente onde um parâmetro de referência se torna difícil. À medida que um sistema se aproxima do limite máximo em um conjunto de questões, as respostas que permanecem pendentes são as mais onerosas: as reconciliações entre vários documentos, as questões cuja resposta aparece uma vez a cada quinze milhões de caracteres. Essas são precisamente as respostas que uma deliberação mais aprofundada permite obter. Uma empresa que liberou verba pode se dar ao luxo de gastá-la nessa cauda; uma empresa que não o fez, não pode. 

04 – Ao longo do ciclo de vida de um processo

Quando a situação está em constante mudança

Tudo o que foi exposto acima é um instantâneo: congelar a questão, construir o contexto, fazer as perguntas. É aí que a maioria dos parâmetros de referência se limita, mas essa não é a realidade da maioria das questões jurídicas. Os documentos chegam, são revisados, são substituídos, e é necessário construir uma camada de contexto e, em seguida, mantê-la. 

A primeira consequência é que o Índice de Valor de Contexto é melhor compreendido como uma curva do que como um único número. O contexto é construído uma vez por processo; o valor que ele retorna é acumulado a cada pergunta feita ou tarefa realizada. Um processo que seja encerrado rapidamente, ou que uma equipe jurídica nunca tenha motivo para investigar, não compensará o investimento, por melhor que o contexto tenha sido elaborado. À medida que o número de perguntas aumenta, o custo de construção amortizado entre elas cai em direção a zero e a relação se aproxima do valor referente apenas às respostas relatado acima. A questão-chave é, portanto,o volume de agentes de equilíbrio: o número de perguntas respondidas pelos agentes por caso no qual o índice total — custo de construção somado ao custo de resposta — atinge 1,0. Vale a pena destacar esse aspecto porque ele transforma uma pergunta que um escritório não consegue responder — “vale a pena a engenharia de contexto?” — em uma que ele pode responder: “com que intensidade trabalhamos um caso?” 

Três variáveis determinam o volume de agência de equilíbrio. A primeira é o custo de construção da camada de contexto, determinado pela escolha do modelo e pelo volume de texto processado. Deliberadamente, não divulgamos nosso próprio valor: em nossos dez casos, ele variou em cerca de seis vezes com configurações idênticas, pois o que o determina são os documentos, e não qualquer decisão nossa, e um único número extraído de nosso corpus e aplicado ao de outra empresa seria enganoso. Esse é o único parâmetro que uma empresa deve medir por conta própria. O segundo é a economia por pergunta, que é o que o benchmark mede. 

A terceira característica merece uma análise mais detalhada: as variações nas técnicas utilizadas para construir a camada de contexto desde o início. Algumas abordagens de engenharia de contexto, por exemplo, derivam seu valor de uma estrutura calculada de tal forma que cada novo documento adicionado ou alterado invalida o que já havia sido construído, e o custo se repete cada vez que um documento é arquivado. Outras abordagens se aplicam a documentos individuais; assim, um novo documento acrescenta trabalho proporcional ao seu próprio volume e deixa intacto tudo o que já foi construído. No início, essas táticas de engenharia de contexto podem parecer idênticas e ter o mesmo custo; ao longo da duração de um processo que recebe documentos semanalmente, elas divergem acentuadamente. Um índice medido em um corpus estático favorece o modelo de reconstrução; portanto, um escritório deve determinar em qual tipo está investindo antes de comparar os números gerais. 

Há uma quarta consideração que o resultado de dois níveis acima traz à tona. O custo de construção e o custo de resposta não precisam ser arcados no mesmo nível do modelo. A construção de um índice no nível do documento é uma tarefa limitada e mecânica — ler um documento, descrever o que está nele e onde — e, muitas vezes, está bem dentro da capacidade de um modelo econômico. Responder a uma questão jurídica no âmbito de um processo, por sua vez, muitas vezes não o é. Um escritório pode, portanto, construir sua camada de contexto com um modelo econômico e destinar a economia resultante a um modelo muito mais capaz no momento de responder às questões. 

Essa assimetria tem um grande impacto no volume de agentes de equilíbrio, pois a economia por pergunta varia proporcionalmente ao preço do modelo utilizado pelo agente que responde, ao passo que o custo de construção não varia. 

Observe que a versão atual do Legal Context Engineering Benchmark não mede as mudanças ao longo do tempo, mas já começamos a testar ampliações do benchmark que levam em conta conjuntos de assuntos que se desenrolam em etapas, sendo que cada documento contém sua data real. Esperamos apresentar um relatório sobre esse conjunto de dados separadamente nos próximos meses. Enquanto isso, a observação geral permanece válida: uma camada de contexto não é algo construído de uma só vez, mas sim cultivado ao longo do tempo para se otimizar de acordo com os valores de um escritório de advocacia ou departamento jurídico. 

05 – O convite

Por que estamos divulgando o método

O que descrevemos neste relatório não é apenas o parâmetro de referência interno que orienta a evolução do Legal Context Graph da NetDocuments, mas também a metodologia que sustenta esse parâmetro — uma metodologia que esperamos que qualquer departamento jurídico ou escritório de advocacia possa utilizar para avaliar o investimento na camada de contexto. 

Para aplicar essa metodologia, basta seguir as etapas descritas.

1. Mantenha o seu modelo e o seu arnês inalterados.
2. Anote os tipos de perguntas que seus profissionais realmente fazem e peça a alguém qualificado que especifique o que uma resposta completa deve conter.
3. Altere uma técnica ou capacidade de engenharia de contexto por vez.
4. Avalie uma resposta correta antes e depois.
5. E leia você mesmo algumas das respostas antes de acreditar em qualquer um desses números.
6. Sempre que o orçamento permitir, realize a comparação em mais de um nível de modelo — essa é a maneira mais econômica de descobrir se o que o senhor desenvolveu é um obstáculo ou um impulsionador.