resumo

Resumo executivo

Três fatores determinam se um agente de IA jurídica é eficaz:o modelo subjacente,a estrutura construídaem torno dele (por exemplo, agentes específicos para o domínio jurídico, como o CoCounsel, o Lexis+ com o Protégé, o Harvey, Legora e o próprio assistente da NetDocuments, ou agentes de uso geral como o ChatGPT ou o Claude) eo contexto ao qualtem acesso enquanto trabalha — os documentos, a pesquisa que os identifica, o grafo de conhecimento que liga os documentos entre si e tudo o mais que a sociedade disponibilizar sobre o assunto. Já existem vários parâmetros de referência de qualidade (como o VLAIR,de Vals, eo BigLaw Bench, de Harvey) para medir os dois primeiros fatores isoladamente ou os três de forma holística. No entanto, tanto quanto sabemos, nenhum deles isola o impacto e os aspetos económicos da própria camada de contexto — o que muda, tanto na qualidade da resposta como no custo, quando o modelo e o conjunto de dados são mantidos fixos e apenas o contexto varia. 

Essa lacuna é relevante porque cada fator — modelo, harness e contexto — evolui separadamente ao longo do tempo e apresenta diferentes oportunidades estratégicas às empresas. Os modelos melhoram com o progresso das empresas que desenvolvem modelos fundamentais. Os harnesses constituem um espaço extremamente competitivo, e as empresas utilizam frequentemente vários em simultâneo ou alternam entre eles ao longo do tempo, à medida que o panorama se altera. O contexto é a camada que é construída uma única vez e se mantém em todas as atualizações de modelo e em todos os agentes que uma empresa adota. É um dos poucos domínios em que o investimento da própria empresa se acumula, em vez de ser reiniciado. 

Tendo isso em conta, criámos um teste de desempenho baseado no princípio mais simples: manter o modelo e o conjunto de testes constantes, efetuar alterações apenas na camada de contexto e medir o que mudou em termos de precisão e custo. O nosso teste de desempenho é deliberadamente neutroquanto à forma como o contextodeve melhorar, uma vez que metadados mais ricos, uma pesquisa mais precisa, competências personalizadas e um grafo de conhecimento são todos possíveis candidatos. 

A precisão, por si só, constituiria um critério de avaliação errado, uma vez que a precisão pode quase sempre ser obtida com um maior investimento: um modelo de maior dimensão, mais raciocínio, mais recuperação de informação. Qualquer medida honesta de uma camada de contexto tem, portanto, de ponderar a qualidade que produz em relação ao custo de obtenção dessa qualidade. A unidade que definimosé o custo de uma resposta correta. A variação desse valor é o que designamos porRácio de Valor do Contexto (CVR). Quando avaliámos o nosso Gráfico de Contexto Jurídico em relação a este parâmetro de referência, os resultados foram decisivos. Por exemplo:

Esta eficiência coloca as empresas perante uma escolha. Podem aproveitar as poupanças, reinvesti-las em melhores respostas ou fazer ambas as coisas. Uma empresa satisfeita com a precisão atual pode concretizar as poupanças diretamente.Para uma empresa com 2 000 colaboradores que faz quatro milhões de perguntas por ano, isso traduz-se em aproximadamente 940 000 dólares de poupança anual, mantendo-se a qualidade inalterada.Uma empresa que pretenda uma maior precisão pode reinvestir parte dessa eficiência. Na análise comparativa, discutimos um exemplo em que o aumento do esforço de raciocínio do modelo de médio para elevado melhorou a precisão em 7 %, continuando a custar 18 % menos do que a linha de base. Em termos práticos, isso representa 216 000 respostas corretas adicionais por ano. Não se trata de ganhos fáceis: as respostas que um sistema ainda não conseguiu acertar são, por definição, as mais difíceis.

E embora esses números sejam o destaque, este relatório centra-se profundamente na metodologia subjacente aos mesmos: como e o que medir relativamente ao contexto jurídico, qual o valor de um ganho na qualidade das respostas em relação aos custos envolvidos e em que áreas um investimento adicional proporciona o maior retorno. O objetivo é proporcionar aos departamentos jurídicos e aos escritórios de advogados um quadro reutilizável para avaliar o impacto da sua própria camada de contexto ao longo do tempo. 

01 – Como funciona

Como funciona o LCEB — e o quadro conceptual subjacente —

A conceção fundamental do Legal Context Engineering Benchmark consiste numa comparação controlada com uma única variável. Um agente — ou seja, um modelo fixo dentro de um ambiente de teste fixo — responde duas vezes ao mesmo conjunto de perguntas. Na primeira passagem, o agente dispõe apenas das ferramentas de que um agente normalmente dispõe: uma pesquisa nos documentos do processo e a capacidade de recuperar o seu texto para uma investigação mais aprofundada. Na segunda passagem, dispõe dessas mesmas ferramentas e pode, além disso, aceder à camada de contexto melhorada que está a ser testada (por exemplo, um grafo de conhecimento, melhores filtros de metadados, pesquisa semântica). Uma vez que o modelo, as instruções e as perguntas se mantêm constantes ao longo das duas passagens, qualquer diferença que surja na qualidade das respostas ou no custo é provavelmente impulsionada diretamente pela engenharia de contexto. 

Note-se que manter outras variáveis constantes é mais difícil do que parece. Uma descrição da ferramenta que orienta um agente de forma a sobreajustar o conjunto de dados de teste, uma mensagem do sistema alterada que instrui o agente a comportar-se de forma diferente, um parâmetro de pesquisa ajustado para um lado e deixado inalterado no outro: cada um destes fatores introduz uma segunda variável, e qualquer resultado que se siga deixa de ser uma medição do contexto. O nosso conjunto de testes internos compara, portanto, as duas interfaces da ferramenta antes do início de uma execução e não pode prosseguir se estas diferirem em qualquer aspeto que não seja a disponibilidade do próprio Gráfico de Contexto Jurídico. 

A versão atual do nosso teste de desempenho é executada com base em dez processos reais — cinco transacionais e cinco contenciosos —, reunidos a partir de documentos regulamentares públicos e registos judiciais que, na totalidade ou em parte, se situam fora do período de dados de treino dos modelos com os quais realizámos os testes (isto ajuda a garantir que os agentes não respondem com base nos seus dados de treino e são, em vez disso, obrigados a basear-se exclusivamente no conteúdo do processo de teste). No total, os dez processos contêm 874 documentos e cerca de 60 milhões de caracteres: declarações de registo e procurações que chegam a ter centenas de milhares de caracteres cada, a par de registos de moções, decisões, transcrições de depoimentos e correspondência. Nada no corpus de documentos foi gerado sinteticamente, o que constitui uma escolha deliberada de conceção da nossa parte. Repetidamente, nos nossos testes, constatámos que um caso gerado sinteticamente que parecia realista à distância carecia de lógica interna ou — pior ainda — revelava uma simplicidade irrealista quando analisado mais de perto. 

Cada tema do LCEB inclui, pelo menos, vinte e cinco perguntas — um total de trezentas nas dez áreas — e cada uma delas é uma pergunta que um profissional do direito teria motivos para fazer. Estão deliberadamente distribuídas por um leque de níveis de dificuldade e tipos, e cada uma está identificada com o tipo a que pertence. 

As perguntas são elaboradas a partir dos documentos de origem, através da aplicação de uma série de modelos robustos para ler na íntegra cada documento de um processo, o que constitui, muitas vezes, um esforço extremamente ineficiente em termos de tokens e dispendioso. Os agentes propõem então pares de perguntas e respostas com base no que é encontrado nessas análises aprofundadas. Cada par é composto por três partes: a própria pergunta, uma resposta de referência que expõe o que o registo efetivamente sustenta (incluindo citações) e uma breve lista dos elementos específicos que uma resposta completa deve conter, a qual se torna a grelha de avaliação para essa pergunta. 

Por fim, procedemos à verificação cruzada das respostas e das rubricas através de validações determinísticas (por exemplo, se as citações na resposta correspondem efetivamente ao texto do corpus de documentos), bem como através de verificações pontuais realizadas por um especialista humano na matéria. 

As respostas geradas pelos agentes ao longo das duas execuções de teste — por exemplo, uma vez com o Gráfico de Contexto Jurídico ativado e outra sem ele — são, em seguida, avaliadas por um modelo robusto, que analisa a pergunta, os critérios que lhe são aplicáveis, a resposta gerada na íntegra e o registo das chamadas às ferramentas que o agente efetuou para a produzir. 

Uma execução regista duas coisas: se a resposta estava correta e quanto custou a sua produção. Cada chamada efetuada pelo agente é contabilizada, e os seus tokens são classificados em três tipos — entrada nova, entrada em cache e saída —, uma vez que cada um é faturado a uma tarifa diferente. Essas tarifas correspondem aos preços publicados para o modelo responsável pela resposta, atualizados à data da publicação. O resultado é um valor em dólares. 

Note-se que, uma vez que o modelo é mantidofixo no âmbito de umacomparação, esta pode ser repetida com um modelo diferente e os resultados podem ser analisados lado a lado. Procedemos assim com os três membros da família GPT-5.6, de modo a que apenas as alterações nas capacidades variem e a estrutura de preços permaneça comparável: 

Todos os três partilham uma data-limite de conhecimento a 16 de fevereiro de 2026, pelo que a exposição ao corpus durante o treino é idêntica entre eles. Todos os três foram testados com os mesmos dez temas, as mesmas 300 perguntas, as mesmas rubricas, o mesmo backend de documentos em tempo real e a mesma configuração do sistema de avaliação. A única diferença entre os três quadros de resultados que apresentamos mais adiante (na Secção 2) reside no modelo que respondeu às perguntas. 

Há duas características que justificam a realização desta comparação adicional. Em primeiro lugar, verifica se uma camada de contexto funciona como um suporte para modelos fracos ou como um acelerador para modelos fortes — uma distinção que determina se o investimento sobrevive à próxima atualização do modelo. Em segundo lugar, o CVR divide dois custos medidos nomesmo modelo, pelo que o preço do modelo aparece tanto no numerador como no denominador e se anula. O que sobrevive à anulação é precisamente aquilo que pretendemos comparar: em que medida a utilização da camada de contexto por cada modelo altera o custo da resposta correta para esse modelo. É por isso que os três rácios podem ser analisados em paralelo, mesmo que os montantes em dólares subjacentes não possam sê-lo. 

02 – a unidade de medida

Quanto custa uma resposta correta

A variação de custos entre um agente e outro a funcionar no mesmo modelo costumava ser suficientemente pequena para ser ignorada na maioria dos casos. Quando um agente respondia numa única passagem, lia e escrevia de forma modesta; agora, planeia, recorre a ferramentas, lê, repete tentativas e verifica o seu trabalho, e isso tornou-se o maior custo variável do funcionamento do sistema. Esta tendência está apenas a acelerar.O METR, que avalia tarefas de software e de investigação em vez de tarefas jurídicas, constata que a duração de uma tarefa que um agente de ponta conclui sem ajuda, com uma taxa de sucesso de 50 %, ascende agora a várias horas e tem vindo a duplicar aproximadamente a cada quatro meses. 

Isso torna o custo algo que deve ser medido, além de levantar a questão de em que unidade o medir. O custo por consulta, ou por tarefa, é o valor mais fácil de calcular e um dos menos informativos, porque o que realmente importa a um profissional do direito é uma resposta correta.O custo por resposta correta é, portanto, o barómetro que selecionámos: o total gasto numa execução dividido pelo número de respostas corretas, ponderado pelo crédito, o que resulta num único valor em dólares, em que quanto mais baixo, melhor. 

O que esse valor representa é o custode responder: cada chamada ao modelo que o agente efetua ao responder a uma pergunta ou ao executar uma tarefa. A construção do contexto, em primeiro lugar, constitui um custo separado, pago uma vez por assunto, em vez de uma vez por pergunta, e faz parte da visão «totalmente carregada» discutida na Secção 4. 

Em seguida:

O Rácio de Valor do Contexto indica quantas vezes mais barata se torna uma resposta correta. Com um valor de 2,0, a camada de contexto faz com que uma resposta correta custe metade do valor. Acima de 1,0, compensa o seu custo; em 1,0, atinge o ponto de equilíbrio; abaixo de 1,0, custa mais do que rende. 

Este rácio medeuma variação, que corresponde à questão que uma empresa se coloca ao ponderar um investimento: partindo da situação atual, será que isto compensa? O que não permite determinar é a posição inicial da empresa. É por isso que, além do valor do CVR, analisamos sempre o índice de qualidade: em que medida o agente fornece uma resposta completa, calculado como média de todas as perguntas, numa escala de 0 a 100. 

Ambos os números são absolutamente essenciais, pois é sempre possível melhorar um preço reduzindo o esforço, em vez de melhorando o desempenho, e a forma menos dispendiosa de reduzir o custo de uma resposta correta consiste em deixar de tentar responder às perguntas que são difíceis de responder. Considere dois sistemas submetidos às mesmas cem perguntas: 

As respostas do Sistema B custam um terço menos cada uma, e o Sistema B é aquele que nenhuma empresa desejaria, uma vez que deixou sessenta perguntas em cem sem resposta. O preço, por si só, não permite distingui-los. 

A mesma precaução aplica-se à comparação entre dois sistemas diferentes — ou entre conjuntos de documentos distintos —, uma vez que é mais fácil melhorar um preço quando ainda existe margem no seu ponto de referência: um sistema que responde a seis perguntas em dez dispõe de ganhos de baixo custo em todo o processo, enquanto um que já responde a nove em dez tem de investir avultadamente em cada ponto restante. O rácio é mais fiável quando analisado em relação à própria linha de base anterior da empresa — os mesmos assuntos, as mesmas perguntas, com e sem a camada de contexto. 

Eis todo o método. O resultado é o conjunto de fichas de avaliação que se segue. Vamos analisar em pormenor. 

03 – Colocar em prática

Qual é o valor dessas poupanças para uma empresa

Um indicador como o Rácio de Valor Contextual é útil em teoria, mas o que realmente importa para os escritórios de advogados e departamentos jurídicos é saber como o pôr em prática: seja para melhorar os seus negócios, seja para elevar o nível da prestação dos seus serviços jurídicos. Esta secção aborda exatamente esse tema. 

Considere uma grande empresa — 2 000 profissionais com acesso a um assistente de IA jurídica — e pergunte-se qual é o valor do Legal Context Graph para eles ao longo de um ano. Três configurações são relevantes para esta questão, e medimos todas elas com base no modelo de fronteira, utilizando as mesmas 300 perguntas: 

As duas primeiras linhas correspondem ao resultado de referência da Secção 2, expresso por pergunta: a camada de contexto garante qualidade e reduz o preço para metade. A terceira linha é fundamental para o tema desta secção. Tendo reduzido o custo de uma pergunta em quase metade através do Gráfico de Contexto Jurídico, uma empresa não precisa de concretizar essa poupança sob a forma de dinheiro propriamente dito. Em vez disso, pode «reinvestir» parte dessas poupanças em configurações do agente que aumentem a precisão — um modelo de maior dimensão, um orçamento de raciocínio mais alargado, uma pesquisa mais abrangente. Para efeitos deste exemplo, consideramos a opção mais simples: aumentar o esforço de raciocínio do modelode «médio» para «elevado», o que permite que o mesmo agente delibere durante mais tempo sobre cada pergunta, raciocinando de forma mais aprofundada, verificando mais e lendo mais. 

O que torna essa atualização acessível é a camada de contexto. Aumentar o esforço de raciocínio custa aproximadamente 1,5 vezes mais por pergunta, independentemente da presença ou não do Graph. Quando aplicada à linha de base sem assistência, essa atualização aumentaria as despesas da empresa em cerca de metade. Quando aplicada a um preço por pergunta que já foi reduzido para metade, a mesma atualização faz com que a empresa gaste18 % menos do quegasta atualmente. A precisão é, portanto, obtida com despesas que a empresa já tinha orçamentado. 

Consequentemente, a empresa depara-se com uma verdadeira escolha estratégica, em vez de um pedido de financiamento, uma vez que nenhuma das opções implica gastar mais um dólar do que gasta atualmente. A primeira consiste em guardar a poupança, mantendo a qualidade ao mesmo nível: 73,9 contra 75,4. A segunda consiste em reinvesti-la: a precisão aumenta de 73,9 para 79,3, enquanto as despesas continuam a diminuir. A magnitude de cada uma destas opções depende da intensidade com que a empresa utiliza a ferramenta, que é a única variável que não podemos fornecer. Ao longo de 250 dias úteis e com 2 000 profissionais: 

A uma média de oito perguntas por pessoa por dia — um valor realista para um escritório de advogados cujos profissionais dependem efetivamente dos agentes como companheiros de trabalho no dia a dia —, a poupança gerada traduz-se em cerca de 940 000 dólares por ano, de forma recorrente, para uma capacidade que o escritório já desenvolveu. Por outro lado, o reinvestimento desse montante rende 216 000 respostas corretas adicionais, com o escritório a continuar a ter um saldo positivo de cerca de 371 000 dólares por ano em relação à situação atual. 

O segundo destes aspetos merece especial atenção, uma vez que inverte o compromisso habitual. A precisão nos sistemas de IA é normalmente alcançada através de um maior investimento: um modelo de maior dimensão, mais raciocínio, mais recuperação de dados, sendo que cada um destes aspetos acarreta custos mais elevados. Aqui, a ordem é inversa. A camada de contexto reduz, em primeiro lugar, o custo de uma consulta, e a precisão é financiada com os rendimentos obtidos, de modo que uma empresa conclui o ano com maiorprecisão e numa situação financeiramais sólida — uma combinação raramente disponível. 

Além disso, o que mais importa é exatamente onde é que um parâmetro de referência se torna difícil. À medida que um sistema se aproxima do limite máximo num conjunto de questões, as respostas que permanecem por resolver são as mais dispendiosas: as reconciliações entre vários documentos, as questões cuja resposta aparece uma vez em quinze milhões de caracteres. São precisamente essas as respostas que uma deliberação mais aprofundada permite obter. Uma empresa que tenha libertado orçamento pode dar-se ao luxo de o gastar nessa cauda; uma empresa que não o tenha feito, não pode. 

04 – Ao longo do ciclo de vida de um processo

Quando a situação está em constante mudança

Tudo o que foi referido acima constitui um instantâneo: congelar a situação, construir o contexto, colocar as questões. É aí que a maioria dos pontos de referência se detém, mas essa não é a realidade da maioria dos assuntos jurídicos. Os documentos chegam, são revistos, são substituídos, e é necessário construir uma camada de contexto e, posteriormente, mantê-la. 

A primeira consequência é que o Rácio de Valor Contextual deve ser entendido mais como uma curva do que como um único número. O contexto é criado uma vez por processo; o valor que este retorna acumula-se uma vez por cada pergunta feita ou tarefa executada. Um processo que seja encerrado rapidamente, ou que uma equipa jurídica nunca tenha motivos para analisar, não compensará o investimento, por muito bem que o contexto tenha sido concebido. À medida que o número de perguntas aumenta, o custo de criação, amortizado entre elas, aproxima-se de zero e a relação aproxima-se do valor relativo apenas às respostas, acima referido. A questão fundamental é, portanto,o volume de agentes de equilíbrio: o número de perguntas respondidas pelos agentes por processo em que o rácio total — custo de construção juntamente com o custo de resposta — atinge 1,0. Vale a pena isolar este aspeto porque converte uma pergunta à qual uma empresa não consegue responder — «vale a pena a engenharia de contexto?» — numa à qual consegue: com que intensidade trabalhamos um processo? 

Três variáveis determinam o volume agênico de equilíbrio. A primeira é o custo de construção da camada de contexto, que depende da escolha do modelo e do volume de texto processado. Deliberadamente, não divulgamos o nosso próprio valor: nos nossos dez casos, este variou cerca de seis vezes com configurações idênticas, uma vez que o que o determina são os documentos e não qualquer decisão da nossa parte, e um único valor transposto do nosso corpus para o de outra empresa seria enganador. Esta é a única variável que uma empresa deve medir por si própria. A segunda é a poupança por pergunta, que é o que o índice de referência mede. 

A terceira característica merece uma análise mais aprofundada: as variações nas técnicas utilizadas para construir a camada de contexto desde o início. Algumas abordagens de engenharia de contexto, por exemplo, derivam o seu valor de uma estrutura calculada de tal forma que cada novo documento adicionado ou alterado invalida o que já tinha sido construído, e o custo repete-se sempre que um documento é arquivado. Outras abordagens centram-se em documentos individuais, pelo que um novo documento acrescenta trabalho proporcional ao seu próprio volume e deixa intacto tudo o que já foi construído. No primeiro dia, estas táticas de engenharia de contexto podem parecer idênticas e ter o mesmo custo; ao longo da duração de um processo que recebe documentos semanalmente, divergem acentuadamente. Um rácio medido num corpus estático favorece o modelo de reconstrução, pelo que uma empresa deve determinar em que tipo está a investir antes de comparar os números globais. 

Há uma quarta consideração que o resultado de dois níveis acima coloca em destaque. O custo de construção e o custo de resposta não têm de ser suportados no mesmo nível do modelo. A construção de um índice ao nível do documento é uma tarefa limitada e mecânica — ler um documento, descrever o que nele consta e onde se encontra — e, muitas vezes, está bem dentro das capacidades de um modelo económico. Responder a uma questão jurídica no âmbito de um processo, por sua vez, muitas vezes não o é. Um escritório pode, portanto, construir a sua camada de contexto com um modelo económico e investir as poupanças resultantes num modelo muito mais capaz na altura de responder às questões. 

Essa assimetria tem um grande impacto no volume de agentes de equilíbrio, uma vez que a poupança por pergunta varia proporcionalmente ao preço do modelo utilizado pelo agente que responde, ao passo que o custo de criação não varia. 

Note-se que a versão atual do Legal Context Engineering Benchmark não mede a evolução ao longo do tempo, mas já começámos a testar ampliações do benchmark que têm em conta conjuntos de assuntos que se desenrolam em fases, sendo que cada documento inclui a sua data real. Esperamos apresentar um relatório sobre este conjunto de dados separadamente nos próximos meses. Entretanto, a conclusão geral mantém-se: uma camada de contexto não é algo que se constrói de uma só vez, mas sim algo que se cultiva ao longo do tempo para se otimizar de acordo com os valores de um escritório de advogados ou de um departamento jurídico. 

05 – O convite

Por que razão estamos a publicar o método

O que descrevemos neste relatório não é apenas o parâmetro de referência interno que orienta a evolução do «Legal Context Graph» da NetDocuments, mas também a metodologia subjacente a esse parâmetro — uma metodologia que esperamos que qualquer departamento jurídico ou sociedade de advogados possa utilizar para avaliar o investimento na camada de contexto. 

Para aplicar esta metodologia, basta seguir os passos descritos.

1. Mantenha inalterados o seu modelo e o seu arnês.
2. Anote os tipos de perguntas que os seus profissionais realmente colocam e peça a alguém qualificado que especifique o que uma resposta completa deve incluir.
3. Altere uma técnica ou competência de engenharia de contexto de cada vez.
4. Atribua uma pontuação à resposta correta, antes e depois.
5. E leia algumas das respostas por si próprio antes de acreditar em qualquer um desses números.
6. Sempre que o orçamento o permitir, realize a comparação em mais do que um nível de modelo — é a forma mais económica de saber se o que criou é um obstáculo ou um catalisador.