Enquanto alguns provedores de tecnologia legal estão lançando o GPT-3.5 em casos de uso específicos e com isenções de responsabilidade, outros veem isso como um empreendimento muito arriscado e se contentam em esperar pela próxima geração de modelos de linguagem de IA.

Escrito por Rhys Dipshan

Embora tenha passado apenas alguns meses desde que a empresa de pesquisa OpenAI lançou seu mais novo modelo GPT-3 AI, coloquialmente conhecido como GPT-3.5, algumas empresas de tecnologia legal não perderam tempo em integrá-lo em suas próprias plataformas ou serviços.

Até agora, Ironclad , Docketwise e Helm360 , para citar alguns, lançaram ferramentas baseadas em GPT-3.5, enquanto outras, como o provedor de pesquisa jurídica Alexsei , integraram o modelo - que alimenta a popular ferramenta ChatGPT da OpenAI - em sua própria infraestrutura de IA de back-end .

Mas enquanto algumas empresas estão adotando rapidamente o GPT-3.5, outras estão adiando ou retardando sua adoção, preocupadas com o risco de usar um modelo de IA recém-desenvolvido que consideram muito imaturo e impreciso para uso seguro no mercado legal.

Certamente, embora muitos concordem que o modelo tem seus problemas, também há um consenso crescente sobre sua viabilidade em casos de uso específicos. Ainda assim, está claro que a tolerância ao risco com a alavancagem do GPT-3.5 varia significativamente no setor de tecnologia jurídica, criando uma situação em que o GPT-3.5 permeará o setor de maneira desigual, com empresas mesmo no mesmo mercado seguindo caminhos diferentes.

O provedor de pesquisa jurídica Casetext é um daqueles que não está convencido de que o GPT-3.5 esteja pronto para o horário nobre. “A resposta curta para saber se estamos implementando GPT-3 ou 3.5, ou ChatGPT em nossos aplicativos como pesquisa e [plataforma de esboço breve] Compose… ainda não é”, disse o CEO da Casetext, Jake Heller.

Ele explicou: “O que estamos vendo em nossos testes é que esses modelos não podem produzir uma resposta confiável em um conjunto de testes alto o suficiente. Simplesmente não estamos vendo isso funcionar em um lugar onde [os modelos acertam as coisas] mais de 95% do tempo; em um em cada 20 casos, falhará catastroficamente. Nós simplesmente não achamos que isso seja apropriado para advogados.”

Heller, no entanto, disse que a Casetext está “extremamente otimista” e empolgada com os futuros modelos de IA, que ele prevê que virão ainda este ano – seja da OpenAI, Google ou outros – e “focado a laser” nesta área. “Estamos todos envolvidos nessa IA generativa”, observou ele.

Mas o GPT-3.5 “ainda não está lá”, acrescentou. “E como empresa — e não vamos falar mal de outras empresas — [mas] não vamos nos preocupar com algo que simplesmente não achamos [ter] os padrões de confiabilidade exigidos por essa profissão.”

Para ter certeza, as imprecisões que afligem o GPT-3.5 - evidentes nas "alucinações" ocasionais do ChatGPT, que são respostas fictícias que o chatbot tem certeza de que estão corretas - são claras para muitos, especialmente aqueles que integraram o modelo de IA em suas ferramentas ou serviços.

Mark Doble, CEO e fundador da Alexsei, que utiliza o GPT-3.5 ao lado de outros modelos múltiplos de IA,  disse ao Legaltech News que o GPT-3.5 por si só “não é bom o suficiente para ser confiável ou para atender aos requisitos de nível da indústria que certamente nossos clientes exigem.”

Não é surpresa, portanto, que muitos estejam agindo com cuidado ao alavancar esse modelo de IA.

O GPT-3.5 “está muito à frente dos modelos de linguagem de seis a 12 meses atrás”, disse Sandeep Sacheti, vice-presidente executivo de gerenciamento de informações do cliente e excelência operacional da Wolters Kluwer Governance, Risk & Compliance.

Ainda assim, ele observou que a empresa está “examinando e testando minuciosamente onde faz sentido integrar o GPT-3”, incluindo o GPT-3.5, em suas soluções e serviços. Ele acrescentou que a empresa está “protegendo nossos clientes de serem expostos diretamente aos modelos de linguagem”, procurando integrá-los em seus processos internos, onde os resultados podem ser verificados antes de chegar aos clientes.

Para ter certeza, pelo menos algumas empresas legais de tecnologia que lançaram rapidamente ferramentas GPT-3.5 são transparentes sobre seus riscos. O Docket Alarm, por exemplo, que usa o GPT-3.5 para gerar resumos de documentos, inclui o seguinte aviso: “GPT3 é um recurso alfa AI que pode inserir erros ou 'alucinar' fatos. Sempre verifique.”

Mas, mesmo com isenções de responsabilidade, alguns veem o mergulho no GPT-3.5 muito rápido e amplamente como ainda muito arriscado. Sacheti observou que os clientes “devem poder confiar nos produtos Wolters Kluwer e, portanto, queremos utilizar esses recursos de maneira segura, sólida, justa [e] imparcial”.

Encontrando seu ponto de apoio

As deficiências do GPT-3.5 não impedem seu uso no mercado legal – tudo depende apenas de como ele é aproveitado. Heller observou que essa tecnologia é valiosa para realizar “tarefas mais criativas onde não há, por definição, uma resposta correta”.

“Acho que já está pronto para a produção para ajudar os advogados com tarefas criativas, para ser uma espécie de parceiro de pensamento para trocar ideias, para ajudar a formular uma pergunta, uma ideia ou até mesmo um parágrafo de uma maneira particular”, explicou ele. .

Esse cenário já existe, com um número crescente de provedores de CLM utilizando o GPT-3.5 para ajudar os usuários a redigir o contrato. “GPT-3.5 e ChatGPT parecem muito eficazes para redigir cláusulas, fornecendo o rascunho inicial ou sugestões para redigir cláusulas em contratos”, disse Margaret Minister, GC do fornecedor de CLM Evisort.

“Acho que será rapidamente ingerido no CLM para geração de contratos”, acrescentou ela. Embora o ministro não pudesse revelar o que Evisort estava procurando fazer com o GPT-3.5, ela observou: “Posso dizer que é realmente emocionante e está chegando ao fim”.

No entanto, ela disse que essa tecnologia "nunca vai substituir - não neste estágio de desenvolvimento - os advogados, em termos de juntar todos esses componentes".

Mas para alguns, embora a capacidade do GPT-3.5 de ajudar em tarefas criativas, pelo menos nos primeiros rascunhos, seja impressionante, ainda fica aquém do que eles gostariam de ver.

“Acreditamos que o valor real em aplicações legais, no entanto, é onde há  uma resposta correta - para citar alguns: pesquisa jurídica, descoberta, extração de pontos de acordo de contratos, análise se um contrato se alinha com as políticas de uma empresa e resumo de documentos complexos ”, disse Heller. “Pelo que vimos, teremos que esperar um pouco mais para que a tecnologia amadureça para usar essa tecnologia de forma confiável para aplicações como esta.”

Mas isso não quer dizer que já não esteja sendo usado em alguns desses campos. Alexsei utiliza o GPT-3.5, entre muitos outros modelos de IA, em sua plataforma de pesquisa jurídica, que conta com IA e especialistas humanos para redigir memorandos de pesquisa para seus usuários.

Doble disse ao Legaltech News que, em relação ao GPT-3.5, “há um valor significativo, especialmente combinado com modelos específicos de domínio. Isso é pelo menos o que estamos tentando fazer, e estamos vendo resultados realmente bons com modelos específicos de domínio que conhecem a lei.”

É claro que, nessa situação, o GPT-3.5 é apenas um dos muitos modelos trabalhando ao lado de humanos que revisam seus resultados. Mas tal cenário não é incomum no mercado. Muitos provedores de tecnologia jurídica não estão esperando por um único modelo de IA para melhorar - em vez disso, eles estão acostumados a adotar uma abordagem independente de tecnologia para resolver os problemas de seus clientes.

“Não começamos com a tecnologia primeiro, pois a filosofia que utilizamos é: não comece com o martelo procurando por pregos”, disse Sacheti. “Comece com os pontos problemáticos de nossos clientes, neste caso, advogados, a comunidade jurídica, [e] realmente entenda seus pontos problemáticos e resolva-os com a melhor solução de tecnologia ou a melhor solução de fluxo de trabalho que faça com que essa dor desapareça.”

Ele acrescentou: “Portanto, nosso ponto de partida não é a tecnologia, nosso ponto de partida é nosso cliente”.

Fonte: https://www.law.com/legaltechnews/2023/02/17/for-some-legal-tech-providers-gpt-3-5-is-not-yet-worth-the-risk/