Nota: Este artigo 茅 apenas uma das 60+ se莽玫es do nosso relat贸rio completo intitulado: The 2024 Legal AI Retrospective - Key Lessons from the Past Year. Fa莽a o download do relat贸rio completo para verificar as cita莽玫es.
Desafio: Definir Precis茫o
Digamos que voc锚 quisesse "Investigar se anexar o contrato inteiro ao prompt 茅 a melhor pr谩tica em termos de precis茫o e da rela莽茫o custo-benef铆cio de fazer isso."
Para responder ao ponto sobre a rela莽茫o custo-benef铆cio aqui, seria necess谩rio primeiro definir o custo da imprecis茫o. Maior risco de disputas, reclama莽玫es e honor谩rios advocat铆cios associados, ou simplesmente as horas perdidas na verifica莽茫o do trabalho para que esses outros resultados n茫o ocorram?
Mas isso 茅 mais f谩cil falar do que fazer.
"Precis茫o 茅 uma m茅trica enganosa. Isso levou a uma busca por m茅tricas diferentes que medem aspectos distintos do desempenho de Legal AI. Essa 茅 uma tarefa complexa e h谩 muitas m茅tricas de classifica莽茫o para medir diferentes nuances de desempenho (Akosa 2017; Holzmann and Klar 2024). Infelizmente, n茫o existe uma m茅trica que funcione para todos os casos. No entanto, as seguintes est茫o entre as m茅tricas de classifica莽茫o mais comuns. Precis茫o 茅 a raz茫o entre as observa莽玫es positivas previstas corretamente e o total de positivos previstos. 脡 calculada como: Recall 茅 a raz茫o entre as observa莽玫es positivas previstas corretamente e todas as observa莽玫es da classe real. O F1 Score 茅 a m茅dia harm么nica entre Precis茫o e Recall.
M茅tricas como precis茫o, recall e F1 fornecem resultados diferentes dependendo de qual classe 茅 tratada como positiva e qual 茅 tratada como negativa"
Elifsu Parlan, AI Scientist, Reino Unido
