Nota: Este art铆culo es solo una de las m谩s de 60 secciones de nuestro informe completo titulado: The 2024 Legal AI Retrospective - Key Lessons from the Past Year. Descargue el informe completo para consultar las referencias.
顿别蝉补蹿铆辞: Definir la precisi贸n
Supongamos que desea 芦Investigar si adjuntar el contrato completo al prompt es la mejor pr谩ctica en t茅rminos de precisi贸n y el equilibrio entre coste y rendimiento al hacerlo禄.
Para responder a la cuesti贸n del equilibrio entre coste y rendimiento, primero habr铆a que definir el coste de la imprecisi贸n. 驴Mayor riesgo de disputas, reclamaciones y honorarios legales asociados, o simplemente las horas perdidas en revisar el trabajo para que no se produzcan esos otros resultados?
Pero esto es m谩s f谩cil decirlo que hacerlo.
芦La precisi贸n es una m茅trica enga帽osa. Esto ha llevado a la b煤squeda de m茅tricas distintas que midan diferentes aspectos del rendimiento de la Legal AI. Se trata de una tarea compleja y existen muchas m茅tricas de clasificaci贸n para medir distintos matices del rendimiento (Akosa 2017; Holzmann and Klar 2024). Lamentablemente, no existe una m茅trica v谩lida para todo. Sin embargo, las siguientes se encuentran entre las m茅tricas de clasificaci贸n m谩s habituales. La precisi贸n es la proporci贸n de observaciones positivas correctamente predichas respecto al total de positivos predichos. El recall es la proporci贸n de observaciones positivas correctamente predichas respecto a todas las observaciones de la clase real. El F1 Score es la media arm贸nica de la precisi贸n y el recall.
M茅tricas como la precisi贸n, el recall y el F1 ofrecen resultados distintos en funci贸n de qu茅 clase se trata como positiva y cu谩l como negativa禄
Elifsu Parlan, AI Scientist, Reino Unido
