Note : Cet article n'est qu'une des 60+ sections de notre rapport complet intitul茅 : The 2024 Legal AI Retrospective - Key Lessons from the Past Year. Veuillez t茅l茅charger le rapport complet pour v茅rifier les citations.
D茅fi : D茅finir la pr茅cision
Supposons que vous souhaitiez 芦 D茅terminer si l'ajout de l'int茅gralit茅 du contrat dans le prompt constitue la meilleure pratique en termes de pr茅cision et du compromis co没t-performance associ茅. 禄
Pour r茅pondre 脿 la question du compromis co没t-performance, vous devriez d'abord d茅finir le co没t de l'impr茅cision. S'agit-il d'un risque accru de litiges, de r茅clamations et de frais juridiques associ茅s, ou simplement des heures perdues 脿 v茅rifier le travail pour 茅viter que ces autres situations ne surviennent ?
Mais c'est plus facile 脿 dire qu'脿 faire.
芦 La pr茅cision est une m茅trique trompeuse. Cela a conduit 脿 la recherche de diff茅rentes m茅triques mesurant diff茅rents aspects de la performance de la Legal AI. Il s'agit d'une t芒che complexe et il existe de nombreuses m茅triques de classification pour mesurer diff茅rentes nuances de performance (Akosa 2017 ; Holzmann and Klar 2024). Il n'existe malheureusement pas de m茅trique universelle. Cependant, les m茅triques de classification suivantes sont parmi les plus courantes. La pr茅cision est le ratio des observations positives correctement pr茅dites par rapport au total des positifs pr茅dits. Le rappel est le ratio des observations positives correctement pr茅dites par rapport 脿 l'ensemble des observations de la classe r茅elle. Le score F1 est la moyenne harmonique de la pr茅cision et du rappel.
Des m茅triques telles que la pr茅cision, le rappel et le F1 donnent des r茅sultats diff茅rents selon la classe trait茅e comme positive et celle trait茅e comme n茅gative. 禄
Elifsu Parlan, AI Scientist, Royaume-Uni
