Comparaison des capacités des modèles d'IA

Guide des colonnes

N°

Ordre d'affichage uniquement. Le tri modifie ce numéro ; il ne s'agit pas d'un classement de capacité publié.

Modèle

Le nom du modèle évalué et l'icône de son fournisseur. Un tiret dans une colonne de score signifie qu'aucun score publié n'est disponible ici, et non un zéro.

Cost / Test

Coût par test · USD

Input cost

Prix d'entrée par million de tokens · USD / 1M tokens

Output cost

Prix de sortie par million de tokens · USD / 1M tokens

Duration

Durée de test déclarée · s / min

Vals.ai

Les coûts et les temps sont rapportés par Vals pour ce benchmark, et non les prix ou la latence universels des modèles. Le coût API estimé de CUA-bench couvre l’usage lié à l’évaluation et constitue une estimation de borne inférieure, et non un coût par tâche ; le temps par action est une moyenne, pas une médiane. Un astérisque signale un comportement de cache de prompt le jour du lancement qui a augmenté les coûts d’écriture du cache. Les valeurs manquantes ne sont pas publiées ; elles ne valent pas zéro.

Vals Finance Agent v2Agent financier Vals v2

Teste l'analyse financière avec des outils de recherche, de rapports financiers et de calcul, notamment des vérifications de données entre documents, des comparaisons de performance d'entreprise et la valorisation. La métrique principale est Partial Credit, moyenné sur trois exécutions : les vérifications de réponse reçoivent des pondérations fondées sur la gravité, et une erreur critique éliminatoire fait tomber le score de cette question à zéro. Plus élevé, c'est mieux. Cette métrique est distincte de la métrique All-Pass séparée et ne correspond pas au taux de réussite de questions entières. Méthodologie d'évaluation ↗

Harvey's Legal Agent BenchmarkBenchmark de l'agent juridique Harvey

Teste des agents lisant et modifiant des fichiers pour produire des livrables juridiques à plusieurs étapes. Une tâche n'est réussie que lorsque chaque exigence de notation est satisfaite. Le score est le taux de réussite moyen des tâches selon deux évaluateurs ; plus il est élevé, mieux c'est. Il ne s'agit pas du pourcentage de critères individuels réussis, et il mesure les flux de travail d'agents juridiques plutôt que les questions de raisonnement juridique de LegalBench. Méthodologie d'évaluation ↗

Vals IndexIndice composite Vals

Indice composite de tâches professionnelles dans des domaines tels que la finance, la programmation et le droit. Son score en pourcentage combine des résultats de benchmarks à l'aide de la méthode de pondération pour cette version publiée ; un score plus élevé signifie une performance globale plus forte, et non l'exactitude d'une seule tâche. Les domaines inclus et les pondérations changent selon les versions, donc la méthodologie plus récente ne doit pas être appliquée rétrospectivement à des instantanés de scores plus anciens. Méthodologie d'évaluation ↗

LegalBenchBenchmark de raisonnement juridique

Teste la compréhension et le raisonnement sur du texte juridique, notamment l'identification de questions juridiques, le rappel et l'application de règles, et l'évaluation de conclusions juridiques. Le score est l'exactitude sur des questions de raisonnement juridique ; plus il est élevé, mieux c'est. Contrairement à Harvey's Legal Agent Benchmark, il ne mesure pas un agent produisant des livrables juridiques à plusieurs étapes en modifiant des fichiers. Méthodologie d'évaluation ↗