Confronto delle capacità dei modelli AI

Guida alle colonne

N.

Solo ordine di visualizzazione. L'ordinamento modifica questo numero; non è una classifica di capacità pubblicata.

Modello

Il nome del modello valutato e l'icona del suo fornitore. Un trattino in una colonna di punteggio indica che qui non è disponibile alcun punteggio pubblicato, non uno zero.

Input cost

Prezzo di input per milione di token · USD / 1M tokens

Output cost

Prezzo dell'output per milione di token · USD / 1M tokens

Latency

Latenza dichiarata · s / min

Vals.ai

I costi e i tempi sono riportati da Vals per questo benchmark, non sono prezzi o latenza universali dei modelli. Il costo API stimato di CUA-bench copre l'utilizzo per la valutazione ed è una stima per difetto, non il costo per attività; il tempo per azione è una media, non una mediana. Un asterisco indica il comportamento della prompt-cache del giorno di lancio che ha aumentato i costi di scrittura della cache. I valori mancanti non sono pubblicati, non sono zero.

Vals Finance Agent v2Agente finanziario Vals v2

Verifica l'analisi finanziaria con ricerca, report finanziari e strumenti di calcolo, inclusi controlli dei dati tra documenti, confronti delle prestazioni aziendali e valutazione. La metrica principale è Partial Credit, mediata su tre esecuzioni: i controlli delle risposte ricevono pesi basati sulla gravità e un errore critico da dealbreaker fa ottenere un punteggio zero a quella domanda. Un valore più alto è migliore. È distinta dalla metrica separata All-Pass e non è il tasso di superamento dell'intera domanda. Metodologia di valutazione ↗

Harvey's Legal Agent BenchmarkBenchmark agente legale Harvey

Verifica agenti che leggono e modificano file per produrre elaborati legali multi-step. Un'attività è superata solo quando ogni requisito di valutazione è soddisfatto. Il punteggio è la media del tasso di superamento delle attività da due giudici; un valore più alto è migliore. Non è la percentuale di criteri individuali superati e misura flussi di lavoro di agenti legali, non le domande di ragionamento giuridico di LegalBench. Metodologia di valutazione ↗

Vals IndexIndice composito Vals

Un indice composito di attività professionali in aree come finanza, coding e diritto. Il suo punteggio percentuale combina i risultati dei benchmark usando il metodo di ponderazione di quella versione pubblicata; un valore più alto indica una prestazione complessiva più forte, non l'accuratezza di una singola attività. I domini e i pesi inclusi cambiano tra le versioni, quindi la metodologia più recente non deve essere applicata retroattivamente a snapshot di punteggi precedenti. Metodologia di valutazione ↗

LegalBenchBenchmark di ragionamento giuridico

Verifica la comprensione e il ragionamento su testi legali, inclusi l'identificazione di questioni legali, il richiamo e l'applicazione di regole e la valutazione di conclusioni legali. Il punteggio è l'accuratezza su domande di ragionamento giuridico; un valore più alto è migliore. A differenza di Harvey's Legal Agent Benchmark, non misura un agente che produce elaborati legali multi-step modificando file. Metodologia di valutazione ↗