Porównanie możliwości modeli AI

Przewodnik po kolumnach

Nr

Tylko kolejność wyświetlania. Sortowanie zmienia ten numer; nie jest to opublikowana pozycja w rankingu możliwości.

Model

Nazwa ocenianego modelu i ikona jego dostawcy. Myślnik w kolumnie z wynikiem oznacza brak opublikowanego wyniku w tym miejscu, a nie zero.

Input cost

Cena za milion tokenów wejściowych · USD / 1M tokens

Output cost

Cena za milion tokenów wyjściowych · USD / 1M tokens

Latency

Zgłaszane opóźnienie · s / min

Vals.ai

Koszty i czasy są podawane przez Vals dla tego benchmarku, a nie są uniwersalnymi cenami modeli ani opóźnieniem. Szacowany koszt API CUA-bench obejmuje użycie w ewaluacji i jest szacunkiem dolnym, a nie kosztem na zadanie; czas na akcję to średnia, a nie mediana. Gwiazdka oznacza zachowanie pamięci podręcznej promptów w dniu premiery, które zwiększyło koszty zapisu do pamięci podręcznej. Brakujące wartości są niepublikowane, a nie zerowe.

Vals Finance Agent v2Agent finansowy Vals v2

Testuje analizę finansową z użyciem wyszukiwania, raportów finansowych i narzędzi obliczeniowych, w tym sprawdzania danych między dokumentami, porównywania wyników firm i wyceny. Główną metryką jest Partial Credit, uśredniany z trzech przebiegów: sprawdzenia odpowiedzi otrzymują wagi oparte na istotności, a krytyczny błąd typu dealbreaker sprawia, że to pytanie otrzymuje zero punktów. Wyższy wynik jest lepszy. Różni się od osobnej metryki All-Pass i nie jest wskaźnikiem zaliczenia całego pytania. Metodologia oceny ↗

Harvey's Legal Agent BenchmarkBenchmark agenta prawnego Harvey

Testuje agentów czytających i edytujących pliki w celu tworzenia wieloetapowych prawniczych produktów pracy. Zadanie zostaje zaliczone tylko wtedy, gdy spełnione są wszystkie wymagania oceniania. Wynik to średni wskaźnik zaliczenia zadań od dwóch sędziów; wyższy jest lepszy. Nie jest to odsetek zaliczonych pojedynczych kryteriów; mierzy przepływy pracy agentów prawnych, a nie pytania LegalBench dotyczące rozumowania prawnego. Metodologia oceny ↗

Vals IndexVals — indeks złożony

Złożony indeks zadań profesjonalnych w obszarach takich jak finanse, programowanie i prawo. Jego wynik procentowy łączy wyniki benchmarków przy użyciu metody ważenia dla danej opublikowanej wersji; wyższy oznacza silniejszą ogólną wydajność, a nie dokładność pojedynczego zadania. Uwzględniane domeny i wagi zmieniają się między wersjami, więc nowszej metodologii nie należy stosować wstecz do starszych migawek wyników. Metodologia oceny ↗

LegalBenchBenchmark rozumowania prawnego

Testuje rozumienie i rozumowanie na tekście prawnym, w tym identyfikowanie problemów prawnych, przywoływanie i stosowanie reguł oraz ocenę wniosków prawnych. Wynik to dokładność w pytaniach z rozumowania prawnego; wyższy jest lepszy. W odróżnieniu od Harvey's Legal Agent Benchmark nie mierzy agenta tworzącego wieloetapowe prawnicze produkty pracy poprzez edycję plików. Metodologia oceny ↗