Srovnání schopností AI modelů
Znalostní práce
Only models released within the past year are shown. Only benchmarks covering at least 3 of these models are shown. Unknown release dates are excluded; historical data is retained.
LegalBenchBenchmark právního uvažování
— means no published score for this candidate in this source, not zero.3/11 recent-year models have scores
| Č. | Model | Input costCena vstupu za milion tokenů | Output costCena výstupu za milion tokenů | LatencyUvedená latence | |
|---|---|---|---|---|---|
| 1 | 88.51 | $10 | $50 | 12.4 s | |
| 2 | 88.3 | $4 | $20 | 12.62 s | |
| 3 | 86.97 | $5 | $25 | 4.42 s |
PandaNpc Aktualizováno 21. 10. 2026 06:01 UTC
Zdroj: Epoch AI, CC BY 4.0 · Vals.ai · Artificial Analysis (artificialanalysis.ai)
Průvodce sloupci
- Č.
- Pouze pořadí zobrazení. Řazení toto číslo mění; nejde o zveřejněné pořadí schopností.
- Model
- Název hodnoceného modelu a ikona jeho poskytovatele. Pomlčka ve sloupci se skóre znamená, že zde není k dispozici žádné zveřejněné skóre, nikoli nula.
- Input cost
- Cena vstupu za milion tokenů · USD / 1M tokens
- Output cost
- Cena výstupu za milion tokenů · USD / 1M tokens
- Latency
- Uvedená latence · s / min
- Vals.ai
- Náklady a časy pro tento benchmark uvádí Vals, nejde o univerzální ceny modelů ani latenci. Odhadovaný náklad na API u CUA-bench zahrnuje využití při hodnocení a je odhadem dolní hranice, nikoli nákladem na úlohu; čas na akci je průměr, nikoli medián. Hvězdička označuje chování prompt-cache v den spuštění, které zvýšilo náklady na zápis do cache. Chybějící hodnoty jsou nezveřejněné, nikoli nulové.
- Vals Finance Agent v2Vals finanční agent v2
- Testuje finanční analýzu s vyhledáváním, finančními reporty a nástroji pro výpočty, včetně kontrol dat napříč dokumenty, srovnávání výkonnosti společností a oceňování. Hlavní metrikou je Partial Credit, zprůměrovaný přes tři běhy: kontroly odpovědí dostávají váhy podle závažnosti a kritická chyba dealbreaker způsobí, že daná otázka získá nulové skóre. Vyšší je lepší. Toto se liší od samostatné metriky All-Pass a nejde o míru úspěšnosti celé otázky. Metodika hodnocení ↗
- Harvey's Legal Agent BenchmarkHarvey benchmark právního agenta
- Testuje agenty při čtení a úpravách souborů za účelem vytváření vícestupňových právních pracovních výstupů. Úloha uspěje pouze tehdy, když jsou splněny všechny požadavky na hodnocení. Skóre je průměrná míra úspěšnosti úloh od dvou hodnotitelů; vyšší je lepší. Není to procento splněných jednotlivých kritérií a měří pracovní postupy právních agentů, nikoli otázky právního uvažování z LegalBench. Metodika hodnocení ↗
- Vals IndexVals kompozitní index
- Kompozitní index profesionálních úloh v oblastech, jako jsou finance, programování a právo. Jeho procentuální skóre kombinuje výsledky benchmarků pomocí metody vážení pro danou publikovanou verzi; vyšší hodnota znamená silnější celkový výkon, nikoli přesnost jedné úlohy. Zahrnuté domény a váhy se mezi verzemi mění, takže novější metodika se nesmí zpětně aplikovat na starší snímky skóre. Metodika hodnocení ↗
- LegalBenchBenchmark právního uvažování
- Testuje porozumění právnímu textu a uvažování nad ním, včetně identifikace právních otázek, vybavování a aplikace pravidel a posuzování právních závěrů. Skóre je přesnost u otázek právního uvažování; vyšší je lepší. Na rozdíl od Harvey's Legal Agent Benchmark neměří agenta vytvářejícího vícestupňové právní pracovní výstupy úpravami souborů. Metodika hodnocení ↗