AI-modellers kapacitetssammenligning
Vidensarbejde
Only models released within the past year are shown. Only benchmarks covering at least 3 of these models are shown. Unknown release dates are excluded; historical data is retained.
Harvey's Legal Agent BenchmarkHarvey juridisk agent-benchmark
— means no published score for this candidate in this source, not zero.7/11 recent-year models have scores
| Nr. | Model | Cost / TestPris pr. test | Input costInputpris pr. million tokens | Output costOutputpris pr. million tokens | DurationRapporteret testvarighed | |
|---|---|---|---|---|---|---|
| 1 |  Gemini 4 ArgonGemini 4 Argon | 27.08 | $10.55 | $4 | $20 | 29.25 min |
| 2 |  Claude Sonnet 5.5Claude Sonnet 5.5 | 10.42 | $16.61 | $2 | $10 | 73 min |
| 3 | Claude Opus 5.5Claude Opus 5.5 | 9.17 | $21.38 | $4 | $20 | 58.45 min |
| 4 |  GPT-6 AstraGPT-6 Astra | 7.08 | $25.46 | $10 | $50 | 32.55 min |
| 5 | GPT-6.1 SolGPT-6.1 Sol | 6.25 | $3.54 | $2 | $10 | 40.43 min |
| 6 | GPT-6 LunaGPT-6 Luna | 4.17 | $0.3 | $0.1 | $0.5 | 21.75 min |
| 7 | Claude Haiku 5.5Claude Haiku 5.5 | 4.17 | $4.26 | $0.1 | $0.5 | 43.68 min |
Vals.ai-benchmarks
Kilde: Vals.ai ↗ · Opdateret 2026-10-19
Harvey's Legal Agent Benchmark · Opdateret 2026-10-19
PandaNpc Opdateret 21. okt. 2026, 06.01 UTC
Kilde: Epoch AI, CC BY 4.0 · Vals.ai · Artificial Analysis (artificialanalysis.ai)
Kolonneguide
- Nr.
- Kun visningsrækkefølge. Sortering ændrer dette tal; det er ikke en offentliggjort kapacitetsrangering.
- Model
- Navnet på den evaluerede model og dens udbyderikon. En bindestreg i en scorekolonne betyder, at der ikke er en offentliggjort score tilgængelig her, ikke et nul.
- Cost / Test
- Pris pr. test · USD
- Input cost
- Inputpris pr. million tokens · USD / 1M tokens
- Output cost
- Outputpris pr. million tokens · USD / 1M tokens
- Duration
- Rapporteret testvarighed · s / min
- Vals.ai
- Omkostninger og tider rapporteres af Vals for dette benchmark, ikke universelle modelpriser eller latenstid. Den estimerede API-omkostning for CUA-bench dækker evalueringsbrug og er et nedre grænseestimat, ikke omkostning pr. opgave; tid pr. handling er et gennemsnit, ikke en median. En stjerne markerer prompt-cache-adfærd på udgivelsesdagen, som øgede omkostninger til cache-skrivning. Manglende værdier er ikke offentliggjorte, ikke nul.
- Vals Finance Agent v2Vals finansagent v2
- Tester finansiel analyse med søgning, finansielle rapporter og beregningsværktøjer, herunder datakontrol på tværs af dokumenter, sammenligninger af virksomheders resultater og værdiansættelse. Den primære metrik er Partial Credit, et gennemsnit over tre kørsler: svarkontroller får alvorlighedsbaserede vægte, og en kritisk dealbreaker-fejl gør, at det spørgsmål scorer nul. Højere er bedre. Dette er forskelligt fra den separate All-Pass-metrik og er ikke beståelsesraten for hele spørgsmål. Evalueringsmetodik ↗
- Harvey's Legal Agent BenchmarkHarvey juridisk agent-benchmark
- Tester agenter i at læse og redigere filer for at producere flertrins juridiske arbejdsprodukter. En opgave består kun, når hvert bedømmelseskrav er opfyldt. Scoren er den gennemsnitlige opgavebeståelsesrate fra to dommere; højere er bedre. Det er ikke procentdelen af beståede individuelle kriterier, og det måler juridiske agent-workflows snarere end LegalBench's juridiske ræsonneringsspørgsmål. Evalueringsmetodik ↗
- Vals IndexVals sammensatte indeks
- Et sammensat indeks over professionelle opgaver inden for områder som finans, kodning og jura. Dets procentvise score kombinerer benchmarkresultater ved hjælp af vægtningsmetoden for den pågældende offentliggjorte version; højere betyder stærkere samlet ydeevne, ikke nøjagtigheden af en enkelt opgave. Inkluderede domæner og vægte ændrer sig på tværs af versioner, så nyere metodologi må ikke anvendes bagudrettet på ældre score-snapshots. Evalueringsmetodik ↗
- LegalBenchJuridisk ræsonneringsbenchmark
- Tester forståelse og ræsonnement over juridisk tekst, herunder at identificere juridiske problemstillinger, huske og anvende regler og bedømme juridiske konklusioner. Scoren er nøjagtighed på juridiske ræsonneringsspørgsmål; højere er bedre. I modsætning til Harvey's Legal Agent Benchmark måler det ikke en agent, der producerer flertrins juridiske arbejdsprodukter ved at redigere filer. Evalueringsmetodik ↗