AI-modellers kapacitetsjämförelse
Kunskapsarbete
Only models released within the past year are shown. Only benchmarks covering at least 3 of these models are shown. Unknown release dates are excluded; historical data is retained.
Harvey's Legal Agent BenchmarkHarvey juridisk agentbenchmark
— means no published score for this candidate in this source, not zero.7/11 recent-year models have scores
| Nr. | Modell | Cost / TestKostnad per test | Input costIndatapris per miljon token | Output costPris för utdata per miljon tokens | DurationRapporterad testvaraktighet | |
|---|---|---|---|---|---|---|
| 1 |  Gemini 4 ArgonGemini 4 Argon | 27.08 | $10.55 | $4 | $20 | 29.25 min |
| 2 |  Claude Sonnet 5.5Claude Sonnet 5.5 | 10.42 | $16.61 | $2 | $10 | 73 min |
| 3 | Claude Opus 5.5Claude Opus 5.5 | 9.17 | $21.38 | $4 | $20 | 58.45 min |
| 4 |  GPT-6 AstraGPT-6 Astra | 7.08 | $25.46 | $10 | $50 | 32.55 min |
| 5 | GPT-6.1 SolGPT-6.1 Sol | 6.25 | $3.54 | $2 | $10 | 40.43 min |
| 6 | GPT-6 LunaGPT-6 Luna | 4.17 | $0.3 | $0.1 | $0.5 | 21.75 min |
| 7 | Claude Haiku 5.5Claude Haiku 5.5 | 4.17 | $4.26 | $0.1 | $0.5 | 43.68 min |
Vals.ai-benchmarkar
Källa: Vals.ai ↗ · Uppdaterad 2026-10-19
Harvey's Legal Agent Benchmark · Uppdaterad 2026-10-19
PandaNpc Uppdaterad 21 okt. 2026 06:01 UTC
Källa: Epoch AI, CC BY 4.0 · Vals.ai · Artificial Analysis (artificialanalysis.ai)
Kolumnvägledning
- Nr.
- Endast visningsordning. Sortering ändrar detta nummer; det är inte en publicerad kapacitetsrankning.
- Modell
- Det utvärderade modellnamnet och dess leverantörsikon. Ett streck i en poängkolumn betyder att ingen publicerad poäng finns här, inte en nolla.
- Cost / Test
- Kostnad per test · USD
- Input cost
- Indatapris per miljon token · USD / 1M tokens
- Output cost
- Pris för utdata per miljon tokens · USD / 1M tokens
- Duration
- Rapporterad testvaraktighet · s / min
- Vals.ai
- Kostnader och tider rapporteras av Vals för detta benchmark, inte universella modellpriser eller latens. Den uppskattade API-kostnaden för CUA-bench täcker utvärderingsanvändning och är en uppskattning av nedre gränsen, inte kostnad per uppgift; tid per åtgärd är ett genomsnitt, inte en median. En asterisk markerar prompt-cache-beteende på lanseringsdagen som ökade kostnaderna för cache-skrivningar. Saknade värden är opublicerade, inte noll.
- Vals Finance Agent v2Vals finansagent v2
- Testar finansiell analys med sökning, finansiella rapporter och beräkningsverktyg, inklusive dataverifiering mellan dokument, jämförelser av företagsprestanda och värdering. Huvudmetriken är Partial Credit, genomsnitt över tre körningar: svarskontroller får allvarlighetsbaserade vikter, och ett kritiskt dealbreaker-fel gör att den frågan får noll poäng. Högre är bättre. Detta skiljer sig från den separata metriken All-Pass och är inte godkännandegraden för hela frågan. Utvärderingsmetodik ↗
- Harvey's Legal Agent BenchmarkHarvey juridisk agentbenchmark
- Testar agenter som läser och redigerar filer för att producera juridiska arbetsprodukter i flera steg. En uppgift godkänns endast när varje bedömningskrav är uppfyllt. Poängen är den genomsnittliga uppgiftsgodkännandegraden från två bedömare; högre är bättre. Det är inte procentandelen enskilda kriterier som godkänts, och det mäter juridiska agentarbetsflöden snarare än LegalBenchs juridiska resonemangsfrågor. Utvärderingsmetodik ↗
- Vals IndexVals sammansatt index
- Ett sammansatt index över professionella uppgifter inom områden som finans, kodning och juridik. Dess procentuella poäng kombinerar benchmarkresultat med viktningsmetoden för den publicerade versionen; högre innebär starkare övergripande prestanda, inte träffsäkerheten för en enskild uppgift. Ingående domäner och vikter ändras mellan versioner, så nyare metodik får inte tillämpas retroaktivt på äldre poängögonblicksbilder. Utvärderingsmetodik ↗
- LegalBenchBenchmark för juridiskt resonemang
- Testar förståelse och resonemang kring juridisk text, inklusive att identifiera juridiska frågor, minnas och tillämpa regler samt bedöma juridiska slutsatser. Poängen är träffsäkerhet på juridiska resonemangsfrågor; högre är bättre. Till skillnad från Harvey's Legal Agent Benchmark mäter det inte en agent som producerar juridiska arbetsprodukter i flera steg genom att redigera filer. Utvärderingsmetodik ↗