AI-mallien kyvykkyysvertailu
Tietotyö
Only models released within the past year are shown. Only benchmarks covering at least 3 of these models are shown. Unknown release dates are excluded; historical data is retained.
Harvey's Legal Agent BenchmarkHarveyn oikeudellinen agenttibenchmark
— means no published score for this candidate in this source, not zero.7/11 recent-year models have scores
| Nro. | Malli | Cost / TestKustannus per testi | Input costSyötteen hinta miljoonaa tokenia kohti | Output costTuotoksen hinta miljoonaa tokenia kohden | DurationIlmoitettu testin kesto | |
|---|---|---|---|---|---|---|
| 1 |  Gemini 4 ArgonGemini 4 Argon | 27.08 | $10.55 | $4 | $20 | 29.25 min |
| 2 |  Claude Sonnet 5.5Claude Sonnet 5.5 | 10.42 | $16.61 | $2 | $10 | 73 min |
| 3 | Claude Opus 5.5Claude Opus 5.5 | 9.17 | $21.38 | $4 | $20 | 58.45 min |
| 4 |  GPT-6 AstraGPT-6 Astra | 7.08 | $25.46 | $10 | $50 | 32.55 min |
| 5 | GPT-6.1 SolGPT-6.1 Sol | 6.25 | $3.54 | $2 | $10 | 40.43 min |
| 6 | GPT-6 LunaGPT-6 Luna | 4.17 | $0.3 | $0.1 | $0.5 | 21.75 min |
| 7 | Claude Haiku 5.5Claude Haiku 5.5 | 4.17 | $4.26 | $0.1 | $0.5 | 43.68 min |
Vals.ai-vertailutestit
Lähde: Vals.ai ↗ · Päivitetty 2026-10-19
Harvey's Legal Agent Benchmark · Päivitetty 2026-10-19
PandaNpc Päivitetty 21.10.2026 klo 06.01 UTC
Lähde: Epoch AI, CC BY 4.0 · Vals.ai · Artificial Analysis (artificialanalysis.ai)
Sarakkeiden opas
- Nro.
- Vain näyttöjärjestys. Lajittelu muuttaa tätä numeroa; se ei ole julkaistu kyvykkyyssijoitus.
- Malli
- Arvioidun mallin nimi ja sen tarjoajan kuvake. Viiva pistesarakkeessa tarkoittaa, ettei julkaistua pistettä ole saatavilla tässä, ei nollaa.
- Cost / Test
- Kustannus per testi · USD
- Input cost
- Syötteen hinta miljoonaa tokenia kohti · USD / 1M tokens
- Output cost
- Tuotoksen hinta miljoonaa tokenia kohden · USD / 1M tokens
- Duration
- Ilmoitettu testin kesto · s / min
- Vals.ai
- Vals ilmoittaa tämän benchmarkin kustannukset ja ajat, eivät yleisiä mallihintoja tai latenssia. CUA-benchin arvioitu API-kustannus kattaa arviointikäytön ja on alarajan arvio, ei kustannus tehtävää kohti; aika toimintoa kohti on keskiarvo, ei mediaani. Tähti merkitsee julkaisupäivän prompt-cache-käyttäytymistä, joka nosti cache-kirjoituskustannuksia. Puuttuvat arvot ovat julkaisemattomia, eivät nollia.
- Vals Finance Agent v2Vals talousagentti v2
- Testaa talousanalyysiä haun, talousraporttien ja laskentatyökalujen avulla, mukaan lukien asiakirjojen väliset tietotarkistukset, yritysten suorituskykyvertailut ja arvonmääritys. Päämittari on Partial Credit, joka keskiarvoistetaan kolmen ajon yli: vastaustarkistukset saavat vakavuuteen perustuvat painot, ja kriittinen dealbreaker-virhe tekee kyseisen kysymyksen pistemääräksi nollan. Korkeampi on parempi. Tämä eroaa erillisestä All-Pass-mittarista eikä ole koko kysymyksen läpäisyaste. Arviointimenetelmä ↗
- Harvey's Legal Agent BenchmarkHarveyn oikeudellinen agenttibenchmark
- Testaa agentteja, jotka lukevat ja muokkaavat tiedostoja tuottaakseen monivaiheisia oikeudellisia työtuotteita. Tehtävä läpäisee vain, kun jokainen arvosteluvaatimus täyttyy. Pistemäärä on kahden arvioijan keskimääräinen tehtävän läpäisyaste; korkeampi on parempi. Se ei ole yksittäisten kriteerien läpäisyprosentti, ja se mittaa oikeudellisten agenttien työnkulkuja eikä LegalBenchin oikeudellisen päättelyn kysymyksiä. Arviointimenetelmä ↗
- Vals IndexVals-yhdistelmäindeksi
- Yhdistelmäindeksi ammattimaisista tehtävistä muun muassa talouden, koodauksen ja oikeuden aloilta. Sen prosentuaalinen pistemäärä yhdistää benchmark-tulokset kyseisen julkaistun version painotusmenetelmällä; korkeampi tarkoittaa vahvempaa kokonaissuoritusta, ei yksittäisen tehtävän tarkkuutta. Mukana olevat osa-alueet ja painot muuttuvat versioiden välillä, joten uudempaa menetelmää ei saa soveltaa takautuvasti vanhempiin pistetulosten tilannekuviin. Arviointimenetelmä ↗
- LegalBenchOikeudellisen päättelyn benchmark
- Testaa oikeudellisen tekstin ymmärtämistä ja päättelyä, mukaan lukien oikeudellisten kysymysten tunnistaminen, sääntöjen muistaminen ja soveltaminen sekä oikeudellisten johtopäätösten arviointi. Pistemäärä on tarkkuus oikeudellisen päättelyn kysymyksissä; korkeampi on parempi. Toisin kuin Harvey's Legal Agent Benchmark, se ei mittaa agentin kykyä tuottaa monivaiheisia oikeudellisia työtuotteita tiedostoja muokkaamalla. Arviointimenetelmä ↗