AI-mallien kyvykkyysvertailu
Tietotyö
Only models released within the past year are shown. Only benchmarks covering at least 3 of these models are shown. Unknown release dates are excluded; historical data is retained.
Vals IndexVals-yhdistelmäindeksi
— means no published score for this candidate in this source, not zero.7/11 recent-year models have scores
| Nro. | Malli | Cost / TestKustannus per testi | Input costSyötteen hinta miljoonaa tokenia kohti | Output costTuotoksen hinta miljoonaa tokenia kohden | DurationIlmoitettu testin kesto | Input / Output TokensIlmoitettu syöte-/tulostokenien käyttö | |
|---|---|---|---|---|---|---|---|
| 1 | 70.85 | $18.7 | $2 | $10 | 86 min | 45.09B / 654.94M | |
| 2 | 70.18 | $28.12 | $4 | $20 | 85 min | 31.96B / 499.75M | |
| 3 | 69.24 | $13.37 | $4 | $20 | 44.97 min | 13.36B / 146.17M | |
| 4 | 65.02 | $21.28 | $10 | $50 | 33.65 min | 4.92B / 96.77M | |
| 5 | 63.94 | $3.61 | $2 | $10 | 44.4 min | 5.49B / 103.20M | |
| 6 | 58.71 | $3.17 | $0.1 | $0.5 | 49.8 min | 23.07B / 765.85M | |
| 7 | 52.32 | $0.45 | $0.1 | $0.5 | 32.38 min | 10.05B / 202.17M |
PandaNpc Päivitetty 21.10.2026 klo 06.01 UTC
Lähde: Epoch AI, CC BY 4.0 · Vals.ai · Artificial Analysis (artificialanalysis.ai)
Sarakkeiden opas
- Nro.
- Vain näyttöjärjestys. Lajittelu muuttaa tätä numeroa; se ei ole julkaistu kyvykkyyssijoitus.
- Malli
- Arvioidun mallin nimi ja sen tarjoajan kuvake. Viiva pistesarakkeessa tarkoittaa, ettei julkaistua pistettä ole saatavilla tässä, ei nollaa.
- Cost / Test
- Kustannus per testi · USD
- Input cost
- Syötteen hinta miljoonaa tokenia kohti · USD / 1M tokens
- Output cost
- Tuotoksen hinta miljoonaa tokenia kohden · USD / 1M tokens
- Duration
- Ilmoitettu testin kesto · s / min
- Input / Output Tokens
- Ilmoitettu syöte-/tulostokenien käyttö · tokens
- Vals.ai
- Vals ilmoittaa tämän benchmarkin kustannukset ja ajat, eivät yleisiä mallihintoja tai latenssia. CUA-benchin arvioitu API-kustannus kattaa arviointikäytön ja on alarajan arvio, ei kustannus tehtävää kohti; aika toimintoa kohti on keskiarvo, ei mediaani. Tähti merkitsee julkaisupäivän prompt-cache-käyttäytymistä, joka nosti cache-kirjoituskustannuksia. Puuttuvat arvot ovat julkaisemattomia, eivät nollia.
- Vals Finance Agent v2Vals talousagentti v2
- Testaa talousanalyysiä haun, talousraporttien ja laskentatyökalujen avulla, mukaan lukien asiakirjojen väliset tietotarkistukset, yritysten suorituskykyvertailut ja arvonmääritys. Päämittari on Partial Credit, joka keskiarvoistetaan kolmen ajon yli: vastaustarkistukset saavat vakavuuteen perustuvat painot, ja kriittinen dealbreaker-virhe tekee kyseisen kysymyksen pistemääräksi nollan. Korkeampi on parempi. Tämä eroaa erillisestä All-Pass-mittarista eikä ole koko kysymyksen läpäisyaste. Arviointimenetelmä ↗
- Harvey's Legal Agent BenchmarkHarveyn oikeudellinen agenttibenchmark
- Testaa agentteja, jotka lukevat ja muokkaavat tiedostoja tuottaakseen monivaiheisia oikeudellisia työtuotteita. Tehtävä läpäisee vain, kun jokainen arvosteluvaatimus täyttyy. Pistemäärä on kahden arvioijan keskimääräinen tehtävän läpäisyaste; korkeampi on parempi. Se ei ole yksittäisten kriteerien läpäisyprosentti, ja se mittaa oikeudellisten agenttien työnkulkuja eikä LegalBenchin oikeudellisen päättelyn kysymyksiä. Arviointimenetelmä ↗
- Vals IndexVals-yhdistelmäindeksi
- Yhdistelmäindeksi ammattimaisista tehtävistä muun muassa talouden, koodauksen ja oikeuden aloilta. Sen prosentuaalinen pistemäärä yhdistää benchmark-tulokset kyseisen julkaistun version painotusmenetelmällä; korkeampi tarkoittaa vahvempaa kokonaissuoritusta, ei yksittäisen tehtävän tarkkuutta. Mukana olevat osa-alueet ja painot muuttuvat versioiden välillä, joten uudempaa menetelmää ei saa soveltaa takautuvasti vanhempiin pistetulosten tilannekuviin. Arviointimenetelmä ↗
- LegalBenchOikeudellisen päättelyn benchmark
- Testaa oikeudellisen tekstin ymmärtämistä ja päättelyä, mukaan lukien oikeudellisten kysymysten tunnistaminen, sääntöjen muistaminen ja soveltaminen sekä oikeudellisten johtopäätösten arviointi. Pistemäärä on tarkkuus oikeudellisen päättelyn kysymyksissä; korkeampi on parempi. Toisin kuin Harvey's Legal Agent Benchmark, se ei mittaa agentin kykyä tuottaa monivaiheisia oikeudellisia työtuotteita tiedostoja muokkaamalla. Arviointimenetelmä ↗