Sammenligning av AI-modellers kapabiliteter
Kunnskapsarbeid
Only models released within the past year are shown. Only benchmarks covering at least 3 of these models are shown. Unknown release dates are excluded; historical data is retained.
Vals IndexVals sammensatt indeks
— means no published score for this candidate in this source, not zero.7/11 recent-year models have scores
| Nr. | Modell | Cost / TestKostnad per test | Input costInndatapris per million tokens | Output costPris for utdata per million tokens | DurationRapportert testvarighet | Input / Output TokensRapportert bruk av inndata-/utdatatoken | |
|---|---|---|---|---|---|---|---|
| 1 | 70.85 | $18.7 | $2 | $10 | 86 min | 45.09B / 654.94M | |
| 2 | 70.18 | $28.12 | $4 | $20 | 85 min | 31.96B / 499.75M | |
| 3 | 69.24 | $13.37 | $4 | $20 | 44.97 min | 13.36B / 146.17M | |
| 4 | 65.02 | $21.28 | $10 | $50 | 33.65 min | 4.92B / 96.77M | |
| 5 | 63.94 | $3.61 | $2 | $10 | 44.4 min | 5.49B / 103.20M | |
| 6 | 58.71 | $3.17 | $0.1 | $0.5 | 49.8 min | 23.07B / 765.85M | |
| 7 | 52.32 | $0.45 | $0.1 | $0.5 | 32.38 min | 10.05B / 202.17M |
PandaNpc Oppdatert 21. okt. 2026, 06:01 UTC
Kilde: Epoch AI, CC BY 4.0 · Vals.ai · Artificial Analysis (artificialanalysis.ai)
Kolonneveiledning
- Nr.
- Kun visningsrekkefølge. Sortering endrer dette tallet; det er ikke en publisert kapabilitetsrangering.
- Modell
- Navnet på den evaluerte modellen og ikonet til leverandøren. En strek i en poengkolonne betyr at ingen publisert poengsum er tilgjengelig her, ikke null.
- Cost / Test
- Kostnad per test · USD
- Input cost
- Inndatapris per million tokens · USD / 1M tokens
- Output cost
- Pris for utdata per million tokens · USD / 1M tokens
- Duration
- Rapportert testvarighet · s / min
- Input / Output Tokens
- Rapportert bruk av inndata-/utdatatoken · tokens
- Vals.ai
- Kostnader og tider rapporteres av Vals for denne benchmarken, ikke universelle modellpriser eller latens. Estimert API-kostnad for CUA-bench dekker evalueringsbruk og er et nedre anslag, ikke kostnad per oppgave; tid per handling er et gjennomsnitt, ikke en median. En asterisk markerer prompt-cache-atferd på lanseringsdagen som økte kostnader for cache-skriving. Manglende verdier er upubliserte, ikke null.
- Vals Finance Agent v2Vals finansagent v2
- Tester finansiell analyse med søk, finansrapporter og beregningsverktøy, inkludert datakontroller på tvers av dokumenter, sammenligninger av selskapsresultater og verdsettelse. Hovedmetrikken er Partial Credit, gjennomsnittet over tre kjøringer: svarsjekker får alvorlighetsbaserte vekter, og en kritisk dealbreaker-feil gjør at det spørsmålet får null poeng. Høyere er bedre. Dette er forskjellig fra den separate All-Pass-metrikken og er ikke beståelsesraten for hele spørsmål. Evalueringsmetodikk ↗
- Harvey's Legal Agent BenchmarkHarvey juridisk agent-benchmark
- Tester agenter som leser og redigerer filer for å produsere juridiske arbeidsprodukter i flere trinn. En oppgave består bare når alle vurderingskrav er oppfylt. Poengsummen er gjennomsnittlig oppgavebeståelsesrate fra to dommere; høyere er bedre. Det er ikke prosentandelen av enkeltkriterier som bestås, og det måler arbeidsflyter for juridiske agenter i stedet for LegalBench sine juridiske resonneringsspørsmål. Evalueringsmetodikk ↗
- Vals IndexVals sammensatt indeks
- En sammensatt indeks over profesjonelle oppgaver innen områder som finans, koding og juss. Prosentscoren kombinerer benchmarkresultater ved hjelp av vektingsmetoden for den publiserte versjonen; høyere betyr sterkere samlet ytelse, ikke nøyaktigheten til en enkelt oppgave. Inkluderte domener og vekter endres mellom versjoner, så nyere metodikk må ikke brukes retroaktivt på eldre poengsnapshots. Evalueringsmetodikk ↗
- LegalBenchJuridisk resonneringsbenchmark
- Tester forståelse og resonnering over juridisk tekst, inkludert å identifisere juridiske problemstillinger, huske og anvende regler og vurdere juridiske konklusjoner. Poengsummen er nøyaktighet på juridiske resonneringsspørsmål; høyere er bedre. I motsetning til Harvey's Legal Agent Benchmark måler det ikke en agent som produserer juridiske arbeidsprodukter i flere trinn ved å redigere filer. Evalueringsmetodikk ↗