AI-modellek képességeinek összehasonlítása
Tudásmunka
Only models released within the past year are shown. Only benchmarks covering at least 3 of these models are shown. Unknown release dates are excluded; historical data is retained.
Vals IndexVals összetett index
— means no published score for this candidate in this source, not zero.7/11 recent-year models have scores
| Sz. | Modell | Cost / TestKöltség tesztenként | Input costBemeneti ár millió tokenenként | Output costKimeneti ár millió tokenenként | DurationJelentett tesztidőtartam | Input / Output TokensJelentett bemeneti / kimeneti tokenhasználat | |
|---|---|---|---|---|---|---|---|
| 1 | 70.85 | $18.7 | $2 | $10 | 86 min | 45.09B / 654.94M | |
| 2 | 70.18 | $28.12 | $4 | $20 | 85 min | 31.96B / 499.75M | |
| 3 | 69.24 | $13.37 | $4 | $20 | 44.97 min | 13.36B / 146.17M | |
| 4 | 65.02 | $21.28 | $10 | $50 | 33.65 min | 4.92B / 96.77M | |
| 5 | 63.94 | $3.61 | $2 | $10 | 44.4 min | 5.49B / 103.20M | |
| 6 | 58.71 | $3.17 | $0.1 | $0.5 | 49.8 min | 23.07B / 765.85M | |
| 7 | 52.32 | $0.45 | $0.1 | $0.5 | 32.38 min | 10.05B / 202.17M |
PandaNpc Frissítve 2026. okt. 21. 06:01 UTC
Forrás: Epoch AI, CC BY 4.0 · Vals.ai · Artificial Analysis (artificialanalysis.ai)
Oszlopismertető
- Sz.
- Csak megjelenítési sorrend. A rendezés megváltoztatja ezt a számot; ez nem egy közzétett képességi rangsor.
- Modell
- A kiértékelt modell neve és a szolgáltató ikonja. A pontszámoszlopban szereplő kötőjel azt jelenti, hogy itt nem érhető el közzétett pontszám, nem pedig nullát.
- Cost / Test
- Költség tesztenként · USD
- Input cost
- Bemeneti ár millió tokenenként · USD / 1M tokens
- Output cost
- Kimeneti ár millió tokenenként · USD / 1M tokens
- Duration
- Jelentett tesztidőtartam · s / min
- Input / Output Tokens
- Jelentett bemeneti / kimeneti tokenhasználat · tokens
- Vals.ai
- A költségeket és az időket erre a benchmarkra a Vals közli, nem univerzális modellárak vagy késleltetés. A CUA-bench becsült API-költsége az értékelési használatot fedi le, és egy alsó korlátot jelentő becslés, nem feladatonkénti költség; a műveletenkénti idő átlag, nem medián. A csillag az indulásnapi prompt-gyorsítótár-viselkedést jelöli, amely megnövelte a gyorsítótár-írási költségeket. A hiányzó értékek nincsenek közzétéve, nem nullák.
- Vals Finance Agent v2Vals pénzügyi ügynök v2
- Pénzügyi elemzést tesztel kereséssel, pénzügyi jelentésekkel és számítási eszközökkel, beleértve a dokumentumok közötti adatellenőrzéseket, a vállalati teljesítmény összehasonlítását és a vállalatértékelést. A fő metrika a Partial Credit, három futás átlagában: a válaszellenőrzések súlyosság alapú súlyokat kapnak, és egy kritikus dealbreaker hiba nullára állítja az adott kérdés pontszámát. A magasabb jobb. Ez eltér a külön All-Pass metrikától, és nem a teljes kérdésre vonatkozó teljesítési arány. Értékelési módszertan ↗
- Harvey's Legal Agent BenchmarkHarvey jogi ügynök benchmark
- A fájlokat olvasó és szerkesztő ügynököket tesztel több lépésből álló jogi munkatermékek előállításában. Egy feladat csak akkor teljesül, ha minden értékelési követelmény teljesül. A pontszám két bíráló átlagos feladatteljesítési aránya; a magasabb jobb. Nem az egyes kritériumok teljesítésének százaléka, és a jogi ügynök munkafolyamatait méri, nem a LegalBench jogi érvelési kérdéseit. Értékelési módszertan ↗
- Vals IndexVals összetett index
- Szakmai feladatok összetett indexe olyan területeken, mint a pénzügy, a kódolás és a jog. Százalékos pontszáma az adott publikált verzió súlyozási módszerével kombinálja a benchmarkeredményeket; a magasabb érték erősebb átfogó teljesítményt jelent, nem egyetlen feladat pontosságát. A bevont területek és súlyok verziónként változnak, ezért az újabb módszertant nem szabad visszamenőleg alkalmazni a régebbi pontszám-pillanatképekre. Értékelési módszertan ↗
- LegalBenchJogi érvelési benchmark
- A jogi szövegek megértését és az azok feletti érvelést teszteli, beleértve a jogi kérdések azonosítását, a szabályok felidézését és alkalmazását, valamint a jogi következtetések megítélését. A pontszám a jogi érvelési kérdéseken elért pontosság; a magasabb jobb. A Harvey's Legal Agent Benchmarktól eltérően nem azt méri, hogy egy ügynök fájlok szerkesztésével több lépésből álló jogi munkatermékeket állít elő. Értékelési módszertan ↗