Порівняння можливостей ШІ-моделей
Інтелектуальна робота
Only models released within the past year are shown. Only benchmarks covering at least 3 of these models are shown. Unknown release dates are excluded; historical data is retained.
Harvey's Legal Agent BenchmarkБенчмарк юридичного агента Harvey
— means no published score for this candidate in this source, not zero.7/11 recent-year models have scores
| № | Модель | Cost / TestВартість за тест | Input costЦіна вхідних даних за мільйон token | Output costЦіна виводу за мільйон token | DurationЗаявлена тривалість тесту | |
|---|---|---|---|---|---|---|
| 1 | 27.08 | $10.55 | $4 | $20 | 29.25 min | |
| 2 | 10.42 | $16.61 | $2 | $10 | 73 min | |
| 3 | 9.17 | $21.38 | $4 | $20 | 58.45 min | |
| 4 | 7.08 | $25.46 | $10 | $50 | 32.55 min | |
| 5 | 6.25 | $3.54 | $2 | $10 | 40.43 min | |
| 6 | 4.17 | $0.3 | $0.1 | $0.5 | 21.75 min | |
| 7 | 4.17 | $4.26 | $0.1 | $0.5 | 43.68 min |
Бенчмарки Vals.ai
Джерело: Vals.ai ↗ · Оновлено 2026-10-19
Harvey's Legal Agent Benchmark · Оновлено 2026-10-19
PandaNpc Оновлено 21 жовт. 2026 р., 06:01 UTC
Джерело: Epoch AI, CC BY 4.0 · Vals.ai · Artificial Analysis (artificialanalysis.ai)
Довідка зі стовпців
- №
- Лише порядок відображення. Сортування змінює це число; це не опублікований рейтинг спроможностей.
- Модель
- Назва оцінюваної моделі та значок її постачальника. Прочерк у стовпці оцінки означає, що тут немає опублікованої оцінки, а не нуль.
- Cost / Test
- Вартість за тест · USD
- Input cost
- Ціна вхідних даних за мільйон token · USD / 1M tokens
- Output cost
- Ціна виводу за мільйон token · USD / 1M tokens
- Duration
- Заявлена тривалість тесту · s / min
- Vals.ai
- Витрати й час для цього бенчмарку наводить Vals, а не універсальні ціни чи затримка моделей. Оцінена вартість API для CUA-bench охоплює використання під час оцінювання та є оцінкою знизу, а не вартістю за завдання; час на дію — це середнє, а не медіана. Зірочка позначає поведінку промпт-кешу в день запуску, яка збільшила витрати на запис у кеш. Пропущені значення не опубліковані, а не нуль.
- Vals Finance Agent v2Фінансовий агент Vals v2
- Перевіряє фінансовий аналіз із пошуком, фінансовими звітами та інструментами обчислень, зокрема перевірку даних між документами, порівняння ефективності компаній та оцінювання. Основний показник — Partial Credit, усереднений за трьома запусками: перевірки відповідей отримують ваги залежно від серйозності, а критична помилка dealbreaker обнуляє бал за це питання. Вище — краще. Це відрізняється від окремого показника All-Pass і не є відсотком проходження цілого питання. Методологія оцінювання ↗
- Harvey's Legal Agent BenchmarkБенчмарк юридичного агента Harvey
- Перевіряє агентів, які читають і редагують файли, щоб створювати багатокрокові юридичні робочі продукти. Завдання вважається пройденим лише тоді, коли виконано кожну вимогу оцінювання. Бал — це середній відсоток проходження завдань за двома суддями; вище — краще. Це не відсоток окремо пройдених критеріїв, і він оцінює робочі процеси юридичних агентів, а не питання юридичного міркування з LegalBench. Методологія оцінювання ↗
- Vals IndexЗведений індекс Vals
- Зведений індекс професійних завдань у таких сферах, як фінанси, програмування та право. Його відсотковий бал поєднує результати бенчмарків із використанням методу зважування для цієї опублікованої версії; вище означає кращу загальну продуктивність, а не точність окремого завдання. Включені домени та ваги змінюються між версіями, тому новішу методологію не можна застосовувати ретроспективно до старіших знімків балів. Методологія оцінювання ↗
- LegalBenchБенчмарк юридичного міркування
- Перевіряє розуміння та міркування над юридичним текстом, зокрема визначення юридичних питань, пригадування й застосування правил та оцінювання юридичних висновків. Бал — це точність відповідей на питання юридичного міркування; вище — краще. На відміну від Harvey's Legal Agent Benchmark, він не оцінює агента, який створює багатокрокові юридичні робочі продукти шляхом редагування файлів. Методологія оцінювання ↗