Comparação de Capacidades de Modelos de IA

Guia de colunas

Nº

Apenas ordem de exibição. A ordenação altera este número; não é uma classificação de capacidade publicada.

Modelo

O nome do modelo avaliado e o ícone do respetivo provedor. Um traço numa coluna de pontuação significa que não há pontuação publicada disponível aqui, e não um zero.

Cost / Test

Custo por teste · USD

Input cost

Preço de entrada por milhão de tokens · USD / 1M tokens

Output cost

Preço de saída por milhão de tokens · USD / 1M tokens

Duration

Duração do teste reportada · s / min

Input / Output Tokens

Uso reportado de token de entrada / saída · tokens

Vals.ai

Os custos e tempos são reportados por Vals para este benchmark, não preços ou latência universais de modelos. O custo estimado de API do CUA-bench cobre o uso na avaliação e é uma estimativa de limite inferior, não o custo por tarefa; o tempo por ação é uma média, não uma mediana. Um asterisco marca o comportamento de cache de prompt no dia de lançamento que aumentou os custos de gravação no cache. Valores ausentes não são publicados, não são zero.

Vals Finance Agent v2Agente financeiro Vals v2

Testa análise financeira com busca, relatórios financeiros e ferramentas de cálculo, incluindo verificações de dados entre documentos, comparações de desempenho de empresas e valuation. A métrica principal é Crédito Parcial, calculada como média de três execuções: as verificações de resposta recebem pesos baseados em severidade, e um erro crítico eliminatório faz a pontuação dessa pergunta ser zero. Quanto maior, melhor. É distinta da métrica separada Aprovação Total e não é a taxa de aprovação da questão inteira. Metodologia de avaliação ↗

Harvey's Legal Agent BenchmarkBenchmark de agente jurídico Harvey

Testa agentes que leem e editam arquivos para produzir produtos de trabalho jurídicos de várias etapas. Uma tarefa só é aprovada quando todos os requisitos de avaliação são atendidos. A pontuação é a taxa média de aprovação de tarefas de dois juízes; quanto maior, melhor. Não é a porcentagem de critérios individuais aprovados, e mede fluxos de trabalho de agentes jurídicos, e não as perguntas de raciocínio jurídico do LegalBench. Metodologia de avaliação ↗

Vals IndexÍndice composto Vals

Um índice composto de tarefas profissionais em áreas como finanças, programação e direito. Sua pontuação percentual combina resultados de benchmarks usando o método de ponderação da versão publicada; uma pontuação mais alta significa desempenho geral mais forte, não a precisão de uma única tarefa. Os domínios incluídos e os pesos mudam entre versões, portanto a metodologia mais recente não deve ser aplicada retroativamente a instantâneos de pontuação mais antigos. Metodologia de avaliação ↗

LegalBenchBenchmark de raciocínio jurídico

Testa compreensão e raciocínio sobre textos jurídicos, incluindo identificar questões jurídicas, recordar e aplicar regras e julgar conclusões jurídicas. A pontuação é a precisão em perguntas de raciocínio jurídico; quanto maior, melhor. Ao contrário do Harvey's Legal Agent Benchmark, não mede um agente produzindo produtos de trabalho jurídicos de várias etapas ao editar arquivos. Metodologia de avaliação ↗