Perbandingan Kemampuan Model AI

Panduan kolom

No.

Hanya urutan tampilan. Pengurutan mengubah nomor ini; ini bukan peringkat kemampuan yang dipublikasikan.

Model

Nama model yang dievaluasi dan ikon penyedianya. Tanda hubung pada kolom skor berarti tidak ada skor yang dipublikasikan yang tersedia di sini, bukan nol.

Input cost

Harga input per juta token · USD / 1M tokens

Output cost

Harga output per juta token · USD / 1M tokens

Latency

Latensi yang dilaporkan · s / min

Vals.ai

Biaya dan waktu dilaporkan oleh Vals untuk benchmark ini, bukan harga atau latensi model secara universal. Estimasi biaya API CUA-bench mencakup penggunaan evaluasi dan merupakan estimasi batas bawah, bukan biaya per tugas; waktu per aksi adalah rata-rata, bukan median. Tanda bintang menandai perilaku prompt-cache pada hari peluncuran yang meningkatkan biaya penulisan cache. Nilai yang hilang berarti belum dipublikasikan, bukan nol.

Vals Finance Agent v2Agen keuangan Vals v2

Menguji analisis keuangan dengan alat pencarian, laporan keuangan, dan kalkulasi, termasuk pemeriksaan data lintas dokumen, perbandingan kinerja perusahaan, dan valuasi. Metrik utamanya adalah Partial Credit, dirata-ratakan dari tiga kali percobaan: pemeriksaan jawaban menerima bobot berdasarkan tingkat keparahan, dan kesalahan dealbreaker yang kritis membuat pertanyaan tersebut bernilai nol. Semakin tinggi semakin baik. Ini berbeda dari metrik All-Pass yang terpisah dan bukan tingkat kelulusan seluruh pertanyaan. Metodologi evaluasi ↗

Harvey's Legal Agent BenchmarkBenchmark agen hukum Harvey

Menguji agen dalam membaca dan menyunting file untuk menghasilkan produk kerja hukum multi-langkah. Suatu tugas dinyatakan lulus hanya jika setiap persyaratan penilaian terpenuhi. Skornya adalah rata-rata tingkat kelulusan tugas dari dua penilai; semakin tinggi semakin baik. Ini bukan persentase kriteria individual yang lulus, dan mengukur alur kerja agen hukum, bukan pertanyaan penalaran hukum LegalBench. Metodologi evaluasi ↗

Vals IndexIndeks komposit Vals

Indeks komposit untuk tugas profesional di bidang seperti keuangan, pemrograman, dan hukum. Skor persentasenya menggabungkan hasil benchmark menggunakan metode pembobotan untuk versi terbitan tersebut; semakin tinggi berarti performa keseluruhan yang lebih kuat, bukan akurasi satu tugas. Domain dan bobot yang disertakan berubah antar versi, sehingga metodologi yang lebih baru tidak boleh diterapkan secara retrospektif pada snapshot skor yang lebih lama. Metodologi evaluasi ↗

LegalBenchBenchmark penalaran hukum

Menguji pemahaman dan penalaran atas teks hukum, termasuk mengidentifikasi masalah hukum, mengingat kembali dan menerapkan aturan, serta menilai kesimpulan hukum. Skornya adalah akurasi pada pertanyaan penalaran hukum; semakin tinggi semakin baik. Berbeda dari Harvey's Legal Agent Benchmark, ini tidak mengukur agen yang menghasilkan produk kerja hukum multi-langkah dengan menyunting file. Metodologi evaluasi ↗