Perbandingan Kemampuan Model AI

Penggunaan komputer

Only models released within the past year are shown. Only benchmarks covering at least 3 of these models are shown. Unknown release dates are excluded; historical data is retained.

CUA-benchBenchmark agen penggunaan komputer

— means no published score for this candidate in this source, not zero.5/11 recent-year models have scores

No.ModelEst. API costPerkiraan biaya API untuk evaluasiInput costHarga input per juta tokenOutput costHarga output per juta tokenTime / actionRata-rata waktu per aksi
1OpenAIGPT-6 AstraGPT-6 Astra19.17$1821.37*$10$5032.09 s
2AnthropicClaude Opus 5.5Claude Opus 5.514$188.04$4$2014.71 s
3AnthropicClaude Fable 5.1Claude Fable 5.113.17$323.78$10$5037.44 s
4AnthropicClaude Opus 5Claude Opus 59$232.23$5$2525.29 s
5Google DeepMindGemini 4 ArgonGemini 4 Argon4.83$193.78$4$201.18 min

Tolok ukur Vals.ai

Sumber: Vals.ai ↗ · Diperbarui 2026-10-19

CUA-bench · Diperbarui 2026-10-13

PandaNpc Diperbarui 21 Okt 2026, 06.01 UTC

Sumber: Epoch AI, CC BY 4.0 · Vals.ai · Artificial Analysis (artificialanalysis.ai)

Panduan kolom

No.
Hanya urutan tampilan. Pengurutan mengubah nomor ini; ini bukan peringkat kemampuan yang dipublikasikan.
Model
Nama model yang dievaluasi dan ikon penyedianya. Tanda hubung pada kolom skor berarti tidak ada skor yang dipublikasikan yang tersedia di sini, bukan nol.
Skor
Menguji penggunaan papan ketik dan mouse untuk memainkan gim video komersial. Ini mengukur kontrol gim interaktif, bukan tugas perangkat lunak perkantoran. Metodologi evaluasi ↗
Cakupan
Hanya hasil yang dipublikasikan untuk keluarga model yang dipilih yang ditampilkan. OSWorld 2.x, Verified, dan Pro saat ini menyediakan konfigurasi Claude Opus 5; ini bukan cakupan lengkap untuk setiap model. Windows Agent Arena, MacArena, ScreenSpot-Pro, OSWorld-Human, WebArena-Verified, VisualWebArena, Online-Mind2Web, dan WorkArena++ belum terintegrasi di sini. SafeArena mengukur keamanan secara terpisah dan tidak digabungkan ke dalam skor penyelesaian tugas. Hasil yang hilang tidak pernah diisi dengan nol.
Est. API cost
Perkiraan biaya API untuk evaluasi · USD
Input cost
Harga input per juta token · USD / 1M tokens
Output cost
Harga output per juta token · USD / 1M tokens
Time / action
Rata-rata waktu per aksi · s / min
Vals.ai
Biaya dan waktu dilaporkan oleh Vals untuk benchmark ini, bukan harga atau latensi model secara universal. Estimasi biaya API CUA-bench mencakup penggunaan evaluasi dan merupakan estimasi batas bawah, bukan biaya per tugas; waktu per aksi adalah rata-rata, bukan median. Tanda bintang menandai perilaku prompt-cache pada hari peluncuran yang meningkatkan biaya penulisan cache. Nilai yang hilang berarti belum dipublikasikan, bukan nol.