การเปรียบเทียบความสามารถของโมเดล AI
การเขียนโค้ดแบบเอเจนติก
Only models released within the past year are shown. Only benchmarks covering at least 3 of these models are shown. Unknown release dates are excluded; historical data is retained.
Terminal-Bench 2.1เบนช์มาร์กเทอร์มินัล 2.1
— means no published score for this candidate in this source, not zero.8/11 recent-year models have scores
| ลำดับ | โมเดล | Cost / Testค่าใช้จ่ายต่อการทดสอบ | Input costราคาอินพุตต่อล้านโทเคน | Output costราคาเอาต์พุตต่อล้าน token | Durationระยะเวลาทดสอบที่รายงาน | |
|---|---|---|---|---|---|---|
| 1 | 87.64 | $0.5 | $4 | $20 | 6.38 min | |
| 2 | 87.27 | $1.34 | $10 | $50 | 4.57 min | |
| 3 | 85.02 | $3.07 | $10 | $50 | 8.33 min | |
| 4 | 84.64 | $0.89 | $5 | $25 | 12.55 min | |
| 5 | 83.15 | $0.63 | $2 | $10 | 7.77 min | |
| 6 | 83.15 | $0.37 | $2 | $10 | 4.98 min | |
| 7 | 73.03 | $0.03 | $0.1 | $0.5 | 7.08 min | |
| 8 | 57.68 | — | $4 | $20 | 14.03 min |
PandaNpc อัปเดต 21 ต.ค. 2569 06:01 UTC
แหล่งที่มา: Epoch AI, CC BY 4.0 · Vals.ai · Artificial Analysis (artificialanalysis.ai)
คำแนะนำคอลัมน์
- ลำดับ
- เป็นเพียงลำดับการแสดงผลเท่านั้น การจัดเรียงจะเปลี่ยนตัวเลขนี้ ไม่ใช่การจัดอันดับความสามารถที่เผยแพร่
- โมเดล
- ชื่อโมเดลที่ถูกประเมินและไอคอนผู้ให้บริการ เครื่องหมายขีดในคอลัมน์คะแนนหมายความว่าไม่มีคะแนนที่เผยแพร่ที่นี่ ไม่ใช่ศูนย์
- คะแนน
- ทดสอบการทำงานจริงในสภาพแวดล้อมเทอร์มินัล เช่น การเขียนโค้ดและการปฏิบัติการระบบ แต่ละเวอร์ชันใช้ชุดงานที่ต่างกันและควรเปรียบเทียบแยกกัน ระเบียบวิธีประเมิน ↗
- Cost / Test
- ค่าใช้จ่ายต่อการทดสอบ · USD
- Input cost
- ราคาอินพุตต่อล้านโทเคน · USD / 1M tokens
- Output cost
- ราคาเอาต์พุตต่อล้าน token · USD / 1M tokens
- Duration
- ระยะเวลาทดสอบที่รายงาน · s / min
- Vals.ai
- ค่าใช้จ่ายและเวลาถูกรายงานโดย Vals สำหรับเบนช์มาร์กนี้ ไม่ใช่ราคาหรือความหน่วงของโมเดลโดยทั่วไป ค่า API โดยประมาณของ CUA-bench ครอบคลุมการใช้งานในการประเมิน และเป็นค่าประมาณขอบเขตล่าง ไม่ใช่ค่าใช้จ่ายต่องาน เวลาต่อการกระทำเป็นค่าเฉลี่ย ไม่ใช่ค่ามัธยฐาน เครื่องหมายดอกจันระบุพฤติกรรม prompt-cache ในวันเปิดตัวที่ทำให้ค่าใช้จ่ายในการเขียนแคชเพิ่มขึ้น ค่าที่หายไปคือไม่ได้เผยแพร่ ไม่ใช่ศูนย์