So sánh năng lực mô hình AI

Hướng dẫn cột

STT

Chỉ là thứ tự hiển thị. Việc sắp xếp làm thay đổi số này; đây không phải là xếp hạng năng lực được công bố.

Mô hình

Tên mô hình được đánh giá và biểu tượng nhà cung cấp của mô hình đó. Dấu gạch ngang trong một cột điểm nghĩa là không có điểm nào được công bố ở đây, chứ không phải là số 0.

Input cost

Giá đầu vào mỗi triệu token · USD / 1M tokens

Output cost

Giá đầu ra mỗi triệu token · USD / 1M tokens

Latency

Độ trễ báo cáo · s / min

Vals.ai

Chi phí và thời gian được Vals báo cáo cho benchmark này, không phải giá hoặc độ trễ chung của model. Chi phí API ước tính của CUA-bench bao gồm mức sử dụng khi đánh giá và là ước tính cận dưới, không phải chi phí cho mỗi tác vụ; thời gian mỗi hành động là mức trung bình, không phải trung vị. Dấu hoa thị đánh dấu hành vi bộ nhớ đệm prompt trong ngày ra mắt làm tăng chi phí ghi bộ nhớ đệm. Các giá trị bị thiếu là chưa được công bố, không phải bằng không.

Vals Finance Agent v2Tác nhân tài chính Vals v2

Kiểm tra phân tích tài chính bằng các công cụ tìm kiếm, báo cáo tài chính và tính toán, bao gồm kiểm tra dữ liệu chéo giữa các tài liệu, so sánh hiệu quả hoạt động của công ty và định giá. Chỉ số chính là Partial Credit, được lấy trung bình qua ba lần chạy: các kiểm tra câu trả lời nhận trọng số dựa trên mức độ nghiêm trọng, và một lỗi dealbreaker nghiêm trọng khiến câu hỏi đó bị điểm không. Điểm cao hơn là tốt hơn. Điều này khác với chỉ số All-Pass riêng biệt và không phải tỷ lệ vượt qua toàn bộ câu hỏi. Phương pháp đánh giá ↗

Harvey's Legal Agent BenchmarkBenchmark tác nhân pháp lý Harvey

Kiểm tra các agent đọc và chỉnh sửa tệp để tạo ra các sản phẩm công việc pháp lý gồm nhiều bước. Một tác vụ chỉ đạt khi mọi yêu cầu chấm điểm đều được đáp ứng. Điểm số là tỷ lệ đạt tác vụ trung bình từ hai giám khảo; điểm cao hơn là tốt hơn. Đây không phải là tỷ lệ phần trăm các tiêu chí riêng lẻ được đạt, và nó đo lường quy trình làm việc của agent pháp lý thay vì các câu hỏi lập luận pháp lý của LegalBench. Phương pháp đánh giá ↗

Vals IndexChỉ số tổng hợp Vals

Chỉ số tổng hợp của các tác vụ chuyên môn trong các lĩnh vực như tài chính, lập trình và pháp luật. Điểm phần trăm của nó kết hợp kết quả benchmark bằng phương pháp tính trọng số cho phiên bản đã công bố đó; điểm cao hơn nghĩa là hiệu suất tổng thể mạnh hơn, không phải độ chính xác của một tác vụ đơn lẻ. Các lĩnh vực và trọng số được bao gồm thay đổi giữa các phiên bản, vì vậy không được áp dụng phương pháp mới cho các ảnh chụp điểm cũ một cách hồi tố. Phương pháp đánh giá ↗

LegalBenchBenchmark suy luận pháp lý

Kiểm tra khả năng hiểu và lập luận trên văn bản pháp lý, bao gồm xác định các vấn đề pháp lý, ghi nhớ và áp dụng các quy tắc, và đánh giá các kết luận pháp lý. Điểm số là độ chính xác đối với các câu hỏi lập luận pháp lý; điểm cao hơn là tốt hơn. Khác với Harvey's Legal Agent Benchmark, nó không đo lường việc một agent tạo ra các sản phẩm công việc pháp lý gồm nhiều bước bằng cách chỉnh sửa tệp. Phương pháp đánh giá ↗