AI मॉडल क्षमता तुलना
ज्ञान कार्य
Only models released within the past year are shown. Only benchmarks covering at least 3 of these models are shown. Unknown release dates are excluded; historical data is retained.
Harvey's Legal Agent BenchmarkHarvey कानूनी एजेंट बेंचमार्क
— means no published score for this candidate in this source, not zero.7/11 recent-year models have scores
| क्र. | मॉडल | Cost / Testप्रति परीक्षण लागत | Input costप्रति मिलियन token इनपुट मूल्य | Output costआउटपुट मूल्य प्रति मिलियन token | Durationरिपोर्ट की गई परीक्षण अवधि | |
|---|---|---|---|---|---|---|
| 1 |  Gemini 4 ArgonGemini 4 Argon | 27.08 | $10.55 | $4 | $20 | 29.25 min |
| 2 |  Claude Sonnet 5.5Claude Sonnet 5.5 | 10.42 | $16.61 | $2 | $10 | 73 min |
| 3 | Claude Opus 5.5Claude Opus 5.5 | 9.17 | $21.38 | $4 | $20 | 58.45 min |
| 4 |  GPT-6 AstraGPT-6 Astra | 7.08 | $25.46 | $10 | $50 | 32.55 min |
| 5 | GPT-6.1 SolGPT-6.1 Sol | 6.25 | $3.54 | $2 | $10 | 40.43 min |
| 6 | GPT-6 LunaGPT-6 Luna | 4.17 | $0.3 | $0.1 | $0.5 | 21.75 min |
| 7 | Claude Haiku 5.5Claude Haiku 5.5 | 4.17 | $4.26 | $0.1 | $0.5 | 43.68 min |
Vals.ai बेंचमार्क
स्रोत: Vals.ai ↗ · अपडेटेड 2026-10-19
Harvey's Legal Agent Benchmark · अपडेटेड 2026-10-19
PandaNpc अपडेटेड 21 अक्टू॰ 2026, 06:01 UTC
स्रोत: Epoch AI, CC BY 4.0 · Vals.ai · Artificial Analysis (artificialanalysis.ai)
स्तंभ गाइड
- क्र.
- केवल प्रदर्शन क्रम। क्रमबद्ध करने पर यह संख्या बदलती है; यह प्रकाशित क्षमता रैंक नहीं है।
- मॉडल
- मूल्यांकित मॉडल का नाम और उसके प्रदाता का आइकन। स्कोर स्तंभ में डैश का अर्थ है कि यहाँ कोई प्रकाशित स्कोर उपलब्ध नहीं है, शून्य नहीं।
- Cost / Test
- प्रति परीक्षण लागत · USD
- Input cost
- प्रति मिलियन token इनपुट मूल्य · USD / 1M tokens
- Output cost
- आउटपुट मूल्य प्रति मिलियन token · USD / 1M tokens
- Duration
- रिपोर्ट की गई परीक्षण अवधि · s / min
- Vals.ai
- इस बेंचमार्क के लिए लागत और समय Vals द्वारा रिपोर्ट किए गए हैं, न कि सार्वभौमिक मॉडल कीमतें या विलंबता। CUA-bench का अनुमानित API लागत मूल्यांकन उपयोग को कवर करता है और एक निम्न-सीमा अनुमान है, प्रति कार्य लागत नहीं; प्रति क्रिया समय एक औसत है, माध्यक नहीं। एक तारांकन लॉन्च-डे प्रॉम्प्ट-कैश व्यवहार को चिह्नित करता है जिसने कैश-राइट लागतें बढ़ाईं। अनुपलब्ध मान अप्रकाशित हैं, शून्य नहीं।
- Vals Finance Agent v2Vals वित्त एजेंट v2
- खोज, वित्तीय रिपोर्ट और गणना उपकरणों के साथ वित्तीय विश्लेषण का परीक्षण करता है, जिसमें क्रॉस-डॉक्युमेंट डेटा जाँच, कंपनी प्रदर्शन तुलना और मूल्यांकन शामिल हैं। मुख्य मेट्रिक Partial Credit है, जिसे तीन रनों पर औसत किया जाता है: उत्तर जाँचों को गंभीरता-आधारित भार मिलते हैं, और एक महत्वपूर्ण निर्णायक त्रुटि उस प्रश्न का स्कोर शून्य कर देती है। अधिक बेहतर है। यह अलग All-Pass मेट्रिक से भिन्न है और पूरे प्रश्न का पास दर नहीं है। मूल्यांकन पद्धति ↗
- Harvey's Legal Agent BenchmarkHarvey कानूनी एजेंट बेंचमार्क
- फ़ाइलों को पढ़ने और संपादित करके बहु-चरणीय कानूनी कार्य उत्पाद बनाने वाले एजेंटों का परीक्षण करता है। कोई कार्य तभी पास होता है जब हर ग्रेडिंग आवश्यकता पूरी हो। स्कोर दो जजों से औसत कार्य पास दर है; अधिक बेहतर है। यह पास हुए व्यक्तिगत मानदंडों का प्रतिशत नहीं है, और यह LegalBench के कानूनी तर्क प्रश्नों के बजाय कानूनी एजेंट वर्कफ़्लो को मापता है। मूल्यांकन पद्धति ↗
- Vals IndexVals समग्र सूचकांक
- वित्त, कोडिंग और कानून जैसे क्षेत्रों में पेशेवर कार्यों का एक समग्र सूचकांक। इसका प्रतिशत स्कोर उस प्रकाशित संस्करण के लिए भारांकन विधि का उपयोग करके बेंचमार्क परिणामों को जोड़ता है; अधिक का अर्थ है बेहतर समग्र प्रदर्शन, किसी एकल कार्य की सटीकता नहीं। शामिल डोमेन और भार संस्करणों के अनुसार बदलते हैं, इसलिए नई पद्धति को पुराने स्कोर स्नैपशॉट पर पूर्वव्यापी रूप से लागू नहीं किया जाना चाहिए। मूल्यांकन पद्धति ↗
- LegalBenchकानूनी तर्क बेंचमार्क
- कानूनी पाठ पर समझ और तर्क का परीक्षण करता है, जिसमें कानूनी मुद्दों की पहचान, नियमों को याद करना और लागू करना, और कानूनी निष्कर्षों का निर्णय करना शामिल है। स्कोर कानूनी तर्क प्रश्नों पर सटीकता है; अधिक बेहतर है। Harvey's Legal Agent Benchmark के विपरीत, यह फ़ाइलों को संपादित करके बहु-चरणीय कानूनी कार्य उत्पाद बनाने वाले एजेंट को नहीं मापता। मूल्यांकन पद्धति ↗