Лідерборди AI моделей

Як читати числа

Рейтинг LLM показує, яку модель люди віддають перевагу; AI-бенчмарк показує, що модель об’єктивно вміє; дані про використання показують, що розробники насправді запускають у продакшн. Жоден окремий рейтинг не відповідає на питання «яка найкраща модель ШІ», тому ця сторінка поєднує всі три — Elo з Chatbot Arena (arena.ai), Intelligence Index і голосові арени Artificial Analysis та частку токенів OpenRouter — і щодня їх оновлює.

arena.ai (раніше LMArena) показує користувачам дві анонімні відповіді на одне й те саме запитання та просить вибрати одну, а потім виводить рейтинг Elo на основі цих баталій. Він вимірює, яку відповідь люди віддають перевагу — а не об'єктивну здатність. Приємний стиль може перемогти, тоді як строга, але багатослівна відповідь може програти.

Голоси — це битви, які накопичила модель. Нещодавно додана модель має мало голосів і широкий довірчий інтервал, тому її рейтинг легко коливається — завжди читайте рейтинг разом з інтервалом ±.

Дошка агентів працює інакше, ніж решта: вона вимірює реальні сесії агентів, а не преференції сліпого голосування. Її головний показник, Net Improvement, є відсотковим приростом — не рейтингом Elo — тому його не можна порівнювати між дошками. arena.ai також повідомляє про п'ять додаткових вимірів (Confirmed Success, Steerability, Bash Recovery та інші) на повній дошці лідерів.

Дошка використання надходить з OpenRouter і враховує реальну частку API токенів — розробники голосують своїми гаманцями, що доповнює дошки суб'єктивних уподобань.

Мовні лідерборди походять з Artificial Analysis: TTS використовує Elo від Speech Arena на основі сліпого прослуховування; ASR використовує AA-WER v2, де нижче — краще; а нативний Speech-to-Speech використовує рівноваговий композит Big Bench Audio, Full Duplex Bench та τ-Voice, де вище — краще. Порівнюйте бали лише в межах одного лідерборду. Джерело: artificialanalysis.ai.

Дошка Intelligence Index походить від Artificial Analysis: вона зводить багато публічних бенчмарків в єдиний Intelligence Index від 0 до 100, вимірюючи об’єктивну здатність, а не суб’єктивне вподобання — природне доповнення до сліпого голосування людей від arena.ai. Джерело: artificialanalysis.ai.