Rankingi modeli AI, cz. 2. Indeksy, popularność i testy ekspertów: co mówią, a czego nie
21 listopada 2026 · Grzegorz
LMArena, o której pisałem w pierwszej części, to nie jedyne zestawienie, na które powołują się media i sami producenci. Obok rankingu z głosów użytkowników najczęściej widzę trzy inne rodzaje: zbiorcze indeksy liczone z wielu testów, rankingi popularności oparte na użyciu i testy ekspertów na zadaniach, których nikt poza autorem nie widzi. Każdy mierzy co innego, więc ten sam model może być wysoko w jednym, a nisko w drugim.
Producenci chętnie sięgają po rankingi w zapowiedziach. Google, przedstawiając 12 listopada 2026 roku Gemini 4 Hydrogen, pisał, że model zajmuje piąte miejsce w Agent Arena i wyprzedza Gemini 4 Argon w indeksie Artificial Analysis. Dlatego warto wiedzieć, na czym opierają się takie twierdzenia.
Pojęcia w tym tekście
- Indeks zbiorczy to jedna liczba wyliczona z wyników kilku testów, zwykle jako średnia ważona.
- Ranking popularności układa modele według tego, jak często są używane, a nie według jakości odpowiedzi.
- Zbiór niepubliczny to zestaw zadań testowych, którego autor nie publikuje, żeby nie trafił do danych treningowych modeli.
- Skażenie danych to sytuacja, w której zadania z testu trafiły do danych treningowych, więc model może znać odpowiedzi z pamięci.
Cztery rodzaje rankingów
Zbiorczy indeks: jedna liczba z wielu testów
Artificial Analysis publikuje Intelligence Index, dziś w wersji 5.0.1. Składa się z dziewięciu testów w czterech grupach: praca z wiedzą, programowanie, nauka i zadania ogólne. Każda grupa ma wagę 25 procent. Serwis uruchamia testy sam, na własnych kopiach zadań, zamiast przepisywać wyniki podane przez producentów, więc wszystkie modele są sprawdzane w tych samych warunkach.
Ograniczeniem jest dobór testów: wynik zależy od tego, które testy autor wybrał i jak je zważył. Indeks ma numer wersji, a skład i wagi testów mogą się między wersjami zmieniać, dlatego porównuję modele tylko w obrębie jednej wersji. Co mierzą same testy i dlaczego ich wyniki trzeba czytać razem z przypisami, opisuję w osobnym tekście o benchmarkach.
Indeks zbiorczy jest tak dobry, jak testy, z których go policzono.
Ranking popularności: czego ludzie faktycznie używają
OpenRouter to serwis, przez który programiści łączą się z modelami wielu producentów przez jedno API. Jego ranking układa modele według liczby tokenów, czyli fragmentów tekstu wysłanych do modelu i otrzymanych w odpowiedzi. Można go oglądać za dzień, tydzień i miesiąc, a także według zastosowań, np. programowania czy tłumaczeń.
OpenRouter sam zastrzega, że ranking pokazuje, „jak bardzo model jest używany, a nie który jest najlepszy do zadania”. Liczy też tylko ruch, który przechodzi przez ten serwis, a nie rozmowy w aplikacjach ChatGPT, Claude czy Gemini. To dobry sygnał, czego programiści używają w praktyce, ale niewiele mówi o tym, który model lepiej sprawdzi się w twojej pracy.
Najwięcej tokenów przechodzi przez modele z dopiskiem Flash, których nie ma w pierwszej dziesiątce indeksu.
Popularność pokazuje, czego ludzie używają, a nie co działa najlepiej.
Testy ekspertów na zadaniach, których nie widać
Scale AI w maju 2024 roku uruchomiło rankingi SEAL. Zadania dla każdej dziedziny eksperci przygotowują od zera, a zestawy pozostają niepubliczne. Chodzi o to, żeby zadania nie trafiły do danych treningowych (skażenie danych) i żeby producent nie mógł dopasować modelu do testu. Dziś Scale łączy w rankingach zbiory niepubliczne z otwartymi.
Słabością jest to, że zadań nie da się sprawdzić z zewnątrz. Autorzy wpisu przygotowanego na konferencję ICLR 2025 zwracają uwagę na konflikt interesów: firma, która sprzedaje producentom dane treningowe i jednocześnie ocenia ich modele, ma powód, by projektować testy pod mocne strony klientów. Nie podważa to konkretnych wyników, ale ranking oparty na niepublicznych danych traktuję jako jeden z kilku sygnałów.
Jak czytam rankingi
Przy każdym zestawieniu zadaję te same cztery pytania:
- Co ranking mierzy? Gust głosujących, średnią z testów, popularność czy ocenę ekspertów.
- Kto liczył i na jakich danych? Producent o własnym modelu, niezależny serwis czy firma, która ma klientów wśród producentów.
- Czy model jest wysoko w kilku różnych rankingach? Jeśli tak, to mocniejszy sygnał. Jeśli tylko w jednym, sprawdzam, co ten ranking nagradza.
- Czy porównuję wyniki z tej samej wersji i z tego samego okresu? Indeksy zmieniają skład, a rankingi popularności zmieniają się z tygodnia na tydzień.
Model wysoko w kilku różnych rankingach to mocniejszy sygnał niż pierwsze miejsce w jednym.
Do czego się przydają
Rankingi pomagają mi zawęzić wybór do dwóch, trzech modeli. Ostateczną decyzję podejmuję po teście na własnych zadaniach. Tak radzą też sami producenci: Anthropic zaleca testy, które „odzwierciedlają zadania, które naprawdę wykonujesz”, a OpenAI radzi projektować testy pod konkretne zadanie i rzeczywisty sposób użycia modelu. Do czego producenci przeznaczają poszczególne modele, zestawiłem w porównywarce Hallnego.
Źródła
Stan na 21 listopada 2026 roku.
- Google, Introducing Gemini 4 Hydrogen, 12 listopada 2026
- Artificial Analysis, Intelligence Benchmarking Methodology (Intelligence Index v5.0.1)
- Artificial Analysis, Models Leaderboard, odczyt 21 listopada 2026
- OpenRouter, AI Model Rankings
- Scale AI, SEAL Leaderboards, maj 2024, oraz aktualne rankingi
- ICLR 2025 Blogposts, Peeking Behind Closed Doors: Risks of LLM Evaluation by Private Data Curators
- Anthropic, Define success criteria and build evaluations
- OpenAI, Evaluation best practices