Rankingi modeli AI, cz. 1. LMArena: co mówią głosy użytkowników, a czego nie
21 listopada 2026 · Grzegorz
Kiedy czytasz gdzieś, że nowy model „objął prowadzenie”, zwykle chodzi o ranking LMArena (dawniej Chatbot Arena, od stycznia 2026 roku Arena, arena.ai). To jedno z najczęściej cytowanych zestawień modeli językowych i działa inaczej niż benchmarki. Nie ma w nim zadań z poprawnymi odpowiedziami. Są za to głosy ludzi, którzy wybierają, która z dwóch odpowiedzi bardziej im się podoba.
Oceniają tu prawdziwi użytkownicy, na własnych pytaniach, a nie autorzy testu.
Pojęcia w tym tekście
- Porównanie parami to metoda, w której użytkownik widzi odpowiedzi dwóch anonimowych modeli na to samo pytanie i wybiera lepszą.
- Ranking typu Elo to sposób przeliczania wygranych i przegranych na punkty, znany z szachów. Arena używa statystycznego modelu Bradleya-Terry’ego.
- Przedział ufności to zakres, w którym z dużym prawdopodobieństwem mieści się prawdziwy wynik.
- Przytakiwanie (sykofancja) to skłonność modelu do mówienia tego, co użytkownik chce usłyszeć, zamiast tego, co jest trafne.
Jak powstaje wynik
Użytkownik wpisuje pytanie i dostaje dwie odpowiedzi od anonimowych modeli. Wybiera lepszą albo remis. Dopiero po głosowaniu widzi, które modele odpowiadały. Z dużej liczby takich głosów powstaje ranking. Przy każdym wyniku Arena podaje przedział ufności. Różnica mniejsza niż ten przedział może być przypadkowa.
Szerokość marginesu zależy od liczby głosów. Model z 7. miejsca zebrał ok. 6 tys. głosów i ma margines ±8 punktów, a model z 9. miejsca, z ponad 88 tys. głosów, tylko ±3.
Jeśli przedziały ufności dwóch modeli się nakładają, ranking nie rozstrzyga, który jest lepszy.
Co wpływa na głosy
Głos mierzy to, która odpowiedź bardziej się podoba, a nie to, która jest poprawna. Przy pytaniu o fakt, którego głosujący nie zna, trudno ocenić prawdziwość. Łatwo za to ocenić styl, długość, formatowanie i ton. Arena sama to potwierdza: osobno liczy wpływ długości i formatowania odpowiedzi (nagłówków, pogrubień, list), a najsilniejszym czynnikiem okazała się długość.
Anthropic i Google DeepMind opisały w 2023 roku, że modele trenowane na ludzkich ocenach skłaniają się do przytakiwania, a OpenAI przyznało w kwietniu 2025 roku, że aktualizacja GPT-4o stała się przesadnie przytakująca, bo firma za bardzo oparła się na natychmiastowych ocenach użytkowników. Ranking oparty na ocenach użytkowników jest podatny na ten sam efekt.
Głos mierzy to, która odpowiedź bardziej się podoba, a nie to, która jest poprawna.
Zarzuty i odpowiedź
W 2025 roku zespół badaczy opublikował pracę „The Leaderboard Illusion” z kilkoma zarzutami wobec rankingu. Najważniejsze dotyczyły tego, że duzi producenci mogą prywatnie testować wiele wariantów modelu i publikować wynik tylko najlepszego, że ich modele trafiają do porównań częściej, a wiele modeli, zwłaszcza otwartych, częściej znika z zestawienia.
LMArena odpowiedziała, że zasady testów przed premierą są publiczne od marca 2024 roku, a efekt wielokrotnych prób jest według jej analizy niewielki i maleje wraz z liczbą głosów. Zakwestionowała też część danych z pracy. Spór nie jest rozstrzygnięty. Niezależnie od jego wyniku pozycja w rankingu zależy też od zasad: kto ile wariantów testuje i które modele trafiają do porównań.
Jak czytam ranking Areny
Na samo miejsce w tabeli nie patrzę. Sprawdzam cztery rzeczy:
- Margines przy wyniku. Przy każdym wyniku Arena podaje margines, np. ±7 punktów. Jeśli dwa modele dzieli mniej, traktuję je jako remis.
- Liczbę głosów. Nowy model ma ich zwykle mało, więc jego pozycja jest mniej pewna i w kolejnych tygodniach może się jeszcze przesunąć.
- Zestawienie najbliższe mojemu zadaniu. Arena prowadzi osobne rankingi, m.in. dla agentów, tworzenia stron (WebDev), pracy z dokumentami, wyszukiwania i obrazu. Ogólny ranking tekstowy mówi niewiele o tym, jak model zbuduje stronę.
- Wynik z kontrolą stylu i bez niej. Jeśli model mocno spada po odjęciu wpływu długości i formatowania, część jego przewagi to forma, a nie treść.
Do czego się przydaje
Ranking traktuję jako pierwsze sito. Pokazuje, które modele ludzie oceniają wysoko w ogólnych rozmowach, i pomaga zauważyć nowy model wart sprawdzenia. Nie mówi natomiast, który model lepiej przeanalizuje moje umowy, napisze kod w moim projekcie albo poradzi sobie z polszczyzną. Do tego potrzebny jest test na własnych zadaniach. Do czego producenci przeznaczają poszczególne modele, zestawiłem w porównywarce Hallnego. O innych rankingach, czyli zbiorczych indeksach, rankingach popularności i testach ekspertów, piszę w części 2.
Ranking to pierwsze sito, a nie rozstrzygnięcie.
Źródła
Stan na 21 listopada 2026 roku.
- Arena (dawniej LMArena), Our response to The Leaderboard Illusion
- The Leaderboard Illusion, arXiv, 2025
- Arena, Disentangling style and substance in Chatbot Arena, 2024 (aktualizacja 2025)
- Anthropic, Towards understanding sycophancy in language models, październik 2023
- Google DeepMind, J. Wei i in., Simple synthetic data reduces sycophancy in large language models, 2023
- OpenAI, Sycophancy in GPT-4o: what happened and what we’re doing about it, kwiecień 2025
- Arena, ranking tekstowy bez kontroli stylu, odczyt 21 listopada 2026