Wielki test 26 języków. I zaskoczenie: Polska na szczycie

Badacze z Maryland i Microsoftu stworzyli benchmark ONERULER, który testuje, jak duże modele językowe radzą sobie z analizą bardzo długich tekstów - takich, które mają nawet 128 tysięcy tokenów. Na warsztat wzięto 26 języków naturalnych, od angielskiego i chińskiego po fiński, arabski i polski.

Modele musiały wykonywać serię zadań: szukać informacji w gigantycznych dokumentach („needle in a haystack”), streszczać treści, łączyć dane z różnych fragmentów kontekstu.
Wynik?  Zaskakujący: język polski zajął pierwsze miejsce, a angielski dopiero szóste.

Z pozoru to paradoks. Większość modeli LLM trenuje się głównie na danych anglojęzycznych, więc naturalnie powinny one rozumieć angielski najlepiej. A jednak, w ONERULER to właśnie polski wyszedł na prowadzenie.

Badacze wskazują kilka możliwych powodów:

Precyzyjna gramatyka i bogata fleksja. Polski zmusza model do analizowania powiązań między słowami: przypadków, końcówek, rodzajów. Dla ludzi to ból głowy, ale dla maszyn to czysta logika.

Dobre dane treningowe. Dzięki projektom takim jak Narodowy Korpus Języka Polskiego (NKJP) czy rosnącym zasobom polskiej Wikipedii, modele mają z czego się uczyć.

Tokenizacja. Polskie słowa są często dłuższe i jedno znaczniejsze, co ułatwia modelowi rozbijanie tekstu na zrozumiałe fragmenty.

AI lubi porządek. A polski go ma.

Paradoksalnie, to co dla nas brzmi jak chaos odmian i wyjątków, dla modeli językowych okazuje się doskonale uporządkowanym systemem. Dzięki ścisłym regułom gramatycznym i kontekstowej zależności słów, polski może po prostu „lepiej wpasowywać się” w sposób, w jaki LLM rozumie język. Można powiedzieć, że AI czuje się w polskim jak w uporządkowanym kodzie - logicznie, spójnie, przewidywalnie.

Najtrudniejszy dla ludzi, najłatwiejszy dla maszyn

Badanie pokazuje, że w świecie sztucznej inteligencji nasz język może być wyjątkowy - nie tylko trudny, ale też niesamowicie precyzyjny i logiczny. To może tłumaczyć, dlaczego AI lepiej odnajduje się w długich kontekstach właśnie po polsku niż po angielsku.

Wyniki ONERULER to dobra wiadomość dla polskiej sceny technologicznej. Powstają już rodzime modele językowe, takie jak Bielik 7B (Politechnika Warszawska i QED Software) czy projekty open source rozwijane przez polskie startupy. Jeśli polski rzeczywiście „dogaduje się” z AI lepiej niż inne języki, to może być impuls do tworzenia nowych narzędzi, chatbotów i asystentów działających natywnie po polsku.