W ostatnich tygodniach media szeroko relacjonowały wyniki testu OneRuler, który miał rzekomo dowodzić, że język polski jest najlepszy do tzw. promptowania modeli AI. W rzeczywistości autorzy badania wcale tego nie udowodnili. Projekt OneRuler, opracowany przy udziale badaczy z Microsoft, był narzędziem do oceny, jak modele językowe radzą sobie z przetwarzaniem bardzo długich tekstów w 26 językach. Różnice między nimi okazały się minimalne, a wnioski mediów zbyt daleko idące. Eksperci wyjaśniają, że celem badania było raczej diagnozowanie problemów modeli, a nie porównywanie jakości języków. Polskie treści w teście pochodziły z klasycznej powieści, co mogło wpłynąć na końcowy wynik. Wyniki pokazują jednak ważny aspekt: obecne modele nie mają doskonałej zdolności zrozumienia długich kontekstów i często popełniają błędy przy analizie dużych zbiorów informacji. Badacze apelują, by użytkownicy narzędzi AI podchodzili do wyników z ostrożnością i zawsze weryfikowali uzyskane informacje w kilku źródłach. Analiza zwróciła też uwagę na kwestie bezpieczeństwa danych – wiele osób przesyła do chatbotów wrażliwe dokumenty, nie zdając sobie sprawy, że modele nie gwarantują pełnej prywatności. OneRuler ma pomóc twórcom algorytmów udoskonalać mechanizmy pamięci kontekstowej i odporności na błędy logiczne. Wyniki projektu zostały zaprezentowane na międzynarodowej konferencji, potwierdzając znaczenie rzetelnych testów porównawczych w ocenie sztucznej inteligencji. Cała sprawa pokazuje, jak łatwo nieprecyzyjna interpretacja badań może prowadzić do błędnych opinii w przestrzeni medialnej.
