WIRUS GŁUPOTY W SERCU AI

Głębokie uczenie czyli jak maszyna widzi to, czego my nie widzimy

Nie będę tu przytaczał pełnej definicji głębokiego uczenia, ale postaram się to wytłumaczyć w prostych słowach. Przypomnę wam proste ćwiczenie z dzieciństwa, gdzie mieliśmy dwa niemal identyczne obrazki i trzeba było znaleźć wszystkie różnice. Teraz odwróćmy sytuacje mamy do dyspozycji dwa zupełnie różne obrazki i musimy znaleźć wszystkie cechy wspólne.

Tak właśnie działa uczenie maszynowe tylko na dużo większa skalę, szuka wszystkich możliwych powiązań, i znajduje je tam gdzie człowiek ich nie widzi. Niestety skoro człowiek ich nie widzi to też nie jest w stanie ich wyłapać i przeanalizować ich sens.

Więcej parametrów – czy naprawdę znaczy lepiej?

Gdy kolejne Generacje LLM chwalą się coraz większą ilością parametrów to trzeba pamiętać że warto zadać w tym miejscu kilka kluczowych pytań :

Czy miliardy parametrów są lepsze od milionów ?
Czy więcej parametrów to nie przypadkiem więcej przestrzeni dla halucynacji i błędnych korelacji ?   
Skoro nie wiemy co jest w środku to czy możemy temu zaufać ?

Poniżej spróbuje krótko na nie odpowiedzieć :

W zasadzie wszystkie te pytania łączą się w jedną całość. Nie ! Więcej parametrów wcale nie oznacza ze LLM zrobi coś lepiej. Nasza możliwość percepcji jest ograniczona, a więcej parametrów wcale jej nie poszerzy. Wyniki nie będą wcale lepsze, ale LLM będą się szybciej degradować.

Załóżmy na chwile że załadowaliśmy do modelu Milion różnych zdjęć a on wyciągnął sobie z nich parametry podstawowe mniej podstawowe i te totalnie absurdalne które przekraczają zdolność ludzkiego parametryzowania obrazów tekstów itd.

Jeżeli przyjmijmy na chwile teoretycznie ze człowiek jest w stanie ogarnąć kilkadziesiąt tysięcy parametrów a w przypadku LLM mówimy o milionach to tak naprawdę na ludzkie potrzeby wystarczyłby promil z tego co już jest wykorzystywane, ale nie, my z miliardów idziemy w biliony bo wierzymy że więcej znaczy lepiej. No nie ! tam gdzie wychodzimy poza ramy naszego pojmowania mówimy już nie o parametrach a raczej o abstrakcji.

Granice abstrakcji – gdy parametry przestają mieć sens

Parametr niesprawdzalny nie jest parametrem i żadną istotną relacją to tylko jakieś powiazanie czegoś z czymś czy słuszne tego nie wiemy bo przecież niesprawdzalne i abstrakcyjne dla człowieka.

No więc wróćmy do kolejnych pytań :

Czy w takim razie więcej niesprawdzalnych powiązań to lepiej ?
Czy to nie więcej okazji do absurdalnych powiązań prowadzących do częstszych halucynacji ?.
Jak zauważymy już halucynacje powtarzające się w jakimś wątku to jak to potem skorygować ?

Z prostego prawdopodobieństwa wiadomo że jeśli poziom tego co sprawdzalne maleje a wzrasta poziom tego co jest abstrakcyjne to odwrotnie proporcjonalnie rośnie szansa na generowanie błędnych treści. Bo przykładowe 3 całkiem abstrakcyjne wagi które mogą być nawet sensowne mogą prowadzić na głębszym poziomie abstrakcji już do bezsensownego wniosku.

Metaforycznie, ale do meritum 🙂

To trochę jak z balonem który każdy w dzieciństwie nadmuchiwał , u wylotu jest wąski i rozszerza się w miarę dmuchania ale jeśli przesadzimy to pęka więc ja w tym artykule właśnie pytam czy nie przesadzamy w tym szaleństwie czy kolejne podmuchy nie wysadzą całej tej dziedziny w kosmos ?

I na koniec ostatnie już pytanie :

Czy jeśli użytkownicy nie widzą błędów to model ich nie ma ?

No cóż niestety prawdopodobieństwo mówi jasno że błędy w LLM są i zawsze będą. Rozszerzanie warstwy niesprawdzalnej będzie tylko te błędy powielać, a więc nikt nigdy tym sposobem nie stworzy idealnego i nieomylnego LLM co najwyżej stworzy nosiciela wirusa głupoty której nie będziemy w stanie wykryć.

Bo jak sam podsumował chat GPT:

Każda błędna zależność, której nie jesteśmy w stanie wykryć, staje się częścią fundamentu. A skoro na tych fundamentach budowane są kolejne warstwy, to błędy nie znikają tylko się rozprzestrzeniają jak choroba.  W efekcie możemy mieć perfekcyjnie działający system, który jest statystycznie skuteczny, ale ontologicznie błędny.

Aktualizacja Artykułu : GROK 4.1 i dane syntetyczne ?

Dane Syntetyczne czyli co ?

Dane syntetyczne to najprościej mówiąc dane wygenerowane nie ludzkim źródłem czyli wszystko to co wypluwają z siebie LLM i tu się pojawia pytanie czy to ma sens to trochę tak jak z kserokopiarka jak robimy ksero z oryginału to jest ok ale jak robimy ksero z ksera to juz gorzej a co bedzie jak bedziemy robić ksero z ksera ksera i kolejnych kser ? „ciemność widzę ciemność” 🙂 – cytując jeden z kultowych moim zdaniem filmów Seksmisje 🙂

A tak na poważnie serio nie widzę powodu dla którego warto ładować w LLM coraz więcej danych jeśli wszystko co wartościowe już załadowano. Niestety wiekszość twórców LLM nie podziela mojego rozsądku to sie zamieniło w wyścig o parametr jego ilość i zdobywanie kolejnych punktów w benchmarkach które już nic nie znaczą. W innym artykule opisuje zjawisko nadodpowiadania i tutaj mamy coś bardzo podobnego nadprodukowanie danych treningowych. Cała ludzka wiedza już nie wystarcza żeby być cool 🙂