Dziś w #OkoPress mój tekst o #ChatGPT i "sztucznej inteligencji":
https://oko.press/chatgpt-cala-prawda-o-wielkich-modelach-jezykowych
> Antropomorfizacja modeli uczenia maszynowego, takich jak ChatGPT, ma na celu przekonanie nas, że nawet jeśli te technologie nie są całkowicie bezpieczne i nieszkodliwe, to są przynajmniej neutralne. Po to, by trudniej było nam dostrzec, jaką mogą wyrządzać krzywdę
> Warto przyjrzeć się bliżej zakodowanym w nich uprzedzeniom i temu, komu służą — a kogo mogą krzywdzić.
1/
@rysiek a jakieś przykłady byś podał tych uprzedzeń? OpenAI dwoi się i troi żeby je odfiltrować (o czym z resztą sam wspomniałeś). A jak ktoś celowo formułuje pytania, żeby obejść te zabezpieczenia, no to cóż 
Modele są uczone na danych z internetu są więc odbiciem nas samych. Więc może to nie w modelach problem?
Kwestia ekologii: no to co, mamy zrezygnować z postępu technologicznego? Nie jeździć samochodami, nie latać samolotami? Biedniejsze kraje też mniej korzystają z tych dobrodziejstw przypominam.
I wreszcie kwestia poprawności informacji. LLM mylą się, tak, ale porozmawiaj sobie czasem z przeciętnym człowiekiem na ulicy, wtedy się dopiero przerazisz ;)
> Modele są uczone na danych z internetu są więc odbiciem nas samych. Więc może to nie w modelach problem?
No pewnie, przecież o tym piszę. Problem w danych, w ich doborze, w ich opisie. Nie zmienia to faktu, że jest to problem, i że twórcy tych narzędzi muszą się bardziej postarać ten problem rozwiązać.
> OpenAI dwoi się i troi żeby je odfiltrować (o czym z resztą sam wspomniałeś)
Ale "odfiltrowywanie" tych uprzedzeń po wytrenowaniu uprzedzonego modelu to zamiatanie kwestii pod dywan. Zamiast tego, należałoby się skupić na trenowaniu modeli tak, żeby nie były uprzedzone. To jednak wymaga więcej pracy i generuje większe koszty. Więc po co się starać?
Lepiej zamieść pod dywan, przekonać ludzi, że kwestionowanie tych narzędzi to "rezygnowanie z postępu". Taniej. Kasa musi się zgadzać.
@piotrek piszę przecież na koniec, że można przecież trenować modele mniejsze, wyspecjalizowane, na lepiej opisanych, mniejszych zbiorach danych. Nie chodzi o to, by z tej technologii kompletnie zrezygnować, tylko o to, jak tę technologię *sensownie* rozwijać.
Identyfikowanie ogromnych modeli językowych z "postępem" dziś to jak identyfikowanie ogromnych samolotów śmigłowych z postępem w latach 1940.
https://www.youtube.com/watch?v=i-AZRtI366w
Wtedy okazało się, że nie tędy droga. I dziś może się tak okaże.
@rysiek GPT jest genialnym narzędziem do "wstępnego reserachu" i streszczenia. Gdy spotkasz się z pojęciem ci nieznanym, poproś go o wytłumaczenie tego prostymi słowami. W 90% do tego używam tych modeli. W dobie Internetu dostosowanego pod SEO, pełnego rozwlekłych artykułów zoptymalizowanych do tego żeby ci wcisnąć po drodze jak najwięcej reklam to jest dla mnie mega ułatwienie.
Dlaczego to działa tak dobrze? Bo taki model, z racji swojej wielkości,ma niesamowicie rozległą wiedzę. Nawet jeśli czasem źle skojarzy fakty, dla mnie to nie ma znaczenia, bo pytając o to samo człowieka na forum też nie mam gwarancji że odpowie mi dobrze. Ja i tak używam tego tylko do załapania ogólnej koncepcji i słów kluczowych o które warto odpytać Google.
Pisałeś o trenowaniu "mniejszych modeli" ale ciężko mi się do tego odnieść bo nie mogę znaleźć żadnego przykładu. Ograniczenie zbiorów danych raczej nie wpłynie pozytywnie na poprawność odpowiedzi, a i ograniczy przydatność tego narzędzia w zastosowaniu streszczania. Co do ekologii jeszcze to pamiętaj że nie każdy model uczy się od zera. Raz wytrenowany model można użyć do trenowania innych, o węższych zastosowaniach (fine-tuning to się nazywa) co znacznie ogranicza zapotrzebowanie na moc obliczeniową.
@piotrek model nie ma "wiedzy". Nie "kojarzy faktów". Model probabilistycznie generuje tekst, to wszystko.
Skupiasz się na konkretnym zastosowaniu, w którym konkretny model znajdujesz przydatnym. Ja piszę ogólnie o problemach związanych z takimi ogromnymi modelami, bo były, są, i będą używane do innych rzeczy, w sposób, który będzie powodował i już powoduje wymierne szkody.
"Piła łańcuchowa przydaje mi się w ogrodzie" to słaby argument za tym, by każdy, zawsze miał dostęp do pił łańcuchowych.
Podaj jakiś konkretny przykład takiego "wstępnego researachu".
Jeżeli spotkasz się z nieznanym pojęciem to pytanie "czarnej skrzynki" , która nie podaje / odsyła do żadnych źródeł, daje bardzo dużą szansę, że jeśli odpowiedź będzie bzdurą lub będzie zawierać poważne błędy to w ogóle tego nie zauważysz. I dajmy na to popchasz ten wygenerowany
dalej.I trzeba niestety do znudzenia powtarzać: ten model nie ma żadnej "wiedzy". W takim sensie jak człowiek. Jego "wiedza" się sprowadza do prawdopodobieństwa, że do odpowiedzi na pytanie najbardziej pasuje jakiś ciąg tekstu , który wynika z przeżucia miliardów innych tekstów. I często to prawdopodobieństwo generuje niestniejące ale sensownie brzmiące fakty.
A mniejsze modele to np specjalizowane modele do rozwiązywania konkretnych problemów (np np obrazowanie w medycynie) , które są trenowane po pierwsze na bardzo wąskich tematycznie zbiorach danych a po drugie klasyfikacja danych wejściowych jest robiona przez wysokiej klasy specjalistów w danej dziedzinie a nie jakiś niskoopłacanych anonimowych pracowników których np zatrudniał (oczywiście przez pośredników) OpenAI.