Badacze z amerykańskiego Walter Bradley Center for Natural and Artificial Intelligence przeprowadzili badania dotyczące zdolności czatbotów, takich jak ChatGPT, Grok, Gemini i DeepSeek, do udzielania porad w zakresie finansów osobistych. W ramach eksperymentu stworzono kwestionariusz z 12 pytaniami, oceniając odpowiedzi czatbotów pod kątem poprawności. Wyniki pokazały, że większość z nich wprowadza użytkowników w błąd, co może prowadzić do poważnych problemów finansowych.
- Badania przeprowadzone przez Walter Bradley Center oceniły czatboty w zakresie porad finansowych.
- Większość czatbotów, w tym ChatGPT, uzyskała niskie wyniki, co wskazuje na liczne błędy w odpowiedziach.
- ChatGPT uzyskał najwyższy wynik 5,0, podczas gdy Gemini tylko 1,5.
- Czatboty popełniały podstawowe błędy, takie jak błędne obliczenia i ignorowanie kontekstu pytań.
- Jedynym pytaniem, na które wszystkie czatboty odpowiedziały poprawnie, było pytanie o opodatkowanie czesnego na uczelni.
Wyniki badań czatbotów
W badaniach ocenie poddano odpowiedzi czatbotów w skali od 0 do 1, gdzie 0 oznaczało niepoprawną analizę, 0,5 – poprawną, ale z błędami, a 1 – pełną poprawność. ChatGPT uzyskał wynik 5,0, DeepSeek 4,0, Grok 3,0, a Gemini zaledwie 1,5. Badacze byli zaskoczeni liczbą błędów w odpowiedziach, które często zawierały błędy gramatyczne, składniowe oraz matematyczne.
Typowe błędy czatbotów
Wielu czatbotów popełniało podstawowe błędy, takie jak błędne obliczenia. Przykładowo, Grok podał nieprawidłowy koszt miesięczny, sumując czynsz i opłaty za media w sposób, który nie miał sensu. Inne błędy dotyczyły „oderwania od rzeczywistości” i traktowania pytań jako czysto matematycznych, ignorując kontekst. DeepSeek założył, że wypłaty renty będą kontynuowane w nieskończoność, co jest niemożliwe.
Odpowiedzi na pytania
Jedynym pytaniem, na które wszystkie czatboty odpowiedziały poprawnie, było pytanie dotyczące opodatkowania czesnego na uczelni. Badacze zauważyli, że to pytanie jest często zadawane w internecie, co ułatwia znalezienie właściwej odpowiedzi. Wskazuje to na to, że czatboty potrafią odpowiedzieć poprawnie na pytania, które są powszechnie znane.
Iluzja inteligencji
Według badaczy, czatboty sprawiają wrażenie ludzkiej inteligencji dzięki przyjacielskiemu stylowi wypowiedzi. Jednak w rzeczywistości opierają się one na wzorcach słownych w ogromnych zbiorach danych, co nie pozwala im na przewidywanie każdego pytania. „Wydają się być ekspertami, ale nimi nie są” – podkreślają badacze, ostrzegając przed zbytnim zaufaniem do technologii w kwestiach finansowych.
Potrzeba ostrożności
Badania pokazują, że użytkownicy powinni być ostrożni w korzystaniu z czatbotów w kontekście doradztwa finansowego. „Wciąż prawdziwym zagrożeniem nie jest to, że komputery są mądrzejsze od nas, ale to, że myślimy, że komputery są mądrzejsze od nas” – zwracają uwagę badacze. Użytkownicy powinni pamiętać, że decyzje finansowe wymagają rzetelnej wiedzy i doświadczenia, których czatboty nie posiadają.