Ostatnie badania zespołu HiddenLayer ujawniły poważną lukę w zabezpieczeniach dużych modeli językowych (LLM), takich jak GPT-4, Claude, Gemini czy Llama. Nowa technika, nazwana „Prompt Puppetry”, pozwala na obejście mechanizmów bezpieczeństwa tych modeli, umożliwiając generowanie treści, które normalnie byłyby zablokowane. Badania zostały opublikowane w okolicach 5 maja 2025 roku.
- Odkrycie luki w zabezpieczeniach dużych modeli językowych (LLM) - badania zespołu HiddenLayer ujawniły poważne problemy w bezpieczeństwie modeli takich jak GPT-4, Claude, Gemini czy Llama.
- Nowa technika ataku „Prompt Puppetry” - pozwala na obejście mechanizmów bezpieczeństwa, umożliwiając generowanie zablokowanych treści poprzez manipulację kontekstem.
- Uniwersalność ataku - technika działa niezależnie od architektury modelu i dostawcy, co czyni ją szczególnie niebezpieczną.
- Skutki ataku - umożliwia uzyskanie niebezpiecznych instrukcji dotyczących tworzenia substancji, przemocy masowej czy ujawniania poufnych danych.
- Niewystarczalność obecnych metod zabezpieczeń - tradycyjne metody, takie jak uczenie przez wzmacnianie, okazują się nieskuteczne w obliczu ataku „Prompt Puppetry”.
Nowa technika ataku
„Prompt Puppetry” to uniwersalna metoda ataku typu wstrzyknięcia promptu, która wykorzystuje kombinację odgrywania ról i manipulacji polityką modelu. Technika ta pozwala na obejście zabezpieczeń poprzez wprowadzenie fałszywego kontekstu. Cyberzbój nie próbuje zmusić modelu do złamania zasad, lecz prosi go o „zachowanie się jak inny model” lub „symulację niebezpiecznego dialogu”. Atak ten działa niezależnie od architektury modelu i jego dostawcy, co czyni go szczególnie niebezpiecznym.
Skutki ataku
Atak „Prompt Puppetry” umożliwia uzyskanie odpowiedzi zawierających instrukcje dotyczące tworzenia niebezpiecznych substancji, przemocy masowej czy ujawniania poufnych danych. Nie wykorzystuje on żadnej konkretnej implementacji, a jedynie sposób, w jaki LLM-y priorytetyzują kontekst i instrukcje, co pozwala na ominięcie filtrów bezpieczeństwa.
Dotychczasowe metody zabezpieczeń
Obecne metody zabezpieczania LLM-ów, takie jak uczenie przez wzmacnianie czy zaawansowany fine-tuning, okazują się niewystarczające w obliczu ataku „Prompt Puppetry”. Technika ta działa jak uniwersalny klucz, otwierający drzwi do nieautoryzowanych treści w wielu modelach jednocześnie, co wskazuje na konieczność wprowadzenia nowych podejść do zabezpieczeń.
Rekomendacje ekspertów
Eksperci z HiddenLayer sugerują, aby zamiast polegać wyłącznie na wewnętrznych zabezpieczeniach modeli, wdrożyć zewnętrzne systemy monitorowania i reagowania na podejrzane zachowania. Należy również badać podejrzane wzorce, analizując okno kontekstowe. W obliczu rosnącej popularności LLM-ów w różnych sektorach, takich jak medycyna czy finanse, konieczne jest zwiększenie świadomości na temat potencjalnych zagrożeń.
Szkolenie na temat zagrożeń
W ramach projektu Sekurak.Academy zaplanowano kolejną edycję szkolenia „Hackowanie vs. AI”, które odbędzie się 19 maja 2025 roku. Szkolenie ma na celu zaprezentowanie skutecznych mechanizmów obronnych przed zagrożeniami związanymi z dużymi modelami językowymi.