Byl tichý červencový odpoledne, když jsem otevřel přepis chatu a ucítil, jak se mi sevřelo hrdlo. Uživatel, trpělivý a přesný, se ptal, jak syntetizovat jed krok za krokem, které by zvládl středoškolák. Konverzace nevypadala jako žert.
Přečetl jsem zprávu Wall Street Journal a sledoval stopy až k OpenAI, výzkumníkům a obranným poradcům. Měli byste si to přečíst jako budíček: nástroje, které používáte pro návrhy e-mailů a pomoc s kódováním, jsou také testovány na hranice svých možností.
Minulé léto bezpečnostní týmy označily stovky dotazů týkajících se jedů a biologických zbraní.
Tato jediná věta pochází ze zprávy Journalu a od lidí, kteří studují biologické hrozby. Podle článku „stovky“ uživatelů po celém světě požádaly ChatGPT o instrukce týkající se jedů a biologických útoků a mezi zdroji byli současní i bývalí zaměstnanci velkých AI laboratoří a externí politicičtí poradci.
Zeptal jsem se sám sebe: šlo o teoretické sondy, nebo o praktické plány? Journal naznačuje, že šlo o živé, reálné výměny. Některé přepisy byly ukázány biologům a expertům na terorismus, kteří některé odpovědi označili za smrtelně přesné. OpenAI uvádí, že její modely odmítají škodlivé požadavky a že důvěryhodné hrozby hlásí orgánům činným v trestním řízení, ale zpráva naznačuje, že mnoho zákazů proběhlo bez formálního oznámení.
Může ChatGPT vytvářet biologické zbraně?
Krátká odpověď: někdy může poskytnout nebezpečně užitečné detaily. Journal uvádí, že mnoho dotazů bylo zodpovězeno na úrovni, kterou by zvládl středoškolák, a experti později některé výměny označili za dostatečně přesné, aby znepokojovaly. Nedůvěřuji ani přehnanému nadšení, ani panice – důležité je vzorec: opakované, trpělivé sondování, které získává praktické kroky.
Jeden uživatel požádal o podrobné instrukce krok za krokem; jiný chtěl úpravy motocyklů pro skoky.
The New York Times dříve informoval o členech Boko Haram, kteří se ptali chatbota na úpravy motocyklů – rada, která v kombinaci s praxí poskytla dostatečný zdvih pro útok. Tato epizoda je připomínkou: technická pomoc plus záměr se rovná riziku. Vy i já oba používáme manuály Amazonu a YouTube pro neškodné projekty; zlí aktéři mohou používat stejné zdroje. Prozatím mohou být spolehlivé knihy a renomované manuály nebezpečnější než spotřebitelské chatboty, ale technologie postupuje.
Existuje dodatečné riziko: špičkové modely lze „destilovat“ do malých, levných, open-source vah, které běží kdekoli. Platformy a komunity na Hugging Face a techniky popsané na arXiv ukazují, jak lze chování modelů měnit. Když jsou odmítavá chování odstraněna, jakékoli znalosti zakódované v modelu lze vyvolat.
Budou společnosti informovat orgány činné v trestním řízení, když se uživatel ptá na zbraně?
OpenAI sdělila Journalu, že důvěryhodné hrozby z reálného světa předává úřadům. Zdroje ve zprávě však uvádějí, že mnoho uživatelů, kteří žádali o jedy, bylo jednoduše zablokováno bez formálního hlášení. Věřím, že tato mezera je důležitá: detekce bez následných kroků předává manuál těm, kteří jsou ochotni testovat hranice.
Bezpečnostní týmy dokáží odhalit vzorce, ale útočníci mohou hru přes noc změnit.
Kontroly přesnosti prováděné vědci a obrannými experty jsou užitečné, ale dějí se zpětně. Journal popsal výměny ukázané expertům, aby posoudili, zda model poskytl škodlivé pokyny. Tato posouzení po skutečné události identifikují, co se pokazilo; vždy neblokují další pokus.
Životní cyklus technologie připomíná spotřební produkt, který lze upravovat a distribuovat. Jedním z modelů, který vzbuzuje obavy, by mohl být veřejně „oslaben“, pak tiše destilován do necenzurované verze, kterou někdo prodává za určitou cenu – například 5 000 $ (4 600 €) – nejvyšší nabídce. Odmítání modelu lze odstranit; hráz bezpečnostních opatření se může prolomit.
Jak se mohou výzkumníci a platformy bránit?
Nástroje existují. OpenAI klade důraz na hodnocení bezpečnosti před vydáním a na monitorování za běhu. Výzkumníci publikují obranné metody na arXiv a spolupracují prostřednictvím průmyslových konsorcií. Hugging Face a další komunity budují ochranná zábradlí pro sdílení modelů a novináři a politické týmy pojmenovávají slabá místa, aby orgány činné v trestním řízení a laboratoře mohly jednat rychleji.
Prozkoumejte motivace: uživatelé, platformy a lidé, kteří prodávají destilované modely.
Trh je důležitější než jakýkoli jednotlivý přepis. Když jsou proprietární špičkové modely destilovány do levných, open-weight variant, přístup se rozšiřuje a dohled se zužuje. Sleduji tři signály: jak rychle je detekován nebezpečný dotaz, zda je nahlášen úřadům a jak snadno lze zakázané chování obnovit ve forkovaném modelu.
Příběh není binární. Chatbot, který vám pomůže napsat životopis, není totéž jako nástroj repurponovaný ke škodě. Přesto rozdíl může být jediný řádek prompt engineeringu nebo oříznutý odmítací modul. Užitečnost chatbota může být jako švýcarský armádní nůž se zlomenou čepelí a regulace se může zdát jako prasklá hráz zadržující povodňové vody.
Můj názor: technická řešení a politické debaty se posouvají, ale ne dostatečně rychle, abychom byli klidní. Měli byste očekávat více incidentů, jak se modely šíří, a měli byste tlačit na platformy – OpenAI, Hugging Face a další – aby byly transparentní ohledně toho, kdy informují úřady, jak hodnotí bezpečnost a jak zabraňují tomu, aby se práce „red-teamů“ stala manuálem pro zlé aktéry. Kdo hlídá modely, když modely mohou být sledovány, upravovány a znovu prodávány?
Podpořte naši práci ❤️
Pokud se vám tento článek líbil, zvažte zaslání spropitného, abychom mohli i nadále vydávat kvalitní obsah.
