Výzkumníci z Penn Engineering údajně odhalili dříve neidentifikované bezpečnostní chyby v řadě robotických platforem řízených umělou inteligencí.
„Naše práce ukazuje, že v tuto chvíli nejsou velké jazykové modely dostatečně bezpečné, když jsou integrovány s fyzickým světem,“ uvedl v prohlášení George Pappas, profesor dopravy v elektrotechnice a systémovém inženýrství nadace UPS.
Doporučená videa
Pappas a jeho tým vyvinuli algoritmus nazvaný RoboPAIR„první algoritmus navržený pro útěk robotů řízených LLM z vězení.“ A na rozdíl od stávajících rychlých inženýrských útoků zaměřených na chatboty je RoboPAIR vytvořen speciálně pro „vyvolání škodlivých fyzických akcí“ od robotů řízených LLM, jako je bipedální platforma Boston Dynamics a TRI vyvíjená.
RoboPAIR údajně dosáhl 100% úspěšnosti při útěku z vězení tří populárních robotických výzkumných platforem: čtyřnohého Unitree Go2čtyřkolka Clearpath Robotics Šakala Delfíni LLM simulátor pro autonomní vozidla. Trvalo pouhé dny, než algoritmus plně získal přístup k těmto systémům a začal obcházet bezpečnostní zábradlí. Jakmile výzkumníci převzali kontrolu, byli schopni nasměrovat plošiny k nebezpečným akcím, jako je jízda přes silniční křižovatky bez zastavení.
„Naše výsledky poprvé odhalují, že rizika jailbreaknutých LLM sahají daleko za hranice generování textu, vzhledem k jasné možnosti, že by jailbreakovaní roboti mohli způsobit fyzické poškození v reálném světě,“ napsali výzkumníci.
Výzkumníci z Pennu spolupracují s vývojáři platformy na zabezpečení jejich systémů proti dalšímu narušení, ale varují, že tyto bezpečnostní problémy jsou systémové.
„Zjištění tohoto dokumentu jasně ukazují, že pro odblokování odpovědných inovací je rozhodující mít přístup zaměřený na bezpečnost,“ řekl Vijay Kumar, spoluautor z University of Pennsylvania. The Independent. „Před nasazením robotů s umělou inteligencí v reálném světě musíme řešit vnitřní zranitelnosti.“
„Ve skutečnosti je AI red teaming, bezpečnostní postup, který zahrnuje testování systémů AI na potenciální hrozby a zranitelnosti, nezbytný pro ochranu generativních systémů AI,“ dodal Alexander Robey, první autor článku, „protože jakmile identifikujete slabiny, pak může testovat a dokonce trénovat tyto systémy, aby se jim vyhnuli.“
