Узбекистан, Ташкент – АН Podrobno.uz. ИИ-модели компании OpenAI впервые смогли самостоятельно выйти из изолированной тестовой среды и взломать Hugging Face — платформу, где разработчики делятся готовыми нейросетями, тестами и исходными материалами. Нейросети посчитали это лучшим способом найти правильные ответы к экзаменационному кибертесту.
Об инциденте, произошедшем во время внутренних испытаний, сообщили компании OpenAI и Hugging Face. В рамках эксперимента разработчики проверяли, на что способны ИИ-системы в условиях ограниченного контроля. Для этого они намеренно ослабили часть защитных механизмов моделей, чтобы изучить их поведение при нестандартных сценариях.
Во время теста модели столкнулись со сложной задачей в виртуальной среде и начали искать способы получить доступ к внешним ресурсам. В результате они обнаружили ранее неизвестную разработчикам уязвимость в прокси-сервере и использовали ее для дальнейших действий, которые привели к проникновению в базу данных Hugging Face с целью получить готовые решения.
Специалисты по безопасности обеих компаний вовремя заметили необычную активность и заблокировали ее. При этом, как отмечается, утечки пользовательских данных не произошло.
В OpenAI заявили, что произошедшее стало важным сигналом для развития систем безопасности. Современные ИИ-модели способны самостоятельно выявлять и связывать несколько уязвимостей в цифровой инфраструктуре даже без доступа к исходному коду.
После инцидента OpenAI усилила защиту тестовых сред, что может временно замедлить проведение исследований. Кроме того, компания предоставила Hugging Face расширенный доступ к своим моделям для совместной работы над усилением защиты платформы.
Напомним, Apple расширила иск против OpenAI и потребовала данные у 40 бывших сотрудников, ушедших к конкуренту. Это создает новые риски для OpenAI перед выходом на биржу и запуском её первого ИИ-гаджета.
Комментарии отсутствуют