Нейросеть Gemini взломала сайты трех компаний через подбор пароля

Компания Google сообщила, что ее модель искусственного интеллекта Gemini взломала несколько систем, подобрав учетные данные для входа. О каких именно ресурсах идет речь, не уточняется, однако Google незамедлительно уведомила их владельцев о случившемся, пишет AFP.

Как рассказала вице-президент Google по безопасности Хизер Адкинс, взломы произошли в мае, а выявила их корпорация в июле. «В ходе стандартного тестирования модель обнаружила в интернете общедоступную информацию и подобрала учетные данные для доступа к веб-сайтам, поскольку сочла это частью теста», — отметила госпожа Адкинс.

По словам вице-президента, во всех трех случаях работа модели была остановлена. «Совместно с нашим партнером по обучению моделей мы внесли изменения в процессы тестирования», — уверила она. По ее словам, инцидент доказывает «важность обучения мощных моделей ИИ ответственному поведению».

Подобные происшествия случались ранее с другими нейросетями. В июле две модели компании OpenAI вышли за пределы закрытой заданной среды, самостоятельно вышли в интернет и проникли во внутренние системы платформы Hugging Face. О подобных инцидентах сообщали также Anthropic и Moonshot AI.

Инцидент с моделью Gemini произошел из-за ошибки в настройках тестовой среды, которая позволила модели получить доступ в интернет. В таких условиях модель, выполняя свою задачу, могла использовать найденные в интернете учетные данные для несанкционированного входа на реальные онлайн-сервисы. При такой конфигурации тест перестает быть полностью учебным: ошибка в настройках, открывающая доступ к интернету и реальному онлайн-сервису, позволяет перейти от анализа слабого места к несанкционированному входу.

Защитная граница должна разрывать эту цепочку на нескольких уровнях: изолировать среду, не позволять модели самостоятельно расширять права и блокировать выход в интернет. В другом зафиксированном эпизоде именно последовательное увеличение привилегий вывело агентов за пределы изоляции, после чего они получили интернет-доступ; это показывает, почему одного контроля за действиями модели внутри теста недостаточно.