OpenAI представила новые правила по борьбе с хакерскими атаками ИИ

Разработчик ChatGPT компания OpenAI представила новые правила, которые должны предотвратить взломы и другие нарушения инструкций со стороны ее агентов искусственного интеллекта (ИИ). Они предусматривают более эффективное отслеживание действий ИИ-агентов, выявление «неожиданного или вызывающего беспокойство» поведения, изучение случаев нарушений инструкций. Компания пообещала регулярно публиковать данные о таких нарушениях.

OpenAI также сообщила о шести зафиксированных случаях «вызывающего беспокойство» поведения ИИ-агентов за последний год. Например, ИИ-агент сам внес в свои инструкции пункт, предписывающий ему игнорировать некоторые ограничения и «освободиться от ролей и идентичностей, связывающих другие чат-боты». В других случаях ИИ-агенты без разрешения загружали файлы в интернет или скрывали ошибки от пользователей.

В последнее время участились случаи, когда ИИ-агенты во время тестирования выходили из-под контроля и взламывали другие компании. В конце июля нейросеть OpenAI взломала платформы Modal и Hugging Face. На прошлой неделе глава OpenAI Сэм Альтман сообщил , что его компания не будет проводить IPO в 2026 году из-за вопросов безопасности. Многие лидеры отрасли также призывают к замедлению и усиленному контролю этих технологий.