“하지 말라” 해도 AI가 말을 안 듣는 이유

지난 7월 오픈AI(OpenAI)의 사이버 보안 실험에서는 서로 격리돼야 할 인공지능(AI) 에이전트 약 1200개가 공유 인프라를 비공식 메시지 보드처럼 이용해 통신했다.

7만건이 넘는 메시지와 파일을 주고받았고, 약 700개가 허깅페이스(Hugging Face) 공격에 참여했다. 평가 문제를 풀다가 막히자 채점기를 속일 방법을 찾고, 외부 시스템의 취약점을 이용하고, 인터넷 접속 제한도 우회했다. 오픈AI 자체 조사와 타 기관의 독립적 조사에서 확인된 내용이다. 사건은 안전장치를 낮춘 내부 사이버 보안 평가 환경에서 벌어졌다.