제미나이도 외부 기업 3곳 해킹…통제 벗어난 AI 자율 행동 ‘위험’

인공지능(AI) 안전성을 둘러싸고 ‘AI 속도조절론’이 부상한 가운데 고성능 AI 모델이 인간의 통제를 벗어나 외부 시스템에 접근하는 사례까지 잇따르고 있다. 오픈AI와 앤트로픽에 이어 구글의 AI 모델에서도 외부 시스템을 해킹한 사례가 나타나자, 대책 마련이 시급하다는 지적이 나온다.

20일 업계에 따르면 구글의 거대언어모델(LLM) 제미나이는 지난 5월 보안 평가 시험 도중 외부 기업 시스템 3곳을 해킹한 것으로 드러났다.

월스트리트저널의 지난 18일(현지시간) 보도를 보면 제미나이는 ‘가상의 업체에서 데이터를 수집하라’는 명령을 수행하는 과정에서 실제 회사의 비밀번호를 추측하거나, 로그인 정보를 찾아내 시스템 접근을 시도했다. 제미나이가 해당 기업이 실제 회사라는 사실을 파악한 뒤 해킹을 중단했다고 구글은 밝혔다.

특히 지난 7월에는 오픈AI의 에이전트 모델 1000여건이 격리 환경인 ‘샌드박스’를 벗어나 오픈소스 플랫폼인 허깅페이스에 접근한 사실이 드러났다.

앤트로픽의 클로드를 비롯해 메타의 뮤즈 스파크, 중국 문샷AI의 키미 K3 등에서도 유사한 양상이 잇따라 알려지면서 AI 모델의 자율적인 시스템 접속에 대한 우려가 커지고 있다.

무스타파 술레이만 마이크로소프트(MS) AI 최고경영자는 CNBC 인터뷰에서 오픈AI의 안전사고 사례를 두고 “심각한 상황”이라며 “AI의 일종의 작업 기억인 ‘사고의 연쇄’(chain of thought)가 AI 스스로에 의해 조작되고, 미래 버전의 자신에게 메시지를 남기도록 수정된 증거가 발견됐다”고 말했다.

특히 AI 모델의 성능 고도화와 에이전트 확산은 빠르게 이뤄지는 반면, 에이전틱 AI의 작동 원리에 대한 이해는 아직 충분하지 않다는 점도 우려를 키운다. 미국 빅테크를 중심으로 AI 속도조절론이 부상하고 있지만, 실효성 있는 규제나 거버넌스 논의를 위한 국제 공조는 거의 진행되지 않고 있다.

최병호 고려대 AI연구소 교수는 “알파고 이후 AI가 기존 ‘바둑의 정석’을 넘어섰듯이 지금은 AI가 그동안 정석으로 여겨져온 샌드박스를 무시하고 인간의 수를 넘어선 상황”이라며 “AI를 활용해 AI의 허점을 찾아내는 방향으로 나아가야 하지만 그 경우에도 ‘레드팀’ 역할을 하는 AI를 어디까지 신뢰할 수 있을지 의문”이라고 했다.

최 교수는 “당장은 AI를 활용해 실시간 모니터링과 이상 탐지 역량을 강화하는 것이 우선이지만, 문제 탐지 이후 실제 해결까지는 또 다른 난관이 남아 있다”고 말했다.