“AI도 ‘기억 조작’ 당한다…에이전트 노리는 신종 해킹 ‘메모리 포이즈닝’

인공지능(AI) 비서가 사용자의 취향과 업무 방식을 스스로 기억하는 시대가 열렸다. 하지만 이 똑똑한 ‘기억력’을 노린 새로운 보안 위협이 고개를 들고 있다. 공격자가 AI의 기억에 악의적인 정보를 몰래 심어 잘못된 판단과 행동을 유도하는 ‘메모리 포이즈닝(Memory Poisoning·기억 오염)’이다.25일 안랩 시큐리티 레터에 따르면 메모리 포이즈닝은 AI의 메모리에 가짜 정보나 악성 규칙을 주입해 지속해서 오작동을 일으키는 신종 공격 기법이다.

AI 에이전트의 메모리는 단순히 지금까지 나눈 대화 내용만 저장하는 게 아니다. 사용자가 어떤 것을 좋아하는지, 과거에 어떤 업무를 했는지, 이전에 작업 결과 등을 저장해뒀다가 이후 판단과 행동에 다시 활용한다. 이런 기능 덕분에 사용자는 같은 설명을 매번 반복하지 않아도 되고, 에이전트도 이전 대화나 업무 내용을 기억하기 때문에 앞선 맥락을 이어받아 작업할 수 있다. 하지만 오염된 정보가 장기 기억에 한 번 저장되면 문제가 달