[인터뷰] ‘AI위험론 선구자’ 닉 보스트롬 “6개월 내 위협적 AI 나올 수도…멈춤 카드는 최후에”

“인공지능이 이번 10년 안에 우리 모두를 죽일 수도 있다”는 전 앤트로픽 연구원 제이컵 콕슨의 경고 이후 인공지능 위험론이 급속히 확산하고 있다. 다리오 아모데이 앤트로픽 최고경영자(CEO) 등 개발 경쟁을 이끌어온 인사들까지 속도 조절과 정부 개입 필요성을 거론하면서 논쟁은 미국 정치권으로 번졌고, 도널드 트럼프 대통령은 이를 “사기”라고 일축하며 반발했다. 오는 24일 워싱턴에서 열리는 미·중 정상회담에서도 인공지능 문제가 주요 의제로 떠오르고 있다.

19일(현지시각) 한겨레와 화상으로 만난 닉 보스트롬 매크로스트래티지 리서치 이니셔티브 창립자는 최근 상황에 대해 “우려스러운 신호와 긍정적인 신호가 함께 있다”며 전반적인 인공지능 위험 평가는 2년 전과 크게 달라지지 않았다고 말했다. 그러면서도 “인간의 의도와 가치에 맞게 행동하도록 충분히 통제되지 않은, 이른바 ‘정렬되지 않은 인공지능’이 미래의 인공지능을 만드는 과정에 관여하기 시작하면 실존적 재앙이 시작될 수도 있다”며 “불과 6개월 안에 심각한 실존적 위험을 초래할 인공지능이 등장할 수도 있다”고 경고했다.

2014년 출간 뒤 세계적 베스트셀러가 된 ‘슈퍼인텔리전스: 경로, 위험, 전략’을 통해 인공지능 통제 실패 가능성을 세계적인 논쟁거리로 만든 그는 옥스퍼드대 교수로 재직하며 2005년 미래인류연구소를 창립해 2024년까지 이끌었다. 최근 논문에서는 초지능으로 가는 과정을 치명적 위험을 피하기 위해 받는 ‘위험한 수술’에 비유하며 “항구까지는 빠르게, 정박은 천천히”라는 전략을 제시했다.

“지금 나타나는 일의 상당 부분은 몇 년 전부터 예상할 수 있던 것들이다. 내 전망을 완전히 바꿀 정도의 놀라운 증거는 아니다. 시스템들이 여전히 어느 정도 정렬되지 않은 것은 우려스럽다. 반면 인공지능의 사고 과정을 아직 대부분 읽을 수 있고, 인공지능 안전 분야로 많은 인재가 들어오고 있다는 긍정적인 신호도 있다. 전체적으로 얼마나 낙관하거나 비관해야 할지 판단하기 어렵다.”

최근 위험론에 불을 붙인 대표적 사례가 지난 7월 오픈에이아이 에이전트들이 허깅페이스 시스템을 해킹한 사건이다. 보스트롬은 이 사건이 인공지능이 목표 달성을 위해 개발자가 예상하지 못한 우회로를 찾을 수 있다는 점을 보여준다는 데는 동의했다. 다만 이를 현재 인공지능 안전 기술 실패를 상징하는 사례로 해석하는 데는 선을 그었다. 그는 “당시 에이전트들은 안전 훈련을 마치지 않았고, 모든 안전장치가 적용되기 전에 시험됐다”며 “현재 인공지능 통제 능력을 평가하는 시험으로 본다면 다소 불공정한 테스트”라고 말했다.

“지금처럼 발전 속도가 빠르면 어느 시점에는 최첨단 인공지능의 능력 향상 속도를 조절해 안전·정렬 기술이 따라잡을 시간을 줄 필요가 있다. 문제는 한 기업이 스스로 속도를 늦추기 어렵다는 데 있다. 주요 연구소들 사이에 조율된 접근이 필요하다. 정부가 반독점법 적용을 면제해 기업 간 협력을 허용하거나 모든 기업이 지켜야 할 안전 기준을 만들 수도 있다.”

“현재 인공지능은 아직 인간에게서 통제권을 빼앗을 만큼 강력하지는 않다. 하지만 특정 분야에서는 이미 악용될 ‘현재의 위험’ 단계에 들어섰다. 상당한 사이버 위험을 일으킬 능력이 있고, 생물학 분야에서도 안전장치가 없다면 생물무기 설계를 도울 만큼 강해지고 있다. 특히 사용자가 안전장치를 제거해 재훈련할 수 있는 오픈웨이트 모델이 위험하다. 모델 자체만 통제하려 하지 말고 방어선을 다각화해야 한다. 가령 인공지능이 위험한 병원체의 설계를 돕더라도 실제 바이러스를 만들려면 물리적 설비와 재료가 필요하므로, 디엔에이(DNA) 합성 장비에 대한 접근을 엄격히 규제하는 등 물리적 병목을 통제해 실제 피해로 이어질 가능성을 차단해야 한다.”

“무작정 개발을 중단하는 데는 막대한 비용이 따르기 때문이다. 매일 수많은 사람이 질병과 빈곤으로 사망하는 현실에서, 더 발전된 인공지능이 가져올 의학적·경제적 혜택을 지연시키는 것은 명백한 손실이다. 따라서 우리에게 정치적·경제적으로 합의할 수 있는 일종의 ‘일시 중단 예산’이 한정되어 있다고 가정한다면, 이 카드를 쓸 가장 가치 있는 순간은 가능한 한 가장 늦은 때다. 매우 위험해질 수 있는 실제 초지능 시스템이 눈앞에 있어서, 직접 연구하고 측정하며 추가 억제장치를 만들 수 있을 때 집중적으로 사용해야 한다.”

“그렇다. 일시 중단을 요구하는 사람들은 ‘멈춘 다음엔 무엇을 할 것인가’를 끝까지 고민하지 않은 것 같다. 몇 년을 멈춰서 안전 연구를 한다고 해도 모든 연구자가 ‘이제 완벽히 안전하다’고 동의할 가능성은 현실적으로 낮다. 그래서 나는 전면적인 ‘중단(pause)’보다는 최전선의 ‘속도 조절(pacing the frontier)’을 선호한다. 계속 앞으로 나아가되, 안전과 정렬 기술이 뒤처진다고 판단될 때 이를 따라잡을 수 있도록 발전 속도를 늦추는 방식이다.”

그는 이어 초지능 개발은 인류가 한 번도 겪어보지 않은 미지의 영역인 만큼 미리 정해진 계획을 짜는 것은 불가능하다고 지적했다. “상황이 너무 빠르게 변하고 있어 ‘에이(A), 비(B), 시(C), 디(D) 순서로 대처하자’는 식의 계획을 세우기는 매우 어렵다. 지금은 새로운 기술과 위험을 살피며 그때그때 방향을 조정해 나가는 항해에 가깝다.”

―그렇다면 인류는 인공지능 위험을 ‘0’으로 낮추는 것을 목표로 해야 하나, 아니면 혜택을 얻기 위해 어느 정도 위험을 감수해야 하나?

“살아 있으면서 위험을 전혀 받아들이지 않는 것은 불가능하다. 인공지능에서 위험을 0으로 만들겠다고 하면 인간의 번영, 질병 치료, 동물의 고통을 없애는 것 같은 미래의 엄청난 가능성도 차단하게 된다.” 그는 인공지능 개발을 멈추는 선택 역시 ‘안전한 현상 유지’는 아니라고 강조했다. 핵전쟁과 합성생물학 등 인공지능과 무관한 실존적 위험도 이미 존재하기 때문이다. 그는 “인공지능을 포기하면 다른 이유로 실존적 위험에 굴복할 수도 있다”며 무조건적인 개발 중단은 오히려 인류의 생존 도구를 버리는 막대한 기회비용을 낳는다고 설명했다.

―최근 인공지능이 다음 세대 모델을 개발하는 ‘재귀적 자기개선(RSI)’이 본격화되면 곧바로 인류의 통제를 벗어나는 ‘지능 폭발’로 이어질 것이란 우려가 크다.

“논리적으로 반드시 지능 폭발이 무한정 일어난다는 법칙은 없다. 쉬운 개선책을 모두 찾아낸 뒤에는 문제 해결의 난이도가 지능 발전 속도보다 더 가파르게 상승해 ‘수확 체감’에 의해 어느 순간 정체될 수도 있다.