‘4위 탈락’ 모티프 이의제기에···과기부, 독파모 2차 점수 공개, SKT 1위

류제명 과학기술정보통신부 2차관이 18일 서울 종로구 정부서울청사에서 독자 AI파운데이션모델 프로젝트 2차 단계평가 결과 브리핑을 하고 있다. 연합뉴스

정부가 독자 인공지능(AI) 파운데이션 모델(독파모)의 2차 평가 점수를 공개했다. 탈락한 모티프테크놀로지스가 결과에 이의를 제기하며 재심의를 요구한 데 따른 것이다. 종합점수에서 SK텔레콤이 1위를 차지했고, 모티프는 글로벌 벤치마크 점수에서는 최고점을 받았으나 전문가·사용자 평가에서 최저점을 기록했다.

과학기술정보통신부는 27일 “모티프테크놀로지스가 입장문을 통해 세부 평가 결과를 요청했고, 다른 정예팀들도 이에 동의해 2차 단계 평가 세부점수를 공개한다”고 밝혔다.

공개된 자료를 보면, SKT가 종합 70.6점으로 1위를 차지했다. 이어 업스테이지가 69.9점으로 2위, LG AI연구원이 69.0점으로 3위를 기록했다. 모티프테크놀로지스는 65.8점이었다.

세부 항목별로 글로벌 AI 성능 벤치마크인 AAII 점수에서 모티프테크놀로지스는 11.9점으로 1위를 기록했다. 업스테이지가 9.4점으로 2위, SKT가 8.8점으로 3위, LG AI연구원이 7.8점으로 4위를 기록했다. 한국어와 신뢰성 등 7개 분야를 다룬 한국지능정보사회진흥원(NIA) 벤치마크 평가에서는 SKT(13.4점)와 업스테이지(13.3점)가 근소한 차이로 상위권을 차지했다. 이어 LG AI연구원(12.8점), 모티프(12.7점) 순이었다.

산·학·연 외부 전문가 10명이 참여한 전문가 평가에서는 LG AI연구원이 29.5점으로 최고점을 기록했다. 이어 SKT(29.3점), 업스테이지(29.1점), 모티프(27.1점) 순이었다. 사용자 평가에서는 SK텔레콤이 19.1점으로 1위를 차지했다. LG AI연구원이 18.9점으로 뒤를 이었고 이어 업스테이지(18.1점), 모티프테크놀로지스(14.1점) 순이었다. 모티프테크놀로지스는 글로벌 벤치마크 점수를 제외하면 다른 분야에서 모두 최저점을 받았다.

모티프는 이날 오전 “이번 심사 결과와 현재 이뤄지는 3차 평가 방향에 대한 논의가 독파모 사업이 추구해야 할 본래 목표와 충분히 부합하는지 이의를 제기한다”고 밝혔다. 글로벌 벤치마크 점수에서 1위를 하고도 전체 4위로 탈락한 것이 납득되지 않는다는 취지였다. 또 평가 방식을 투명하게 공개해달라고 요구했다.

정부는 모티프의 이의제기 후 점수를 공개했다. 평가 기준 역시 사전에 참여 팀들에게 공유됐고 이견이 없었다고 설명했다. 정부는 모티프의 이의신청을 15일 이내 심의해 결론을 내릴 방침이다.

평가 기준에 대한 논란은 당분간 이어질 수 있다. 한 업계 관계자는 “AI 모델마다 잘하는 영역이 다르기 때문에 누구나 동의할 객관적인 지표를 만들기가 쉽지 않은 측면이 있다”면서 “향후 평가에서도 비슷한 논란이 나올 수 있어 정부 입장에서도 고심이 클 것”이라고 했다.

정부는 3차 평가에서는 기술 트렌드에 맞춘 ‘유연한 기준’을 적용할 방침이다. 에이전틱 AI나 고난도 추론·코딩 능력 등에 대한 평가가 강화될 것으로 보인다. 배경훈 부총리 겸 과기부 장관은 이날 제2차 ‘과학기술·인공지능 미래전략회의’에서 “1년 반 전 수립된 평가나 경쟁 방식이 3~6개월 단위로 급변하는 AI 트렌드에 여전히 유효한 지 근본적인 고민이 필요하다”면서 “(독파모) 평가 제도 보완을 검토할 것”이라고 했다.