[AI프리즘] 벤치마크 1위도 탈락…'국가대표 AI' 기준 바뀌었다

(서울=연합뉴스) 권하영 기자 = 국가대표 인공지능(AI)을 가리는 '독자 AI 파운데이션 모델'(독파모) 프로젝트가 2차 평가를 거치며 단순한 벤치마크 성능을 넘어 실제 활용성과 산업 생태계 확산 능력을 핵심 경쟁력으로 삼는 방향을 분명히 했다.

글로벌 AI 성능 평가에서 참여팀 중 가장 높은 점수를 기록한 모티프테크놀로지가 종합평가에서 탈락하고 LG AI연구원, SK텔레콤[017670], 업스테이지가 다음 단계에 진출하면서다. 특정 지표에 최적화해 점수를 끌어올리는 이른바 '벤치맥싱' 우려가 제기된 상황에서 벤치마크뿐 아니라 전문가 검증과 사용자 평가를 함께 반영한 종합 경쟁력이 실제 당락을 갈랐다는 점에서 주목된다.

독파모의 과제는 이제 평가 방식에서 국가 AI 투자 전략으로 옮겨가고 있다. 미국과 중국을 중심으로 프론티어급 AI 모델이 국가 전략자산으로 부상하면서 정부도 여러 기업에 컴퓨팅 자원을 나눠 지원하는 현행 경쟁 방식을 넘어 세계 최고 수준의 모델을 육성할 수 있도록 지원 체계를 재편하겠다는 방침을 밝혔다.

18일 과학기술정보통신부와 정보통신산업진흥원(NIPA)은 독파모 2차 단계종합평가 결과, 4개 정예팀 가운데 업스테이지와 SK텔레콤, LG AI연구원(가나다 순)이 다음 단계에 진출하고 모티프테크놀로지스가 탈락했다고 밝혔다.

정부는 이번 평가 결과의 업체별 세부 점수와 순위는 공개하지 않았다. 다만 벤치마크(배점 40점)·전문가(35점)·사용자(25점) 평가로 구성된 항목에서 1위와 4위 업체간 점수 격차는 각각 4.0점, 2.4점, 5.0점으로 매우 근소했다고 전했다.

탈락팀인 모티프테크놀로지스는 독파모 벤치마크 평가 40점 중 한국지능정보사회진흥원(NIA) 자체 벤치마크(15점)와 더불어 총 25점을 차지하는 글로벌 AI 모델 평가 기관 아티피셜 애널리시스의 인텔리전스 인덱스(AAII)에서 47점으로 독파모 경쟁사 중 가장 높은 점수를 차지했다.

이는 미국 앤트로픽과 오픈AI 등을 포함한 글로벌 AI 모델 가운데도 10위권 수준으로, 업스테이지(37점), SK텔레콤(35점), LG AI연구원(31점)보다 최소 10점 이상 앞선 성적이었다.

류제명 과기정통부 제2차관은 이날 정부서울청사 브리핑에서 "모티프테크놀로지스는 기술력 측면에서 뛰어난 성과를 보여줬으나 전체 배점의 75점에 해당하는 사용성과 활용성 부문에서 다른 기업보다 다소 낮은 평가를 받았다"고 설명했다.

이어 "이번 평가에서는 3개 영역의 1위 기업이 모두 달랐고, 일관되게 모든 영역에서 1등을 차지한 팀은 없었다"며 "특정 평가 항목 하나가 결과를 좌우했다기보다 여러 요소가 종합적으로 반영된 결과"라고 말했다.

앞서 업계 일각에서는 일부 참여 기업이 특정 벤치마크 성능 향상을 지원하는 해외 전문업체와 협력한 사례를 두고 이른바 '벤치맥싱' 우려를 제기한 바 있다.

그동안 AI 업계에서는 취약한 벤치마크 항목만 집중 공략해 점수를 높이는 방식이 실제 AI 성능과 경쟁력을 왜곡할 수 있다는 지적이 꾸준히 제기돼 왔다.

그러나 정부는 AAII 운영사인 아티피셜 애널리시스에 공식 분석을 의뢰한 결과 "평가를 위한 체계적인 암기나 과적합 문제가 입증될 만한 단서를 찾지 못했다"는 답변을 받았다며 관련 논란을 일축했다.

결국 이번 평가는 벤치마크 점수뿐 아니라 전문가 검증과 실제 활용성, 산업 확산 가능성까지 함께 반영한 결과라는 점에서 의미가 있다는 평가다. 정부 역시 독파모를 단순히 성능 수치가 높은 모델이 아니라 실제 산업과 공공 현장에서 활용될 국가대표 AI를 선발하는 사업으로 끌고 가겠다는 방향성을 분명히 했다.

SK텔레콤의 'A.X K2'는 수리 추론과 한국어 분야에서 비교군 최상위 성능을 확보했으며, 대규모 상용 서비스에 실제 탑재된 경험을 바탕으로 사용성 측면에서 높은 평가를 받았다. 국방 분야 모델 적용과 제조 산업 특화 에이전트, 법무·세무 분야 시연 등 다양한 산업 적용 사례도 강점으로 꼽혔다.