[아이뉴스24 안세준 기자] 정부가 독자 인공지능(AI) 파운데이션 모델 프로젝트 3차 단계에 진출한 LG AI연구원과 SK텔레콤, 업스테이지 등 3개 정예팀에 약 1200억원 규모의 그래픽처리장치(GPU)를 지원한다. 6개월간 GPU를 임차하는 비용을 기준으로 팀당 400억원 규모다.
류제명 과학기술정보통신부 제2차관은 18일 정부서울청사에서 열린 독자 AI 파운데이션 모델 프로젝트 2차 단계평가 결과 발표 브리핑에서 "다음 단계에 진출한 정예팀에게 고성능 GPU 지원을 확대해 독자 AI 모델을 빠르게 고도화할 수 있도록 뒷받침하겠다"고 말했다.
이날 정부는 2차 단계평가 결과, LG AI연구원과 SK텔레콤, 업스테이지 정예팀이 다음 단계 진출팀으로 선정됐다고 발혔다. 모티프테크놀로지스는 글로벌 벤치마크에서 높은 기술력을 인정받았지만 사용성과 활용성 측면에서 상대적으로 낮은 평가를 받아 탈락했다.
정부는 다음 단계에 진출한 3개 정예팀에 올해 하반기 1000장 수준의 GPU를 지원하기로 했다. 최동원 과기정통부 인공지능인프라정책관은 "GPU를 6개월간 임차한다고 가정했을 때 한 팀당 약 400억원 정도"라며 "3개팀을 합치면 약 1200억원으로 예상한다"고 설명했다.
2차 평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점으로 진행됐다. 벤치마크 평가에서 4개팀 평균은 22.5점으로 1위와 4위의 격차는 4점이었다. 전문가 평가는 평균 28.8점에 1·4위 간 2.4점, 사용자 평가는 평균 17.6점에 1·4위 간 5점의 차이를 보였다. 특정 항목 하나가 당락을 좌우한 것이 아닌 각 평가 결과가 종합적으로 반영된 결과다.
평가 과정에서 제기된 벤치맥싱(공개된 평가 방식이나 특정 문제 유형에 맞춰 모델을 최적화하는 행위) 논란은 결과에 반영되지 않았다. 과기정통부가 평가기관인 아티피셜 애널리시스에 검토를 요청한 결과, 체계적인 암기나 과적합을 입증할 단서를 찾지 못했다는 답변을 받았다는 것이다.
다음은 브리핑에서 류제명 과기정통부 제2차관 등과의 일문일답이다.
-벤치마크 평가가 40점 만점에 평균 22.5점이다. 30점을 넘은 기업은 없었나. 3차 평가 일정과 평가 방식은.
(류 2차관) "AAII가 25점, NIA 평가가 15점으로 구성돼 있다. 환산 점수로 총점 30점을 넘은 기업은 없었다. 각 평가 항목별 기업 간 격차가 근소해 항목별 1위 기업은 발표하지 않았다.
오늘 기업들에 결과를 통보했고 이의제기 절차가 남아 있다. 이의가 제기되면 소명 절차를 거친 뒤 바로 다음 단계를 진행한다. 3차 평가의 구체적인 방식은 1·2차 평가 과정에서 보완할 점이 있는지 살펴보고 참여하는 3개 기업과 협의를 거쳐 최대한 빠른 시간에 확정해 발표하겠다."
-2차 평가에서 4개 정예팀을 결정적으로 가른 평가 항목이 있었나.
(류 2차관) "벤치마크와 전문가, 사용자 평가 모두 격차가 아주 미세했다. 벤치마크는 1위와 4위 간 4점, 사용자 평가는 5점 차이였다. 특별히 어떤 항목이 결정적이었다고 보기 어려울 정도였다. 1위를 한 기업, 2~3위 간의 격차 등이 종합적으로 만들어낸 결과다.
-탈락한 모티프에 대한 별도의 정부 지원책이 있나.
(류 2차관) "모티프테크놀로지스는 작은 연구 인력으로 연구개발 중심의 기술력을 쌓아온 기술 기업이다. 앞으로 K-AI 모델이 여러 산업 현장이나 공공 분야에서 활용될 텐데 그런 점에서 모티프도 이미 탄탄한 기반을 닦았다고 판단한다.
다만 정부가 앞으로 추진하는 여러 프로그램에 모티프가 지원해 지원받는 것 외에 모티프만을 위한 별도의 특별 대책을 말씀드리는 것은 적절하지 않다고 본다."
-벤치맥싱 논란이 이번 평가에 영향을 미쳤나.
(류 2차관) "결론적으로 벤치맥싱 관련 이슈는 평가에 반영되지 않았다. AA의 공식 답변을 토대로 했고 전문가 평가 등을 통해 검증한 결과 경쟁의 불공정성과 관련한 문제는 없었다고 결론내렸다.
-정부는 다음 단계에 진출한 정예팀에 올해 하반기 1000장 수준의 GPU를 지원하기로 했다. 3개팀에 지원되는 GPU의 비용 규모는.
(최동원 과기정통부 인공지능인프라정책관) "GPU를 6개월간 임차한다고 가정했을 때 한 팀당 약 400억원 정도가 들어가는 것으로 파악하고 있다. 3개팀에 이번 3차수 동안 지원되는 GPU를 금액으로 환산하면 총 1200억원 정도로 예상하면 된다."
-이번에 처음 도입된 국민 평가는 당락에 영향을 미쳤나.
(류 2차관) "당초 일반 국민 평가단 200명을 목표로 모집했고 약 1400명이 응모했다. 이 가운데 무작위로 200명을 뽑았고 이해충돌 여부 등을 확인했다. 최종적으로 185명이 평가에 참여했다.
일반 국민 평가는 최종 배점이 10점이었다. 최종적으로 검토한 결과 일반 국민 평가가 당락에는 영향을 미치지 않았다."
-200명을 선정했는데 실제 평가는 185명만 참여한 이유는. 사용자 평가의 점수 편차는 어땠나.
(류 2차관) "응모자들을 무작위로 선정한 뒤 소속 회사와 이해충돌 여부에 대한 서약 등을 받아 한 명씩 확인했다. 그 과정에서 이해충돌 문제가 있는 경우가 있었다. 참여가 가능했던 사람 가운데 최종 응답을 제출하지 않은 경우도 있어 185명이 참여했다.
사용자 평가에서 기업별 편차가 특별히 크지는 않았다. 특정 기업에 만점이나 최하점을 주는 식의 몰표 사례를 걸러내는 작업도 했다. 결과적으로 다른 평가지표에 비해 편차가 크다고 볼 수 없었다."
-모티프가 사용성·활용성에서 낮은 평가를 받았다는 것은 전문가 평가와 전문 사용자 평가 모두를 의미하나.
(류 2차관) "구체적으로 어떤 항목에서 어떤 평가를 받았는지를 공개하면 점수 차이로 인해 다른 해석이 나오거나 해당 기업이 뜻하지 않은 불이익을 받을 수 있어 세부적으로 밝히기 어렵다.
모티프는 기술력 측면에서 세계적인 수준이라는 것이 증명됐고 평가에도 반영됐다. 다만 사용성·활용성 측면에서는 다른 모델들보다 평가가 조금 낮았다는 점으로 설명하겠다."
-벤치마크·전문가·사용자 평가에서 모두 일관되게 가장 높은 점수를 받은 팀이 있었나.
(류 2차관) "없었다. 각 평가 영역의 1위는 모두 달랐고 일관되게 1등을 한 기업은 없었다."
/안세준 기자(nocount-jun@inews24.com)