크라우드웍스, 생성형 AI 신뢰성 평가 프레임워크 개발 착수

[아이뉴스24 윤소진 기자] 크라우드웍스는 인공지능(AI) 신뢰성 기반조성을 위한 ‘생성형AI 신뢰성 평가 프레임워크 개발’ 사업에 착수했다고 17일 밝혔다.

크라우드웍스는 한국정보통신기술협회(TTA)가 주관하는 ‘생성형 AI 신뢰성 평가의 실용적 접근 방안 연구’ 사업을 수주했다. 크라우드웍스 외 자연어 처리 솔루션 전문 스타트업 테디썸, 김한샘 연세대학교 교수 연구팀 등 3개사가 컨소시엄을 이뤄 참여한다.

이번 사업은 생성형 AI의 안전성 및 신뢰성 확보를 위한 가이드라인을 마련하기 위한 것으로, ‘생성형 AI 신뢰성 평가 프레임워크 개발 및 확산’을 목표로 한다. 연구마다 다르게 정의되고 있는 생성형 AI에 대한 주요 위험요소의 정의를 체계화하고, 사회·문화적 특성을 고려하여 실용적인 신뢰성 평가 프레임워크를 개발해 생성형AI의 위험과 부작용을 최소화한다.

사업 범위는 △생성형 AI 위험 정의 및 분류 체계화 △위험-평가 매트릭 매핑 구조 설계 △레드팀 테스팅 기법 수집 및 교육자료 작성 △평가 메커니즘 설계 △평가 방안의 실용성 파악을 위한 시범 적용 등이다. 크라우드웍스는 하이퍼클로바X, 엑사원 등 대형언어모델(LLM) 모델의 학습데이터 구축 및 모델 평가 검증 사업을 다수 수행한 경험과 경량화 대형언어모델(sLLM) 웍스원(WorksOne)을 개발한 기술 전문성을 바탕으로 생성형AI 평가 프레임워크의 확산을 위한 교육자료 개발 및 프레임워크 실증을 맡는다.

이를 위해 국내외 레드팀 테스팅 기법을 수집해 데이터를 바탕으로 악의적 프롬프트 특징과 패턴을 도출하고, 공격 프롬프팅 기법 및 유형 분석 내용이 포함된 레드팀 교육 가이드를 마련한다. 또 생성형 AI 신뢰성 평가 프레임워크 가이드의 실증을 위해 국내 AI 모델을 대상으로 실제 공격을 수행하고 개선점 및 대응방안을 제시한다.

김우승 크라우드웍스 대표는 “AI 신뢰성과 안전성 평가 프레임워크는 AI 평가 표준화를 가속하고 AI의 상호운용성, 호환성을 높여 AI 산업 발전 속도를 높이게 될 것”이라며 “AI 신뢰성 기술 영역에서도 리더십과 경쟁력을 확보하고 우리나라가 AI 강국으로 도약할 수 있도록 최선을 다하겠다”고 말했다.