[인팩] 드라마 속 감초 AI기술…CJ올리브네트웍스 "표현한계 극복"

[아이뉴스24 박진영 기자] # 지난달 종영한 tvN 드라마 '나빌레라' 고난이도 발레 장면에 나온 덕출(박인환)과 채록(송강)은 실제 그들이 아니다. 발레리노 대역 안무와 주연 배우의 얼굴을 합성해 해당 장면을 연출한 것. AI로 머리부터 목까지 자연스럽게 합성해 생동감 있는 발레 장면이 만들어졌다.

# 지난해 엠넷 프로그램 'AI음악 프로젝트 다시 한 번'에서는 그룹 거북이의 리더 고(故) 터틀맨(임성훈)이 무대에 등장했다. 그가 지난 2008년 세상을 떠난 뒤 12년 만에 완전체로 무대에 돌아온 것이다.

이 장면들에 사용된 기술은 CJ올리브네트웍스에서 자체 개발한 '페이스에디팅(Face Editing)'이다. 말 그대도 얼굴을 변형하는 기술로, 특정 사람의 얼굴을 다른 사람의 얼굴로 합성하거나 얼굴의 나이대를 바꾸는 것이 포함된다. 얼굴 변형을 위해 AI기술이 활용됐다.

26일 서울 용산구에 위치한 CJ올리브네트웍스 본사에서 기술을 만든 AI-코어(CORE) 연구소의 손종수 소장, 이현기 연구원과 만나 'AI기술 적용 사례 및 부작용, AI 산업 발전 방향'에 대해 들어봤다.

◆ '페이스에디팅'으로 콘텐츠 제작비용·시간 대폭 줄여

페이스에디팅은 '학습 데이터 수집-데이터 처리-모델 학습-얼굴 교체' 과정으로 진행된다. AI 기술 중 하나인 '생성적 적대 신경망(GAN)'을 사용해 해당 영상의 각 프레임에 교체할 얼굴을 합성한다.

이현기 연구원은 "제공된 데이터를 기반으로 가짜 이미지를 만들어 내는 '생성기'와 이미지가 생성기를 통해 만들어낸 가짜 이미지인지 판단하는 '판별기'가 있다. GAN기술은 생성기와 판별기가 서로 경쟁하고 학습하면서, 좀 더 진짜 같은 이미지를 만들어내는 알고리즘"이라고 설명했다.

그는 "이 기술은 진짜 같은 결과물을 만들어내는 능력이 뛰어나기 때문에 이 세상에 없는 새로운 얼굴을 만들어내거나, 풍경 이미지의 계절을 바꾸거나, 손실된 이미지를 복원하는 등 다양한 컴퓨터 비전 분야에 사용되고 있다"면서, "어도비 포토샵에도 GAN기술을 이용한 이미지 필터가 적용된 것으로 알고 있다"고 밝혔다.

대부분 AI기술이 그렇듯 페이스 에디팅도 양질의 데이터 확보가 중요하다. 색상, 크기 등 이미지의 편차로 데이터 정제 작업에 상당한 노력이 들 수 있고, 데이터 문제로 얼굴 일부가 생성이 되지 않을 수도 있다. 좋은 결과물을 내기 위해서는 고해상도의 많은 이미지 데이터 수집이 필요한 것.

이 연구원은 "양질의 데이터를 준비하기 위해 많은 시간이 필요한 것이 현실"이라면서, "고품질의 결과물이 필요한 TV콘텐츠는 데이터가 더욱 중요하다. 보통 콘텐츠 제작 단계에서 직접 촬영된 영상에서 데이터를 수집하거나, 이 데이터를 좀더 효율적으로 사용하기 위해 자체 분석툴도 사용하고 있다"고 말했다.

AI-코어연구소에서는 페이스에디팅 외에 콘텐츠 산업에 적용시킬 다양한 미디어 AI를 개발하고 있다.

대표적으로 젊어보이게 만드는 '디에이징' 기술이나 옷, 모자 등 제품의 상표를 가려주는 '상표 가리개(가칭)' 등이 있다. '디에이징' 기술이 드라마에 적용되면, 60대 배우의 모습을 20대로 재현할 수 있어 나이 표현의 한계를 극복할 수 있다. '상표 가리개'를 통해서는 브랜드 노출로 해당 상품들에 테이프를 붙여야 했던 수고로움을 덜어 줄 수 있다.

이러한 AI기술을 영상에 적용하면, 제작과정 중 시간과 비용이 많이 소요됐던 특수효과를 AI기술로 대체할 수 있다고 설명했다.

손종수 소장은 "그동안 포토샵, CG 등 후작업을 통해 영상 효과를 만들고자 하면 한 달 이상의 시간이 걸렸다"면서, "미디어AI 기술은 제작 기간이 한정적인 드라마, 예능 등 TV 콘텐츠 제작의 기간과 비용을 획기적으로 줄일 수 있기에 여러 제약으로 인한 표현의 한계를 극복할 수 있다"고 말했다.

이 연구원은 "콘텐츠 영역에서 AI기술은 아직 제한적으로 사용되고 있다. 지속적인 연구를 통해 기술을 고도화하고, 높은 퀄리티의 결과물을 낼 수 있다면 시장에서 충분히 가능성이 있는 기술이다"고 덧붙였다.

이와 함께 유통, 물류, 식품, 커머스 등 다양한 산업에 적용시킬 수 있는 AI, 블록체인 기술도 개발 중이다. 회사 측은 CJ계열사에서 기술검증을 거친 후, 솔루션 구축을 통해 외부 사업화에 나서겠다는 계획이다.

◆ 딥페이크 범죄 강력한 제재 필요…"AI윤리규정 모든 업무 프로세스에 적용돼야"

딥페이크 범죄 등 얼굴합성 기술을 악용하는 경우에는 법적 제재가 필요하다고 전했다. 기술을 잘 사용하면 비용 절감 등 콘텐츠 제작 환경을 개선할 수 있지만, 잘못 사용하면 사회적으로 큰 피해를 끼칠 수 있다는 데 공감한 것.

손 소장은 "페이스에디팅 기술을 영상에 적용할 때, 죽은 사람을 영상으로 쉽게 표현할 수 있다는 잘못된 분위기가 팽배할 수 있다는 고민이 있었다"면서, "관련 기술을 악용하는 사례에 대해서는 제도적으로 제작자뿐만 아니라 시청자도 처벌하는 강력한 법규가 필요하다"고 강조했다.

이어 "기술적으로도 딥페이크 범죄 탐지 기술 연구에 대한 정부의 지원과 관련 플랫폼 서비스 사업자들의 노력도 동반돼야 한다"면서, "연구소에서는 딥페이크 범죄를 빠르게 탐지하고 방지할 수 있는 기술을 연구 중"이라고 덧붙였다.

또 AI윤리원칙 규정의 필요성을 강조했다. 현재 통합된 AI 윤리규정이 없기에 AI기술을 개발·적용할 때, 현업 담당자들의 자발적 윤리의식에 기댈 수 밖에 없는 현실이다. 최근에 논란이 된 '이루다 사태'도 가이드라인이 충분치 않았기 때문이라는 설명이다.

그는 "AI 기술이 어떤 역할을 해야하고, 어떤 선을 넘지 않아야 하는지 등을 규정으로 만들어야 한다. 또 프로젝트 등록, 결재 등 모든 업무 프로세스에 규정이 적용돼야 실효성을 높일 수 있다"면서, "내부적으로 AI 윤리 가이드라인을 만들고 있다"고 밝혔다.

◆ CJ올리브네트웍스 AI-코어 연구소는

기초·원천 기술 연구 및 개발, 효과 검증 등 기술 고도화에 매진하고 있다. 페이스에디팅, 스마트팩토리 등 AI, 블록체인 등 신기술을 발굴·개발하고, 관련 산업에 어떻게 적용시킬 지 등을 고민하는 곳이다. AI-DT연구소는 원천기술을 상용화할 수 있도록 솔루션을 구축하고, 마케팅 데이터 분석 등을 주로 담당한다.

박진영 기자의 다른 기사 보기

• '나빌레라' 고난이도 발레 어떻게?…CJ올리브네트웍스, AI기반 얼굴합성 '비결'

• CJ올리브네트웍스, 모바일 인사관리 솔루션 '워크스캔' 출시