[2013 넥스컴]빅데이터 해법, 하둡 기반의 '하이브리드DW'

[박웅서기자] "하둡을 기반으로 기존 성능을 대폭 향상시키는 것이 하이브리드 데이터웨어하우스(DW)입니다."

KT클라우드웨어 빅데이터 개발본부 노희섭 본부장은 9일 서울 논현동 파티오나인에서 아이뉴스24 주최로 열린 '2013 넥스컴 테크 마켓'에서 '하둡 에코시스템(Hadoop ecosystem)을 활용한 하이브리드 DW 구축사례'를 발표하며 DW의 중요성을 강조했다.

KT클라우드웨어는 빅데이터·클라우드 플랫폼 소프트웨어 전문회사로 지난 2007년부터 하둡 관련 사업을 수행해 왔다. 기존 NEXR이 2010년 KT에 인수되면서 사명이 바뀌었고 현재는 국내 최대 KT u클라우드 개발 및 기술을 지원하고 있다.

노 본부장은 "빅데이터의 가치는 내외부에 존재하는 대용량 데이터의 통합할 수 있다는 것"이라며 "특히 개별적으로 관리되던 데이터를 통합함으로써 연계 분석과 문제 해결이 가능, 가치를 가지게 됐다"고 설명했다.

빅데이터는 적용 목적에 따라 비즈니스 인텔리전스(BI)와 오퍼레이션 인텔리전스(OI)로 나눌 수 있다.

'BI'는 다양한 데이터로부터 사업적 관점으로 새로운 가치를 추출하는데 사용되며 대용량 데이터를 기반으로 심도 깊은 패턴, 행위를 분석한다. 데이터베이스 인프라 성능 개선과 통합 데이터 처리, 비즈니스 프로세스 통찰 등을 통해 비즈니스 통찰에 필요한 결과들도 수집된다.

반면 'OI'는 공정, 보안, 장애, 성능 관리 및 모니터링의 목적으로 적용되는 빅데이터로 비정상 처리나 수직업 로그분석, 생산라인 불량제어, 성능, 장애, 보안 등을 포함하고 있다.

◆ LTE 데이터 트래픽 증가로 통신사도 빅데이터에 주목

이동통신 사업자들이 빅데이터에 주목하는 이유는 ▲ 적재 데이터의 폭발적인 증가 ▲ 비용절감 ▲ 보다 정밀해지는 분석처리 ▲ 처리결과의 적시성 확보 때문이다.

실제로 LTE 등 초고속 무선 데이터 통신의 트래픽이 대량으로 예상보다 빠른 속도로 증가하고 있다. 컨텐츠, 플랫폼, 바이오, 금융 등 비통신 영역의 대용량 데이터 처리 수요도 증가하고 있다.

통신사들은 주력 매출이 정체된 상황에서 비싼 장비와 소프트웨어(SW)에 계속 투자해서는 이득이 없다는 것을 알고 있다. 대신 내재화를 통한 자체 역량을 확보하고 구축, 확대, 유지보수 비용 절감이 필요한 상황이다.

데이터 분석처리도 보다 정밀해지고 있다. 분석에 필요한 데이터의 크기와 종류가 증가하고 있으며 교체분석 수요와 관계요건의 복잡성도 커졌다.

처리된 결과의 적시성 확보도 필수 요건이다. 데이터 크기와 복잡성이 증가해도 처리 결과는 항상 일정한 시간에 제공되어야 한다는 이유에서다.

◆ 하둡으로 경제성, 동일한 처리결과, 확장성 등 확보할 수 있어야

데이터 웨어하우스(DW)에 대한 하드웨어 및 소프트웨어 비용이 비싸 하둡에 대한 관심이 높아지고 있다는 것이 노 본부장의 설명이다. 그러나 실제로 하둡을 적용하기 위해서는 여러 가지 검토해야 할 부분들이 많다.

그는 상용DW 대체의 전제조건으로 크게 4가지를 꼽았다.

첫째는 경제성 확보다. 데이터와 성능 증가목표에 대응해 단계별 적기 투자가 가능한 비용 합리성을 확보해야 한다.

또, 기존의 SQL을 최대한 활용해 적용할 수 있는 호환성과 기존 업무처리 결과와 동일한 처리결과도 확보해야 한다.

이와 더불어 지속적으로 증가하는 데이터 수용이 가능한 적재 확장성, 장비 추가에 따른 처리성능의 선형적 확장성 등 확장성 확보와 원하는 조건의 데이터를 리얼타임 이내에 확인 가능한 성능을 보장해야 한다.

이밖에 새로운 데이터, 분석 기법에 대한 수용력도 갖춰야 한다. 이는 기존 시스템의 통합으로 데이터 포맷 등 추가적용이 가능한 비정형 데이터와 새로운 분석기법 및 알고리즘의 추가 적용이 용이한 분석기능 수용력을 말한다.

하둡(Hadoop)은 대용량의 데이터 처리를 위해 개발된 오픈소스 소프트웨어를 말한다.

노 본부장은 특히 하둡 에코시스템이 "구글의 공개 기술을 모방, 오픈소스에 기반한 집단지성의 결정체"라고 강조했다.

그는 특히 "구글은 방대한 데이터의 수집, 적재, 처리를 보다 저렴한 비용으로 현실화했다"며 "특히 범용부품 기반의 맞춤, 조립식 저비용 하드웨어를 기반으로 모든 문제를 소프트웨어로 해결했다"고 설명했다.

◆ 하둡 기반으로 비용·성능·기능 대폭 향상

하이브리드 DW는 현재 기업들이 사용하는 형태에서 기존에는 사용되지 않았던 것들을 NoSQL을 기반으로 하둡에 적용해 새로운 분석모델을 적용하는 방식이 있다. 기존 DW가 비용적, 성능적, 기능적인 측면에서 확장 한계성을 가졌다면, 이를 하둡을 기반으로 삼아 상호보완적으로 성능을 대폭 향상시키자는 것.

노 본부장은 이날 KT가 가입자 분석 시스템을 구축한 실제 사례도 소개했다. 실제로 KT에는 담당부서로 BIT 경영인프라혁신담당 BI/DW 구축팀이 꾸려져 있다. 이들은 콜 데이터 급증을 수용, 처리할 수 있는 비용효율적인 가입자 분석 시스템 구축을 목표로 한다.

노 본부장은 "CDR 데이터의 증가 속도가 예측이 어려울 정도로 빨라지면서 기존 RDBMS 기반의 인프라 확장으로는 수용과 처리가 불가능해졌다"며 "빅데이터 플랫폼으로 성능 개선과 함께 RDBMS 기반 아키텍처 대비 5년 TCO 기준 88% 수준인 약 567억원의 비용을 절감했다"고 말했다.

노 본부장은 "하이브리드 DW를 기반으로 하면 기존과 다르게 분석에 대한 확장성을 시도할 수 있다"며 "대용량 데이터 분석, 리포팅과 대용량 통계 모델링으로 새로운 문제들을 찾아내는 작업들을 실행하게 된다"고 강조했다.

그는 이어 "그동안 사용되지 않았던 데이터들은 기존 레거시에 쌓여 있는 경우가 많다"며 "레거시와 연동할 수 있는 기술로 이를 끌어와 사용할 수 있어야 한다"고 덧붙였다.

한편 KT클라우드웨어는 빅데이터 경험이 풍부한 100명 이상의 전문 엔지니어를 보유하고 있다. 또 국내 다양한 산업에서 엔터프라이즈 빅데이터 프로젝트를 구축한 경험이 있으며 전문가 경험을 기반으로 한 차세대 빅데이터 통합 플랫폼(NDAP) 및 빅데이터 고급 분석 솔루션(RHive) 등을 보유하고 있다.

박웅서 기자의 다른 기사 보기

• '5대 트렌드'가 기업 성공 좌우한다

• DB 디스커버 "빅데이터는 작게 시작해야"