빅데이터 시대, '하둡'에 쏠린 눈

[이부연기자] 빅데이터 시장이 뜨면서 '하둡(Hadoop)'에 대한 관심이 고조되고 있다.

하둡은 대용량 데이터 분석 시스템으로, 기존 대용량 데이터 자장에 한계가 있던 데이터웨어하우스(DW)를 극복해 빅데이터를 활용할 수 있도록 한다. 하둡을 다루고 활용할 수 있는 엔지니어와 이를 교육하는 센터들도 속속 생겨나고 있다.

10일 업계에 따르면 하둡 엔지니어에 대한 수요가 늘어나고 있다. 다음커뮤니케이션, 네이버 등 포털사들을 비롯해 삼성, CJ 등 주요 대기업들도 하둡 엔니지어 찾기에 골몰하고 있다.

하지만 이를 전문적으로 다룰 수 있는 이들이 희소한 실정으로 그나마 있는 엔지니어들의 몸값은 부르는게 값이라고 할 정도로 높아졌다. 2000년대 초반 인터넷 부흥기에 자바 엔지니어들을 너도나도 끌어가려던 때와 비슷한 상황이다.

하둡 엔지니어 양성소도 다수 생겨났다. 올해 초부터 한국테라데이타, 맵알테크놀로지코리아 등 빅데이터기업들이 하둡 교육센터를 열고 전문가 양성에 나선 것. 맵알테크놀로지가 지난 2월 아시아 지역에서는 처음으로 파트너사와 협력을 맺고 '맵알 하둡 교육센터' 연 이후, 한국테라데이터도 IT 통합서비스기업 솔루젠과 손을 잡고 하둡 기반 빅데이터 등 관련 기술을 가르치는 교육센터를 설치했다.

하둡 관련 데이터 분석 기술 '타조'를 개발한 그루터의 관계자는 "아직 하둡을 응용해 다룰 수 있는 고급 기술을 가진 엔지니어들이 많이 부족한 실정"이라면서 "엔지니어들이 하둡 활용 능력을 익히기 위해 교육기관들을 찾고 있지만, 교육내용이 피상적이거나 개론중심이 많아 실무에 적용하기 어렵다는 평가가 많다"고 말했다.

국내에서 하둡 확산세가 다른 나라보다 더딘 것은 사실이다. 일단 하둡이 2004년 미국에서 개발된 기술이고, 국내에서는 적용률이 낮은 오픈소스 기반 소프트웨어이기 때문이다. 국내에는 대부분 데이터 저장 및 가공에 오라클이나 어플라이언스를 도입하고 있어 내부에서 직접 데이터를 다루기보다는 업체에 맡기는 비율이 높다. 미국에서는 대부분 기업들이 처음 시스템 설계시 확장성을 고려해 하둡을 활용하고 있다.

한 업체 관계자는 "하둡과 같은 오픈소스는 비용이 줄어들지만 기업 입장에서는 자체적으로 이를 다룰 수 있는 운영능력을 갖춰야 하기 때문에 아예 업체에 맡겨서 기술지원에 대한 책임을 지운다"며 "하지만 앞으로 늘어나는 데이터는 기존 DW로는 감당하기 힘들고, 라이선스 비용이 천문학적으로 높아지기 때문에 필연적으로 오픈소스 기술을 활용하게 될 것"이라고 설명했다.