구글클라우드, '빅레이크' 공개…트위터 초당 300만개 데이터 수집

[아이뉴스24 박진영 기자] 구글 클라우드가 빅쿼리 옴니, 빅레이크 등 데이터 기술 혁신을 통해 멀티 클라우드 환경에서도 활용할 수 있도록 데이터 오픈 플랫폼을 지향한다고 강조했다.

구글 클라우드가 27일 '데이터 클라우드 서밋' 미디어 브리핑을 통해 데이터 분석, 비즈니스 인텔리전스(BI), 인공지능(AI) 등 신규 데이터 클라우드 기술의 주요 특징을 발표했다.

이번에 발표한 주요 기술 혁신은 ▲빅레이크 ▲스패너 체인지 스트림 ▲버텍스 AI 워크벤치 ▲루커용 커넥티드 시트 등이다.

특히, 데이터 레이크와 데이터 웨어하우스를 통합한 '빅레이크(BigLake)'를 프리뷰 버전을 선보였다. 서로 다른 데이터 레이크와 웨어하우스에서 데이터를 관리할 경우 사일로(silo)가 발생하기 쉽고, 데이터 이동 시 리스크와 비용도 높다. 이런 상황에서 통합 플랫폼인 '빅레이크'를 활용하면, 기존의 스토리지 형식이나 시스템에 관계없이 데이터를 분석할 수 있다.

일례로 트위터는 빅쿼리는 물론, 빅레이크의 스토리지 기능을 이용해 데이터 제한 없이 트위터 사용자의 플랫폼 사용 현황과 콘텐츠 선호도를 파악하고 있다. 그 결과, 초당 300만 개 이상의 데이터를 집계하고, 매일 수 조 건에 달하는 이벤트와 관련된 콘텐츠를 제공할 수 있게 됐다.

구글 클라우드 관계자는 "빅레이크는 빅쿼리의 우수한 스토리지 기술을 오픈소스와 협업하기 위해, 타사의 데이터웨어하우스에서도 활용할 수 있도록 하는 기술"이라면서, "데이터 통합 플랫폼 측면에서 데이터브릭스의 레이크하우스와 지향점은 비슷하나, 구글의 인프라를 활용할 수 있어 기술적 깊이나 폭, 규모 측면에서 차이가 있다"고 밝혔다.

구글 클라우드 데이터베이스에 새롭게 추가된 기능인 '스패너 체인지 스트림'은 데이터베이스에서 삽입, 업데이트, 삭제 등 변경 사항을 실시간으로 추적할 수 있도록 지원한다. 초당 최대 20억 건 이상의 요청을 처리할 수 있다. 이를 통해 고객이 항상 최신 상태의 데이터에 액세스하고 실시간으로 데이터를 분석할 수 있다.

아울러 신속한 AI 모델 개발과 손쉬운 유지보수를 지원하는 '버텍스 AI 워크벤치'를 정식 출시했다. 버텍스 AI 워크벤치는 데이터 및 머신러닝 시스템을 단일 인터페이스로 제공한다. 이를 통해 빅쿼리, 서버리스 스파크, 데이터프록과 통합이 가능하고, 기존 노트북 환경 대비 5배 빠르게 머신러닝 모델을 개발, 학습, 배포할 수 있다.

구글 클라우드 관계자는 "수많은 데이터가 발생하고 있지만 기업들이 이를 제대로 활용하기 어렵다"면서, "구글은 데이터 분석에서 AI/ML 영역의 기능까지 제공함으로써 기업들이 실시간으로 데이터 기반 의사결정을 할 수 있도록 돕는다"고 밝혔다.

이밖에 데이터 클라우드 파트너사는 물론, 데이터·분석 기술 기업과의 협력도 강화한다. 현재 700개 이상의 소프트웨어 파트너사가 구글의 데이터 클라우드를 이용해 애플리케이션을 구현하고 있다. 또 데이터브릭스, 몽고DB 등 주요 파트너사와 지속적인 협력 관계를 이어오고 있다.