[아이뉴스24 서효빈 기자] 인공지능(AI) 확산으로 메모리 수요가 급증하고 공급 부족과 가격 상승이 이어지는 가운데 국내 연구진이 데이터센터 내 여러 서버의 유휴 메모리를 모아 필요한 서버에 제공하는 기술을 개발했다.

개별 서버의 메모리 용량 한계를 극복해 메모리 추가 구매나 고가의 대용량 서버 구축 부담을 줄일 수 있는 기술이다. 대규모 AI 학습과 과학계산에 필요한 메모리 자원의 활용 효율을 높일 것으로 기대된다.
한국전자통신연구원(ETRI)은 자체 개발한 데이터센터 메모리 하이퍼바이저(memvisor)인 'EMP(Elastic Memory Platform)'를 미국 서던캘리포니아대학교(USC) 첨단연구컴퓨팅센터(CARC)의 500노드 규모 고성능컴퓨팅(HPC) 클러스터에 적용하고 지난 9월부터 시범서비스를 운영하고 있다고 19일 밝혔다.
이번 기술의 핵심은 서버마다 고정돼 있던 메모리를 데이터센터 전체가 공유하는 자원으로 활용하는 것이다. 메모리가 부족한 서버가 다른 서버의 유휴 메모리를 활용해 물리적 용량을 초과하는 대규모 연산 작업도 수행할 수 있다.
최근 생성형 AI 서비스가 확산되면서 학습과 추론에 필요한 서버 메모리 수요가 빠르게 늘고 있다. 메모리 공급 부족과 가격 상승으로 데이터센터를 운영하는 기업과 연구기관의 메모리 확보·증설 부담도 커지고 있다.
AI 학습뿐 아니라 유전체 분석과 단백질 분석, 기상 예측 등 대규모 과학계산에도 수백 기가바이트(GB)에서 수 테라바이트(TB)에 이르는 메모리가 필요하다.
개별 서버에 장착된 메모리가 부족하면 작업을 실행하기 어렵고 대용량 메모리 시스템을 별도로 구축하는 데 상당한 비용이 든다. 반면 데이터센터 전체로 보면 사용하지 않는 메모리 자원이 상당 부분 존재한다.
ETRI가 개발한 EMP는 여러 서버에 분산된 메모리를 초고속 네트워크로 연결해 필요한 서버에 확장 메모리로 제공하는 시스템 소프트웨어(SW)다.
이를 통해 개별 서버의 메모리 용량에 따른 제약을 줄이고 데이터센터 전체의 메모리 자원을 효율적으로 활용할 수 있다.
실제 성능 검증에서는 약 1.8TB의 메모리가 필요한 유전체 분석 작업을 448GB의 로컬 메모리를 갖춘 서버에서 실행하는 데 성공했다.
서버 자체 메모리는 전체 필요 용량의 약 25%에 불과했지만 인피니밴드(InfiniBand) 초고속 네트워크로 연결된 다른 서버의 메모리를 활용해 부족한 용량을 확보했다.
고가의 대용량 메모리 서버를 별도로 구축하지 않고도 기존 서버와 데이터센터의 유휴 자원을 활용해 대규모 연산을 수행할 수 있음을 입증한 것이다.
EMP는 기존 응용 프로그램의 소스코드를 수정하지 않고도 적용할 수 있다.
ETRI는 HPC 분야의 표준 작업 스케줄러인 슬럼(SLURM)과의 연동을 완료했다. 연구자는 기존과 동일한 방식으로 계산 작업을 제출하면서 필요에 따라 확장된 메모리를 활용할 수 있다.
웹 기반 HPC 사용자 인터페이스인 오픈온디맨드(Open OnDemand)와의 연동도 추진하고 있다.
성능 시험에서는 USC CARC가 요구한 바이오 응용을 대상으로 기존 시스템 대비 단위 메모리당 최대 2.30배 높은 성능을 달성했다.
USC CARC의 HPC 클러스터에서 최대 384TB 규모의 메모리 자원을 EMP로 활용할 수 있는 기반도 마련했다.
ETRI는 USC CARC의 실제 클러스터 환경에 맞춰 EMP를 적용하고 기존 작업 관리 시스템과 연동해 실서비스 체계를 구축했다.
향후 △유전체 어셈블리 △메타유전체 데이터 분석 △단백질 분석 △기상 예측 등 대규모 과학계산 응용을 대상으로 기술의 성능과 활용성을 추가 검증할 계획이다.
이번 USC CARC 적용은 국내 연구진이 개발한 시스템 SW를 미국의 대규모 HPC 운영환경에 적용했다는 점에서 의미가 있다.
연구실 수준의 기술 검증을 넘어 실제 데이터센터에서 다수의 연구자가 사용하는 컴퓨팅 환경을 대상으로 기술의 실용성을 확인할 수 있는 기반을 마련했다.
추가 실증에는 USC의 계산생물학과 지구환경과학, 의과대학(Keck School of Medicine) 연구진 등이 참여할 예정이다.
ETRI 미주연구협력센터(한-미반도체R&D협력센터)는 USC CARC와의 협력 체계 강화와 현지 실증 추진을 지원했다.
ETRI는 이번 미국 대규모 데이터센터 적용 경험을 바탕으로 국내 HPC 센터와 대학·연구기관으로 기술 활용을 확대하고 사업화를 추진할 계획이다.
미주연구협력센터를 거점으로 북미 지역 대학·연구기관과의 공동 실증과 기술 확산에도 나설 방침이다.
AI 학습과 대규모 데이터 처리 수요가 증가하는 AI 데이터센터(AIDC)에서 메모리를 새로 증설하지 않고도 기존 메모리 자원을 효율적으로 활용하는 핵심 시스템 SW로 발전시킬 계획이다.
기존 데이터센터는 서버별 최대 메모리 수요에 맞춰 장비를 구축하면 초기 투자비가 증가하고 사용하지 않는 메모리 자원도 발생할 수 있다.
EMP는 메모리 수급이 어려운 상황에서 유휴 자원을 서버 간에 공유해 기존 인프라의 활용도를 높이고 메모리 추가 구매와 대규모 메모리 시스템 구축 부담을 줄이는 데 기여할 것으로 기대된다.
고광원 ETRI AIDC연구본부장은 "AI 확산으로 메모리 수요가 급증하면서 데이터센터의 메모리 확보와 증설 부담이 커지고 있다"며 "EMP는 기존 서버의 유휴 메모리를 공유해 개별 서버의 메모리 용량 한계를 극복하고 대규모 연산을 수행할 수 있도록 하는 기술"이라고 말했다.
이어 "미국 대규모 데이터센터에서 확보한 실증 경험을 바탕으로 국내 AI 데이터센터의 자원 활용 효율을 높이는 핵심 시스템 소프트웨어로 발전시키겠다"고 했다.
이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)이 지원하는 'SW컴퓨팅산업원천기술개발사업'의 '패브릭 메모리 기반 연산 스토리지 시스템SW 핵심 기술 개발' 과제의 일환으로 수행됐다.
/서효빈 기자(x40805@inews24.com)