엔비디아가 그록 일부 기술과 인력에만 29조원 쓴 이유

[아이뉴스24 박지은 기자] 엔비디아가 인공지능(AI) 추론 칩 스타트업인 그록 전체가 아니라 그록의 일부 핵심 기술과 인력을 확보하는 데만 이 회사 인수합병(M&A) 역사상 최대 규모인 한화 기준 29조원을 투입해 그 배경이 주목되고 있다.

전문가들은 그록 창업자 조나단 로스와 써니 마드라 사장이 AI와 반도체 시장에 제시한 '추론 중심의 아키텍처 설계 철학'을 그 배경이라고 분석한다. 그것이, AI 반도체 시장을 주도하고 있는 엔비디아와 엔비디아의 핵심 제품인 그래픽처리장치(GPU) 기반 AI 반도체 시장을 전환시킬 수 있는 핵심 변수라고 보는 것이다.

몇몇 기술과 인력이 천문학적 자금을 투입할 만큼 가치 있는 것으로 평가된 셈이다.

엔비디아 역사상 최대 규모 거래

엔비디아와 그록은 지난 24일(현지시간) 이번 거래를 비독점적 기술 라이선스 계약 및 일부 자산 인수 형태라고 발표했다. CNBC 등 외신에 따르면 거래 규모는 약 200억달러(약 29조원)로, 엔비디아 창사 이래 최대 수준이다.

엔비디아는 “그록을 기업 단위로 인수하는 것은 아니다”라며, 핵심 인재 영입과 지식재산권(IP) 라이선스 확보가 목적이라고 밝혔다.

젠슨 황 엔비디아 최고경영자(CEO)는 “그록의 저지연(Low-latency) 프로세서를 엔비디아의 ‘AI 팩토리(AI Factory)’ 아키텍처에 통합해, 실시간 추론과 새로운 워크로드까지 플랫폼을 확장할 것”이라고 설명했다.

그록 역시 독립 법인 지위를 유지한 채 엔비디아와 협력한다는 입장을 내놨다.

이번 거래로 그록 창업자 조나단 로스와 써니 마드라 사장을 포함한 핵심 엔지니어들이 엔비디아에 합류하지만, 그록은 사이먼 에드워즈 신임 CEO 체제에서 독립 운영을 이어간다는 설명이다.

조나단 로스는 구글 재직 시절 TPU 초기 설계를 이끈 핵심 인물로, GPU와 다른 추론 중심 설계 철학을 구현한 설계자로 평가받는다.

GPU 비용 부담 커진 추론 시장…엔비디아 외 ‘대안 봉인’

AI 시장에서 ‘학습’은 이미 엔비디아 GPU 중심 구조가 굳어졌지만, 실제 서비스 비용과 직결되는 ‘추론’ 시장은 이제 본격적인 경쟁 국면에 접어들었다.

문제는 엔비디아의 GPU로 추론까지 소화하려면 높은 가격과 전력 비용이 발생한다는 점이다. 대학에 설치된 소규모 AI 데이터센터의 경우 매월 전기요금만 수천만원에 달하는 사례도 있다.

이 때문에 구글, 아마존, 메타 등 빅테크들은 비용 효율을 이유로 TPU 등 자체 추론 칩을 개발해 왔다. GPU의 구조적 약점이 곧 엔비디아의 잠재적 고객 이탈 리스크로 작용해온 셈이다.

그록은 이런 흐름 속에서 GPU와 다른 방향의 추론 특화 아키텍처를 제시하며 주목받아왔다.

엔비디아는 그록을 기업 단위로 인수하지는 않았지만, 핵심 기술과 인력을 흡수함으로써 ‘GPU 외 선택지’가 될 수 있었던 대안 시장 자체를 내부 자원으로 삼은 셈이다.

연산보다 메모리…추론 병목의 실체

이번 거래는 AI 반도체 경쟁의 초점이 연산 성능에서 메모리 구조와 데이터 이동 방식으로 이동하고 있음을 보여주는 사례로도 해석된다.

대규모 언어모델 추론 과정에서는 계산 속도보다, 연산 직전에 필요한 데이터를 얼마나 낮은 지연 시간으로 안정적으로 공급하느냐가 성능과 비용을 좌우한다.

그록의 아키텍처는 외부 고대역폭메모리(HBM)에 대한 의존도를 낮추고, 칩 내부의 초고속 S램(SRAM)을 연산 스케줄링과 데이터 재사용의 중심으로 활용하는 구조다.

HBM 접근을 배제하는 방식이 아니라, 접근 패턴을 단순화해 지연 시간을 통제하는 데 초점을 맞췄다.

업계에서는 향후 AI 시스템이 HBM 기반 대용량 메모리와, S램 기반 저지연 처리 구간을 역할별로 나눠 설계하는 방향으로 진화할 것으로 보고 있다.

엔비디아가 그록의 설계를 흡수한 것도, GPU 성능 경쟁을 넘어 메모리와 아키텍처 전반을 함께 통제하려는 전략이라는 분석이다.

이 같은 변화는 국내 메모리 업계에도 직접적인 영향을 미칠 전망이다.

삼성전자와 SK하이닉스는 AI 서버용 HBM 공급을 중심으로 글로벌 AI 인프라의 핵심 축을 담당하고 있다.

추론 비중이 커질수록 HBM 수요는 유지되거나 확대될 가능성이 크다.

동시에 연산 직전 구간에서의 지연 시간을 줄이기 위한 S램 활용도 역시 구조적으로 늘어날 것으로 예상된다.

업계에서는 이를 두고 “HBM 중심 전략이 흔들리는 것이 아니라, 메모리 계층이 세분화되는 단계”라는 해석을 내놓고 있다.

“돈이 아니라 시간을 샀다”

반도체 업계에서는 이번 거래를 ‘실행 속도를 산 결정’으로 평가한다.

200억달러는 엔비디아의 연간 순이익 일부에 해당하지만, 이를 통해 차세대 추론 아키텍처 개발에 필요한 연구개발(R&D) 기간을 3~5년가량 단축할 수 있다면 비용 대비 효과는 압도적일 것이란 분석이다.

빈두 레디 에바커스AI 대표는 소셜네트워크서비스 엑스(X)에 “엔비디아가 가장 강력한 추론 기술을 가진 그록을 인수했다”며 “잠재적 경쟁자를 시장에서 제거한 매우 영리한 방어적 조치이고, 엔비디아의 독점적 지위는 더욱 단단해졌다”고 남겼다.

분산형 AI 컴퓨팅 플랫폼 ‘하이퍼볼릭’의 공동 창업자인 유천 진 박사도 “엔비디아가 자신들에게 가장 위협적인 존재를 없앴다”며 “그록의 칩은 추론 속도가 GPU보다 최대 10배 빠르다. HBM 대신 S램을 활용하는 혁신적인 방법을 엔비디아가 흡수한 것은 상징적 사건”이라고 말했다.

그록의 주요 투자자인 알렉스 데이비스 디스럽티브 대표는 CNBC에 “엔비디아가 그록 클라우드 사업을 제외한 핵심 자산을 가져갔다”며 “이번 거래는 매우 빠르게 진행됐다”고 전했다.