[아이뉴스24 윤소진 기자] "그래픽처리장치(GPU)는 그래픽 처리를 위해 설계된 프로세서이지만 텐서처리장치(TPU)는 처음부터 인공지능(AI)을 위해 태어났습니다."
모한 피치카 구글 클라우드 그룹 프로덕트매니저(PM)는 16일 온라인 기자 간담회에서 TPU '트릴리움'의 차별점에 대해 이같이 설명했다. 그는 "오늘날 생성형 AI 유니콘 기업의 90%가 구글 클라우드의 TPU를 선택했다"며 "미드저니, AI21랩스, 앤트로픽 등이 자사의 대규모 언어모델 학습과 서비스에 TPU를 활용하고 있다"고 언급했다.
TPU는 AI 모델이 수행하는 복잡한 수학 연산을 처리하기 위한 전용 칩이다.
TPU가 뭔데?…GPU와 다른 점은
구글이 TPU를 개발하게 된 것은 서비스 현장의 고민에서 시작됐다. 피치카 PM은 "2013년 음성검색 기능을 도입하면서 AI 연산을 위한 특별한 하드웨어가 필요하다는 것을 깨달았다"며 "당시 수석과학자 제프 딘의 계산 결과, 1억 명의 사용자가 하루 3분씩만 음성검색을 사용해도 데이터센터 용량을 2배로 늘려야 했다"고 회상했다.
이후 구글은 10년간 AI 연산에 특화된 TPU 개발에 역량을 집중했다.
피치카 PM은 "GPU는 컴퓨터 그래픽을 처리하기 위해 설계된 칩으로, 병렬 처리 구조 덕분에 AI 워크로드에도 활용되고 있다. 반면, TPU는 신경망 연산을 위해 특별히 설계된 칩"이라며"TPU에는 행렬 곱셈 연산을 위한 특화 기능과 독자적인 인터커넥트 기술이 탑재돼 있어 AI 모델 학습과 추론 가속에 최적화됐다"고 부연했다.
구글에 따르면 최신 TPU인 트릴리움은 이전 세대 대비 추론 처리량이 최대 3배 증가했고, 달러당 학습 성능은 2.5배, 추론 성능은 1.4배 향상됐다. 고밀도 AI 모델뿐 아니라 전문가 혼합(MoE) 아키텍처를 활용한 AI 모델 학습에서도 이전 세대보다 3.8배 빠른 성능을 보인다.
노벨상에 신약개발…카카오도 러브콜
TPU의 강점은 여러 분야에서 입증됐다. 단백질 구조 예측 프로그램으로 노벨상을 받은 알파폴드2도 TPU로 개발됐다. 구글은 자사의 최신 AI 모델인 '제미나이 2.0' 학습에 6세대 TPU 트릴리움을 투입했다.
신약 개발 분야에서도 활용도가 높다. 바이엘은 신약 개발 가속화를 위해 TPU를 도입했고, 딥제노믹스는 차세대 RNA 치료제 개발을 위한 기반 모델 구축에 트릴리움을 활용하고 있다.
국내에서는 카카오가 통합 AI 브랜드 '카나나' 개발에 트릴리움을 도입했다. 카카오는 GPU 기반에서 TPU로 전환하면서 높은 수준의 한국어 대응이 가능한 모델을 빠르게 확보했다. 트릴리움은 256개의 유닛이 하나처럼 매끄럽게 병렬 연산을 처리했으며, 별다른 처리 없이도 기존 v5e에 비해 곧바로 3배가량 더 높은 성능을 보여줬다고 카카오는 평가했다.
AI 모델의 규모가 커지면서 연산에 필요한 전력 소비도 기하급수적으로 증가하고 있다. 구글은 성능 향상과 함께 전력 효율 개선을 통한 친환경 AI인프라 구축에도 주목했다.
피치카 PM은 "2022년 출시된 이전 세대와 비교해 전력 효율이 67% 향상됐다"며 "트릴리움은 지금까지 출시된 TPU 중 가장 지속 가능한 제품"이라고 강조했다.
/윤소진 기자(sojin@inews24.com)
--comment--
첫 번째 댓글을 작성해 보세요.
댓글 바로가기