최근 AI의 급격한 발전과 함께 AI 데이터센터가 주목받고 있다. 마이크로소프트와 블랙록이 중심이 되어 AI 데이터센터 및 관련 에너지 인프라 투자를 위해 30조에서 최대 100조를 준비*하겠다고 했으며, 테슬라의 일론 머스크도 GPU 10만 개로 이루어진 AI 데이터센터 콜로서스를 구축했다**고 밝혔다. 다른 글로벌 빅테크 기업들도 AI 데이터센터 구축을 위한 대규모 투자를 아끼지 않고 있다. 왜 AI 데이터센터가 이렇게 중요한 것일까? 빠른 데이터처리와 고도의 연산 능력을 제공해 다양한 산업 분야에 혁신을 가져다 줄 AI 데이터센터에 대해 알아봤다.

* 출처, 기사 링크 (https://www.cnbc.com/2024/09/17/microsoft-blackrock-form-gaiip-to-invest-in-ai-data-centers-energy.html)
** 출처, 기사 링크 (https://www.newsweek.com/elon-musks-new-ai-data-center-raises-energy-water-concerns-memphis-1937109)

AI 데이터센터와 일반 데이터센터는 무엇이 다를까?

일반적으로 데이터센터는 데이터를 저장하거나 처리하는 서버들이 대규모로 모여 있는 시설을 뜻한다. 그렇다면 AI 데이터센터는 일반 데이터센터와 무엇이 다른 걸까? AI 데이터센터란, 이름 그대로 AI 작업에 최적화된 데이터센터를 의미한다. 기존 데이터센터가 범용적인 연산 작업에 주력했다면, AI 데이터센터는 대량의 데이터를 실시간으로 분석하고 처리할 수 있는 고성능 컴퓨팅 자원을 제공한다.

일반 데이터센터가 범용 연산에 유리한 CPU를 사용하는 것과 달리, AI 데이터센터는 AI 모델을 학습하고 추론하는 데 최적화된 인프라를 구축하기 위해 GPU, TPU(Tensor Processing Unit)와 같은 특화 프로세서를 대규모로 사용하는데, 이것을 일반적인 데이터센터와의 큰 차이점 중 하나로 꼽을 수 있다. 또한 범용적 연산을 수행하는 기존의 데이터센터 대비 전력 소모가 크고 발열이 많이 발생하는 AI 데이터센터의 특성상, 효율적인 전력 관리 시스템과 냉각 시스템이 매우 중요하다. 이밖에 AI 작업에 필요한 소프트웨어 체계를 갖추는 것도 필수적이다.

수직적 확장과 수평적 확장 : 흔히 온라인 게임 또는 티켓 구매 등에서, 갑자기 많은 사람들이 몰리면 “렉이 걸렸다” 혹은 “서버가 다운됐다”는 표현들을 한다. 이처럼 사용량(수요)에 비해 서버의 용량이 부족할 때, 서버가 멈추는 등의 문제가 발생한다. 많은 업체들이 이런 문제를 해결하기 위해 서버의 용량, 즉 저장 공간이나 메모리, CPU 등을 추가로 설치하고 있다. 이처럼 기존 데이터센터를 확장하는 것을 ‘수평적 확장(Horizontal Scaling)’이라 한다.

반면 AI 데이터센터에서는 원활한 AI 모델 학습이나 서비스를 위해 양적 확장 뿐 아니라 GPU와 TPU를 더 고성능 제품으로 업그레이드하는 것도 중요하다. 이를 ‘수직적 확장(Vertical Scaling)’이라고 한다. 단순히 서버의 대수가 늘어나는 것이 아니라 서버 각각의 성능을 업그레이드한다는 개념으로 이해할 수 있으며, ‘고속 메모리 증설’ 역시 이러한 업그레이드에 해당한다. AI 데이터센터에서는 수직적 확장과 수평적 확장이 모두 중요하다고 볼 수 있다.

CXL(Compute Express Link) : AI 모델 학습 중 방대한 데이터를 병렬로 고속 처리하기 위해서는 고성능의 대규모 프로세서(GPU, TPU)도 중요하지만, 처리 중인 데이터가 머무르는 메모리의 용량과 접근 속도도 중요하다. 개별 서버(컴퓨터)처럼 프로세서와 메모리가 세트로 구성되어 있다면, 전체 작업량을 서버마다 잘 분배한다 해도 특정 서버에는 메모리가 부족하거나 메모리가 남아돌 수도 있다.

AI 데이터센터는 메모리를 보다 효과적으로 사용하기 위해, 프로세서들이 메모리를 공유하는 방식이 시도되고 있다. 이를 위해 메모리들과 프로세서들 사이의 고속 연결 방법이 필요하며, CXL이 이러한 고속 상호 연결의 표준이다.

고효율 냉각 시스템 : 고성능 컴퓨터에서는 발열 문제를 해결하기 위해 ‘쿨러’가 중요한 역할을 한다. 고성능 프로세서가 고밀도로 집적되어 있는 시설인 AI 데이터센터에서도 냉각 시스템은 매우 중요하다. AI 연산으로 인해 일반적인 데이터센터에 비해 더 많은 열이 발생하는 AI 데이터센터에는 현재 더욱 효과적인 냉각 방식들이 실험되고 있다. 특히 공기보다 열 전달 효율이 높은 액체를 이용한 ‘수냉식 냉각 방법’이 주목 받고 있으며, 이 가운데 DTC(Direct-to-Chip)와 액침 냉각이 대표적이다.

DTC는 냉각 블록을 GPU 등에 직접 부착하고 냉각수를 순환시키는 방식을 뜻한다. 액침 냉각은 서버 또는 서버랙 자체를 비전도성 액체에 담그는 방법이다. 특히 액침 냉각은 공냉식과 달리 공기가 지나갈 여유 공간이 필요하지 않고, DTC 처럼 냉각 블록을 부착할 필요도 없어 공간 활용의 관점에서도 유리한 부분이 있다.

어떤 기업들이 AI 데이터센터 투자에 나서고 있나?

AI 모델 학습과 추론 작업은 범용 데이터센터로는 처리하기 힘든 방대한 자원과 성능을 요구하며, 이와 더불어 AI 애플리케이션의 수요가 폭발적으로 증가함에 따라 글로벌 빅테크 기업들이 AI 데이터센터에 대한 투자에 앞장서고 있다. 마이크로소프트는 지난 5월 프랑스에 약 6조 원 규모의 AI 데이터센터 투자 계획을 발표한 바 있으며, 구글도 핀란드에 11억 달러, 말레이시아에 20억 달러를 각각 투자한다고 지난 6월 밝혔다. 이밖에 아마존, NVIDIA 등이 직접 AI 데이터센터 구축에 나서는 등 적극적으로 인프라 투자 계획을 수립하고 있다.

AI 데이터센터는 거대언어모델(LLM) 개발 뿐만 아니라, 의료, 금융 등 다양한 산업에서 혁신을 이끌어가고 있다. AI를 통한 대규모 데이터 분석은 신약 개발과 같은 바이오 분야에서 큰 진전을 가능하게 하고 있으며, 금융 분야에서도 실시간 위험 분석 및 최적화된 투자 전략을 지원하고 있다. AI 데이터센터가 제공하는 고성능 컴퓨팅 자원은 이러한 다양한 산업에서 AI 기술의 상용화를 가속하고 있다.

글로벌 시장조사업체 가트너는 AI 수요 폭증의 영향으로 전 세계의 데이터센터 시스템 관련 지출이 전년 대비 올해 24% 증가할 것으로 전망하고 있다. 존 데이비드 러브록(John-David Lovelock) 가트너 수석 VP 애널리스트는 “생성형 AI의 컴퓨팅 파워 요구는 데이터센터 전반에 걸쳐 영향을 미치고 있으며, 데이터센터 시스템의 지출 증가는 이러한 엄청난 수요를 반영하고 있다”고 설명했다.

국내에서도 AI 데이터센터 구축에 대한 관심이 높다. SK그룹은 SK텔레콤과 SK브로드밴드를 통해 오는 2028년까지 5년간 최대 3조 4,000억 원의 투자를 계획하고 있다. 네이버와 카카오 역시 자체 데이터센터 확장 및 신규 구축 계획을 수립하고 있으며, 한화에너지도 미국 텍사스 주에 2조 원 규모의 AI 데이터센터 건립을 계획 중이다.

SKT는 AI 데이터센터 인프라를 구축하기 위해 글로벌 서버 구축 기업 슈퍼마이크로, GPU 클라우드 기업 람다와 협업을 강화하는 한편 미국의 AI 데이터센터 통합 솔루션 기업 SGH(Smart Global Holdings)에 지분을 투자하는 등 글로벌 파트너들과의 협력 관계를 구축하고 있다. 또한 AI 데이터센터의 성능을 극대화하기 위해 액침 냉각 시스템을 도입해 에너지 효율성을 높이고 있다.

또한 SKT는 AI 데이터센터뿐만 아니라 텔코 AI 에지(Edge) 인프라 기술 연구와 개발에도 앞장서고 있다. 이는 AI 데이터센터의 중앙 집중성을 보완하고, 분산된 데이터 처리와 AI 모델의 효율적인 운영을 가능하게 하며, 데이터 보안 강화에도 도움이 될 수 있다. 이러한 기술들은 SKT가 글로벌 AI 데이터센터 시장에서 경쟁력을 강화하는 데 중요한 역할을 할 것으로 기대되고 있다.

AI 데이터센터는 AI 기술 발전의 핵심 인프라로 자리 잡고 있다. 기존 데이터센터와는 다른 고성능 컴퓨팅 자원과 효율적인 에너지 관리 시스템을 통해 AI 모델의 학습과 추론을 지원하며, 다양한 산업에서 혁신을 이끌고 있다. SKT는 앞으로도 AI 데이터센터 기술 개발에 지속적으로 투자하며, 글로벌 AI 데이터센터 시장 공략에 박차를 가한다는 계획이다.