숭실대학교 경제학과 이유수 교수를 통해 AI 서비스를 움직이는 핵심 인프라인 AI 데이터센터의 4가지 핵심 요소와 사업구조, SKT의 전략 등을 살펴봤다.

우리는 매일 생성형 AI에 질문을 던지고, 몇 초 만에 완성된 글과 이미지를 받아본다. 손안에서 일어나는 놀라운 마법 뒤에는 과연 무엇이 있을까? 화면에서는 질문 하나로 간단하게 작동하는 것처럼 보이지만, 그 뒤에는 거대한 전력과 어마어마한 수의 컴퓨터 장비들이 실시간으로 숨 가쁘게 움직이고 있다. 바로 AI 데이터센터의 이야기이다.

우리가 인스타그램에 사진을 올리거나, OTT 서비스에서 영화를 볼 때, 인터넷 은행을 이용할 때 데이터가 저장되고 처리되는 곳이 바로 데이터센터이다. 그렇다면 최근 뉴스마다 등장하는 AI 데이터센터는 기존 데이터센터와 무엇이 다를까? 전통적인 데이터센터가 거대한 도서관 및 관리실이라면, AI 데이터센터는 초고성능 연구소이자 지능형 제조공장에 비유할 수 있다.

*본 콘텐츠는 외부 전문가 칼럼으로, SK텔레콤의 공식 입장과 다를 수 있습니다.

AI 서비스를 움직이는 기반, AI 데이터센터의 핵심 요소

기존 데이터센터가 범용 데이터를 저장하고 일반적인 연산을 처리했다면, AI 데이터센터는 수천억 개의 데이터를 동시 다발적으로 학습하고, 인간처럼 추론하여 새로운 답을 만들어낸다. 이를 위해서는 대규모 연산을 수행하는 연산 장치와 네트워크, 이를 가동하는 전력, 발생한 열을 처리하는 냉각 시스템, 전체 시설을 안정적으로 관리하는 운영 체계가 하나의 시스템으로 연결돼야 한다.

AI 데이터센터를 구성하는 핵심 요소는 크게 연산 장치, 네트워크, 냉각 및 전력 시스템, 운영 체계 등 네 가지로 나눌 수 있다.

첫째, AI의 뇌에 해당되는 초고성능 연산 장치다. 방대한 양의 수식을 동시에 계산하는 AI 학습과 추론에 기여하는 인프라로, 한 번에 수만 개의 단순 연산을 처리할 수 있는 GPU(그래픽처리장치) 및 NPU(신경망처리장치)와 같은 특수 반도체 세트가 핵심적인 역할을 한다. HBM(고대역폭 메모리)은 GPU와 NPU가 대량의 데이터를 빠르게 주고받는 과정에서 병목현상을 막아준다. AI 데이터센터에서는 이처럼 GPU·NPU와 HBM이 하나의 연산 체계로 결합돼 인간의 뇌에 해당하는 역할을 한다.

둘째, AI의 신경망에 해당되는 연결 네트워크다. 아무리 훌륭한 계산기 수천 개가 있어도 서로 대화하는 속도가 느리다면 아무 소용이 없다. AI 데이터센터 내부의 수만 개 서버는 한 치의 오차도 없이 일체형으로 연결되어야 한다. 이를 위해서는 각각의 서버가 마치 하나의 거대한 컴퓨터처럼 움직이도록 돕는 초고속 광통신 네트워크 인프라가 필수적이다.

셋째, 고성능 냉각 및 전력 시스템으로, AI의 심장과 혈액에 해당된다. AI 데이터센터의 가장 큰 숙제는 바로 효율적인 냉각시스템의 구비와 안정적인 전력 공급이다. AI 데이터센터는 일반 데이터센터보다 많게는 5~10배의 전력이 필요하고, 최첨단 반도체가 24시간 가동되면 서버랙(Rack) 하나에서 엄청난 열이 발생하기에 이를 해소할 효과적인 냉각방식이 요구된다.

넷째, 전체 시설을 안정적으로 관리하는 운영 체계다. 하드웨어 장비들이 아무리 뛰어나도 이들을 효과적으로 분배하고 관리해 주는 프로그램이 없다면 효율이 떨어진다. 수많은 GPU와 서버, 전력·냉각 설비가 동시에 움직이는 만큼 각 장비의 상태와 자원 사용량을 실시간으로 확인하고 관리하는 것이 필수적이다. 수만 개의 GPU에 작업을 효율적으로 나누고, 장애가 발생했을 때 스스로 복구하는 AI 전용 운영체제(OS) 및 관리 소프트웨어가 AI 데이터센터의 안정성을 좌우한다.

GPU만으로는 완성되지 않는다, AI 데이터센터의 승부처

AI 데이터센터를 다룰 때 빠뜨릴 수 없는 두 가지 키워드는 전력과 냉각이다. 대규모 GPU를 안정적으로 가동하기 위해서는 막대한 양의 전력 확보, 그 과정에서 발생하는 폭발적인 발열 관리가 무엇보다 중요하다. AI 성능이 높아질수록 이 두 요소는 AI 데이터센터의 경쟁력을 결정짓는 핵심 과제가 된다.

AI 서버랙 하나당 사용하는 전력량은 일반 서버랙의 5~10배에 달하며, 국제에너지기구(IEA)는 불과 몇 년 안에 전 세계 데이터센터의 전력 소비량이 주요 선진국 한 해 전력 소비량을 뛰어넘을 것으로 전망했다.

이처럼 대규모 전력을 안정적으로 공급하고 효율적으로 관리하기 위해 현재 다양한 방안이 논의되고 있다. 우선 차세대 친환경 및 독립형 전원을 확보하는 방안이 대표적이다. 데이터센터 인근에 소형모듈원자로(SMR)*를 활용한 원자력발전 설비나 태양광·풍력 발전 설비를 구축해 전력을 직접 공급하고, 남는 전력은 대용량 에너지저장장치(ESS)에 저장했다가 필요할 때 사용하는 방식이다. 원전과 태양광·풍력이 전기를 생산하고, ESS는 생산된 전기를 보관하는 대형 배터리 역할을 한다.

*기존 대형 원전보다 출력과 크기를 줄이고, 주요 설비를 모듈화해 공장에서 제작한 뒤 현장에서 조립할 수 있는 소형 원자로.

AI 기반 동적 전력 관리 기술을 활용하는 방법도 있다. 소프트웨어가 연산 부하를 실시간으로 감지해 사용하지 않는 장비의 전력 소비를 자동으로 줄이거나, 전기요금이 저렴한 시간대에 대규모 AI 학습 작업을 집중 배치하는 식이다. 또한 전력 사용량이 급증하는 피크 타임에는 데이터센터의 자체 저장 전력을 사용해 지역 전력망의 부담을 낮추는 지능형 수요관리 시스템도 도입되고 있다.

전력과 함께 냉각 기술의 중요성도 커지고 있다. 기존에는 서버실에 찬 공기를 순환시키는 공랭식이 주로 사용됐지만, GPU의 성능과 전력밀도가 높아지면서 공기만으로 열을 처리하는 데 한계가 나타났다. 공기보다 훨씬 많은 열을 흡수하는 액체가 대안으로 떠오른 이유다.

현재 고성능 AI 서버에는 GPU 칩 위에 냉각판을 밀착시키고, 그 안으로 냉각수를 흘려 열을 직접 식히는 ‘직접 칩 냉각’이 폭넓게 활용되고 있다. 여기서 한 단계 더 나아간 방식이 ‘액침냉각’이다. 서버를 전기가 통하지 않는 특수 액체 수조에 통째로 담가 장비에서 발생하는 열을 직접 흡수하는 방식으로, 직접 칩 냉각보다 냉각 효율을 한층 높일 수 있는 차세대 기술로 주목받고 있다. 효율적인 냉각 기술은 장비의 성능과 안정성을 유지하는 동시에, 열을 식히는 데 드는 전력도 줄이는 데 도움이 된다. 이처럼 전력과 냉각의 효율을 함께 높여 데이터센터 전체의 에너지 사용량을 줄이는 것이 AI 데이터센터 경쟁력의 핵심이다.

코로케이션과 GPUaaS, AI 데이터센터의 사업 구조

AI 데이터센터 사업의 기본 모델은 코로케이션(Co-location)이다. 기업이 자체 보유한 서버와 네트워크 장비를 전문 데이터센터에 입주시키면, 사업자가 안정적인 운영을 위한 공간, 전력, 냉각, 네트워크 환경을 제공하는 방식이다. 코로케이션 사업은 부지 및 전력 확보, 시설 구축, 운영 단계로 진행된다. 부지 선정부터 완공까지 수년이 소요되며, 초기 구축에 투자가 집중된 후 장기 운영을 통해 안정적인 수익을 내는 구조를 갖는다.

코로케이션이 ‘차고와 전기만 빌려주는 부동산 사업’이라면, GPUaaS(GPU-as-a-Service)는 ‘최첨단 슈퍼카를 필요한 시간만큼 빌려주는 렌터카 사업’에 가깝다. GPUaaS는 사업자가 보유한 GPU 연산 자원을 시간이나 사용량 단위로 빌려주는 서비스로, 기업은 고가의 GPU를 직접 구매하지 않고도 필요한 만큼 연산 자원을 이용할 수 있다. 기업은 클라우드 환경에 접속해 AI 모델을 개발하거나 서비스를 운영하고, GPU 인프라의 구축과 유지·관리는 사업자가 맡는다.

최근 GPUaaS 사업자들은 AI 추론 및 피지컬 AI 시대에 요구되는 막대한 양의 토큰*을 효율적으로 처리하기 위해 자체 데이터센터를 짓거나 기존 자산을 사들이며 코로케이션 영역까지 사업범위를 확장하고 있다. 초기에는 빠른 사업 확장을 위해 코로케이션 공간을 빌려 쓰다가, 사업이 안정되면 자체 데이터센터를 직접 확보하는 단계로 나아가는 흐름이다. GPU 확보를 넘어 연산 비용을 낮추고 운영 효율을 높이는 것이 GPUaaS 시장의 주요 관건이 된 것이다.

*AI가 정보를 읽고 처리하는 기본단위

한국을 아시아의 AI 인프라 허브로, SKT가 그리는 ‘AI DC 청사진’

한국데이터센터연합회에 따르면 국내 민간 데이터센터 시장은 2022년 약 3.9조 원에서 2028년 약 10.2조 원으로 커질 전망이다. 현재 신규 구축 중이거나 예정된 데이터센터는 64개소에 이르고, 이 가운데 약 75%가 2026년에서 2028년 사이에 문을 연다. 앞으로 3년이 국내 AI 인프라의 지형을 결정하는 셈이다.

특히 한국은 글로벌 빅테크 기업의 AI 데이터센터 투자처로 주목받고 있다. HBM을 비롯한 AI 핵심 부품 분야에서 높은 경쟁력을 갖추고 있으며, 원자력과 LNG를 기반으로 한 안정적인 전력 공급 여건도 강점으로 꼽힌다. 여기에 반도체 생산시설을 운영하며 축적한 GW급 인프라 구축·운영 경험까지 더해지면서, AI 데이터센터를 추진하기에 유리한 산업 생태계와 기반을 갖추고 있다는 평가다.

SKT는 이러한 시장 변화와 한국의 입지 경쟁력을 바탕으로 최대 15GW 규모의 AI 데이터센터 구축을 추진하고 있다. 울산을 시작으로 영남권과 충청권, 서남권 등으로 주요 권역별 AI 인프라 거점을 확대하고, 2029년부터 5GW 규모를 단계적으로 오픈한 뒤 2035년에 15GW 규모로 순차 확장한다. 이 과정에서 SKT는 ‘AI 인프라 설계자’로서 SK그룹의 반도체·에너지·건설·운영 역량을 결집하고, AI 데이터센터의 설계부터 구축과 운영까지 전체 구조를 총괄한다.

최근 SKT는 AI 데이터센터 사업개발을 전담하는 신설 법인 ‘SK하이퍼’를 출범하고, 2030년까지 7,500억 원을 출자하기로 했다. SK하이퍼는 사업 부지 확보와 변전소·송전·배선로 구축 등 AI 데이터센터에 필요한 공용 인프라를 우선적으로 확보하고, 관련 투자를 통해 대규모 AI 데이터센터 사업의 실행 속도를 높이는 역할을 맡는다. 수도권에 집중된 데이터센터를 전국으로 확대해 지역 균형 발전에 기여하고, 글로벌 AI 인프라 수요를 국내로 끌어들이는 것도 주요 목표다.

AI 서비스가 산업과 일상 전반으로 확산될수록, 필요한 연산 자원을 안정적으로 공급할 수 있는 역량은 기업과 국가의 AI 경쟁력을 좌우하는 기반이 된다.

SKT는 AI 데이터센터를 경부고속도로와 초고속인터넷을 잇는 새로운 국가 인프라로 보고, 국내 AI 산업 생태계를 뒷받침하는 한편 한국이 아시아 AI 인프라 허브로 도약할 수 있는 기반을 구축해 나가고 있다.