지난 11월 SKT가 국내 최초로 AI 반도체(NPU, Neural Processing Unit) 시장 진출을 선언했습니다. SKT와 반도체라니, 다시 들어도 새롭죠.

도대체 왜, SKT는 AI 반도체를 개발한 것일까요? 시작은 2017년으로 거슬러 올라갑니다. SKT는 GPU에서 NPU로 넘어가는 반도체 시장의 흐름을 진작에 주목하고 있었죠. ‘특별한 목표’가 있었기 때문인데요. 자세한 이야기를 SKT AI Accelerator Project 정무경 팀장을 만나 들어봤습니다.

반도체 시장은 재편되고 있었다

이야기에 앞서 전체 반도체 시장을 살펴볼 필요가 있습니다. 근 몇 년 사이 이 시장은 큰 변화를 겪었습니다. 핵심은 AI 반도체의 등장이죠.

“AI, 그러니까 뉴럴 네트워크(Neural Network)*는 새로운 기술이 아닙니다. 다만 이를 계산할 하드웨어 성능이 부족했고, 학습 데이터가 부족해서 발전하지 못했습니다. 그러던 2013년, 빅데이터 산업이 활성화하면서 뉴럴 넷도 새로운 국면을 맞았습니다.”

* 인공지능으로 인간의 신경망을 재현하는 기술 또는 알고리즘

정무경 팀장에 따르면 학습 데이터가 증가하면서 AI 기술이 비약적으로 발전했는데요. 이와 함께 싹트기 시작한 게 AI 하드웨어입니다.

“예를 들어 기존 컴퓨터로 1억 개의 데이터를 학습하는 데 1년이 걸린다면, GPU 활용 시 수일 만에 끝낼 수 있습니다. 하지만 여전히 느리지요. 때문에 AI 연산만을 위한 반도체가 필요하게 되었습니다. 니즈가 발생한 것이죠.”

인공지능 학습과 추론에 최적화된 AI 반도체. 그렇게 없던 시장이 새롭게 생겨났는데요. 점유율은 순식간에 치솟아 비메모리 반도체 시장의 10%를 바라보고 있습니다[관련기사].

AI 반도체는 SKT의 미래 사업 중 하나였다

AI 서비스·솔루션이 쏟아져 나오면서 AI 반도체 시장은 더욱 커지고 있습니다. SKT 역시 ADT 캡스의 보안, 11번가·웨이브의 추천 서비스, 누구 등에 AI를 활용했죠. SKT는 AI를 도입하며, AI 반도체 개발 또한 염두에 두고 있었다고 합니다.

“방대한 AI 인프라를 CPU·GPU로 구축하기엔 비용과 에너지 소모 측면에서 무리가 있었습니다. 인프라 구축에 많은 비용을 쓰면 서비스 가격도 올라갈 수밖에 없는데요. 이는 우리가 지향하는 방향이 아니었습니다. SKT는 모든 국민이 보편적으로 사용하는 AI 서비스를 제공해야 하니까요.”

고민을 계속하던 SKT는 ‘AI 인프라를 합리적으로 구축하기 위해 직접 반도체를 만든다’는 결론을 내리고, 2017년부터 AI 반도체 개발에 착수했다고 합니다.

“내로라하는 반도체 기업을 상대할 수 있느냐는 시선도 있었습니다. 그런데 말이죠. 최초로 NPU를 내놓은 기업은 구글입니다. 현재 데이터센터를 갖춘 IT 기업이 NPU 기술을 선도하고 있습니다. 하드웨어보단 알고리즘과 서비스를 이해하고 있는 기업이 더 잘 만든다는 이야기입니다.”

이런 관점에서 본다면 서비스와 데이터 그리고 반도체 기술을 고루 갖춘 SKT는 AI 반도체 개발에 적격인 셈입니다. 아니나 다를까, 올해 SKT는 데이터센터용 AI 반도체 SAPEON X220을 보란 듯이 공개했습니다[관련기사].

글로벌 경쟁력 갖춘 SAPEON X220 내놓다

SKT Insight : SAPEON X220은 어떤 역할을 하는 AI 반도체인가요?

데이터센터에 장착되어 AI 데이터 처리 성능을 높이는 역할을 합니다. CPU나 GPU로도 AI 데이터를 처리할 순 있지만, 한계가 있습니다. AI 연산을 잘하려면 인공신경망에 특화된 병렬 컴퓨팅 연산 능력이 뛰어나야 합니다. 직렬 연산하는 CPU는 적합하지 않습니다. GPU가 그나마 대안이었지만, 정답은 아니었습니다. 그래서 등장한 것이 NPU입니다. CPU의 범용성을 포기하고, GPU의 병렬 컴퓨팅을 극대화한 SAPEON X220은 AI 추론만을 최고의 속도로 해냅니다.

SKT Insight : SAPEON X220을 추론 전용으로 개발한 이유가 있나요?

AI 반도체는 학습·추론용으로 나뉩니다. 학습용은 방대한 데이터를 학습하는 데 씁니다. 추론용은 학습 데이터를 기반으로 AI 서비스를 구현하는 데 사용합니다.

추론용을 먼저 내놓은 이유는 우리의 목표와 더 부합하기 때문입니다. 학습·추론 겸용으로 개발하면 상대적으로 가성비가 떨어지게 마련이죠. 수천만 사용자에게 고품질의 AI 서비스를 제공하는 게 SKT의 목표인데, 이를 구현하기 위해서는 추론용 반도체가 먼저 필요했습니다.

SKT Insight : SAPEON X220의 성능도 궁금합니다.

상용화된 AI 추론용 GPU 중 가장 뛰어난 제품과 비교해도 뒤지지 않습니다. SAPEON X220의 성능이 50% 더 뛰어나죠. 그러면서 전력 효율은 20~30% 정도 낮습니다. 가격도 합리적입니다. 여러모로 경쟁력을 갖췄습니다. 아직은 부족한 점이 있지만, AI 반도체 시장을 개척하기에는 충분한 제품으로 생각합니다.

SAPEON X220으로 AI 서비스 대중화 앞장선다

SKT Insight : 지난 2018년에도 AI 가속기(AIX)를 발표했습니다. 이는 어디에 활용되었나요? SAPEON X220의 활용 계획도 들려주세요.

ADT 캡스와 티뷰(Tview)의 관제 시스템, 누구(NUGU) AI 등에 사용했습니다. 기존 AI 가속기는 SAPEON X220으로 교체할 예정입니다. ADT 캡스와 티뷰의 침입자 감지는 더욱 섬세해질 것이며, 고품질 미디어 서비스도 가능해질 겁니다. SK그룹 내 모든 AI 서비스에 들어갈 수 있도록 영역도 확장할 계획인데요. SK의 AI 서비스는 SAPEON X220으로 더 빠르고 가벼워질 것으로 기대합니다.

외부 상용화도 계획 중입니다. AIaaS(AI as a Service) 형태로 AI 하드웨어와 소프트웨어를 통합 제공하는 솔루션도 준비 중이죠. 국외에서 상용화한다면 국가 경쟁력을 높이는 데도 큰 역할을 할 것으로 봅니다.

SKT Insight : 올해는 AI 반도체 시장에 출사표를 던졌습니다. 앞으로의 계획이 궁금합니다.

이어지는 SAPEON 시리즈도 SK하이닉스와 협력해 개발됩니다. AI 반도체의 경우 연산 영역이 있고, 처리할 데이터를 빠르게 전송하는 메모리 영역이 있습니다. 메모리 영역은 SK하이닉스가 전문가입니다. 앞으로도 SKT는 SK하이닉스와 협업해 후속 모델을 꾸준히 내놓을 예정입니다. 학습용 AI 반도체도 개발 중입니다. 클라우드용 외에 엣지용 AI 반도체 등도 라인업으로 잡혀 있습니다.

SKT Insight : 팀장님이 SAPEON으로 꿈꾸는 미래는 어떤 모습인가요?

‘모든 국민이 매 순간 사용하는 보편적인 AI 서비스’가 우리의 비전입니다. 예를 들어 온 국민이 AI 비서를 갖추고 있는 겁니다. 길 안내를 해주고, 일정을 확인해 주고, 내 기억을 도와주고, 필요한 정보를 제때 알려주는 비서 말입니다. 이를 위해선 AI 알고리즘도 발전해야 하지만, AI 인프라도 효율적으로 구축되어야 합니다. 그래야 합리적이고 대중적인 AI 서비스를 제공할 수 있죠. 우리는 SAPEON으로 이런 미래를 만들고 싶습니다.

정무경 팀장은 앞으로 NPU가 CPU처럼 모든 컴퓨터에 장착될 거라고 확신했습니다. 저렴한 AI 반도체가 폭넓게 보급된다면 그만큼 AI 서비스도 합리적으로 이용할 수 있겠죠. SAPEON X220이 기대되는 이유는 여기에 있는데요. 2021년과 2022년의 우리는 어떤 AI 서비스를 누리게 될까요? SKT AI 반도체의 행보에 더욱 기대가 모입니다.