(왼쪽에서부터) Media R&D Media AI팀 유성 님, 박노갑 님, Media R&D 임정연 담당

SK텔레콤은 ’22년부터 산업과 사회 전 영역의 AI 대전환을 선도하는 ‘AI 컴퍼니’로의 도약을 선포하고, 우리 일상에 닿아있는 AI 서비스와 기술을 만들어 가고 있다. 이는 ‘방송 미디어/디지털 콘텐츠’ 영역도 예외가 아니다. SKT는 AI 기술을 이용한 미디어 콘텐츠 개발에 주력하며 독자적인 기술을 선보이고 있다.

SKT는 AI 기반 미디어 품질 개선 솔루션인 ‘슈퍼노바(SUPERNOVA)’와 생성형 AI 기술을 이용한 ‘가상 인간(버추얼 휴먼, Virtual Human) 생성 기술’을 중점적으로 개발하고 있다. 두 기술의 개발을 담당하는 Media R&D Media AI팀 유성 님, 박노갑 님과 Media R&D 조직을 이끄는 임정연 담당을 만나 SKT의 ‘미디어 AI’ 기술 적용 현황과 미래 계획을 들어봤다.

응용 가능성이 무한한 ‘생성형 AI 기반 가상 인간 생성 기술’

AI 버추얼 휴먼은 최근 다양한 분야에서 각광을 받고 있으며 응용 가능성이 무한하다. 홈쇼핑과 T커머스에 쇼핑 호스트로 등장하고, 광고 모델, 가수 등 엔터테이너로 활동하며, 뉴스에서 AI 앵커로 등장하기도 한다. SKT는 지난해 3D 디지털 휴먼 개발 기업 온마인드와 AI 버추얼 휴먼 공동 제작을 위한 MOU를 맺고, 온마인드가 만든 버추얼 휴먼 ‘나수아’를 통신사 최초로 광고 모델로 발탁했다. [관련 글 보기]

Q. AI 버추얼 휴먼이 날이 갈수록 정교해지고 있습니다. 어떤 기술이 활용되고 있는지 궁금합니다.

Media R&D Media AI팀 박노갑 님

A. 박노갑 님: AI 버추얼 휴먼 관련 기술은 다양합니다. 저희 Media AI팀은 페이스 스왑(Face Swap)과 같이 2차원 이미지를 변화시켜 다양한 표정을 만드는 ‘미디어 재현(리인액트먼트, Reenactment)’ 기술, 사람의 얼굴을 3D 형태로 표현하는 ‘3DMM(3D Morphable Model)’ 기술, 2D 카메라로 다양한 각도에서 촬영한 작은 숫자의 사진을 사용하여 얼굴 및 몸통의 형태를 재건하는 ‘Implicit methods’ 기술, 사람의 감정에 따라 표현하는 기술 그리고 자연스러운 자세 및 움직임을 표현하는 ‘SMPL(Skinned Multi-Person Linear model)’ 등 최신 기술을 파악하고 모델을 개발 및 내재화하고 있습니다.

Q. AI 버추얼 휴먼 기술 적용 사례를 소개해 주세요.
A. 박노갑 님: 올해 5월에 열린 ‘SK텔레콤 오픈 2023’에서 최경주 공동집행위원장이 AI 휴먼으로 대회 중계 및 현장 곳곳에 등장했는데요. 최경주 선수의 빛바랜 흑백 사진 단 한 장으로 AI 휴먼 기술을 적용해 ‘AI 소년 최경주’를 골프 대회에서 선보인 것이었습니다. 2차원의 흑백 졸업 사진에 입체감과 살아 움직이는 듯한 생동감을 불어넣어 당시 많은 언론들로부터 주목을 받았습니다.

올해 광복절에는 주요 독립투사 사진 15점을 AI 기술을 활용해 컬러로 복원하고 동영상 미디어아트로 구현했습니다. 관람객들은 독립기념관에서 움직이고, 말을 하는 AI 유관순 열사, AI 안중근 의사를 만날 수 있습니다.

Q. 업무를 하면서 기억에 남는 에피소드를 들려주세요.
A. 박노갑 님: ‘AI 소년 최경주’를 개발하는 동안 수차례 밤을 새고, 주말에도 일을 하며 힘들었는데요. 골프 대회 기간에 JTBC로 방송될 영상 촬영에 참여하게 되었습니다. 당시 촬영 내용 중, 최경주 선수가 본인의 어린 시절의 버추얼 휴먼과 대화하며 골프에 대해 진심 어린 조언을 하는 장면이 있었는데 크게 감동하였습니다. 버추얼 휴먼 인터페이스가 사용자에게 감동을 주는데 아주 효과적일 수 있다는 것을 크게 느꼈습니다.

A. 임정연 담당: 기존에 없는 버추얼 휴먼을 창작하는 것과 달리 실존 인물, 역사적 기록물을 기반으로 복원하고 제작할 때는 ‘스토리’를 담아야 하고 자료에 기반한 고증이 필수입니다. 스토리를 알아야 실제 반영을 잘할 수 있습니다. 독립운동가들은 스토리가 있는 분들이죠. 유관순 열사의 흑백 사진을 보면 수의를 입으셨는데 수의 색깔이 무엇인지 모르겠더라고요. 서대문 형무소 박물관에서 설명을 들었는데 수의 색깔이 주황색, 파란색 두 가지라고 하더라고요. 주황색 수의는 형이 집행된 기결수가 입었고, 파란색 수의는 미결수가 입었답니다. 유관순 열사의 수의는 파란색으로 독립기념관으로부터 가이드 받았는데 당시 형이 확정되지 않아 파란색 수의복을 입고 있었다는 것을 알 수 있습니다.

이러한 고증과 스토리 없이 임의로 AI를 적용하면 어떤 색깔이 나올지 알 수가 없고 틀린 정보가 됩니다. 단순히 기록물을 좀 더 선명하게 만드는 것을 넘어 기록물에 남아 있는 의미, 스토리를 맞게 잘 전달할 수 있어야 모두가 공감되는 콘텐츠를 만들 수 있습니다.

Media R&D 임정연 담당

Q. ‘나에게 미디어 AI는 ________이다.’ 한마디로 정의를 내린다면?
A. 박노갑 님: ‘나에게 미디어 AI는 유비쿼터스이다.’
유비쿼터스의 뜻이 ‘언제나 어디서나’ 입니다. Media AI는 시간에 제약 없이 다양한 디바이스를 통해 현실에 가까운 새로운 경험을 제공할 것입니다.

오래된 콘텐츠 고화질 복원 맡겨둬! ‘슈퍼노바(SUPERNOVA)’

슈퍼노바(SUPERNOVA)는 AI 미디어 개선 및 복원 솔루션이다. 저화질 콘텐츠를 고화질로 품질을 개선하고 이를 통한 사용자의 미디어 소비 경험 개선을 목표로, 다양한 AI 기반의 이미지/비디오/오디오 개선 기술을 개발하고 최적화하고 있다. AI 소년 최경주, 유관순 열사 미디어 아트도 흑백의 저화질 사진을 슈퍼노바로 복원한 후 영상화했다.

슈퍼노바로 화질이 개선된 모습

Q. 슈퍼노바는 어디에 활용되고 있나요?

Media R&D Media AI팀 유성 님

A. 유성 님: 슈퍼노바는 미디어 영역에서 AI 콘텐츠 리마스터링(오래된 콘텐츠 복원 작업, remastering)을 중심으로 보안, 스마트 팩토리 사업 등 폭넓게 적용되고 있습니다. 미디어 영역에서는 ’18년 SK브로드밴드, ’19년 MBC에 기술 공급을 진행했고, 올해는 Full HD(FHD)로 제작된 콘텐츠를 4K로 업스케일링 하는 기술을 MBC에 추가 상용화했습니다. 최근에는 국내를 넘어, 중남미 및 유럽 등의 글로벌 대형 콘텐츠 제작사와 협력에 나서고 있습니다.

스마트 팩토리 사업에서는 ’19년에 SK하이닉스 반도체 제조 공정에 슈퍼노바를 적용했습니다. 반도체 포토 공정의 양산 품질 검수에 고속 노이즈 제거 기술을 적용해 검수 공정 소요 시간을 단축했습니다.

Q. 슈퍼노바 기술을 업그레이드하기 위해 어떤 노력을 하고 있나요?
해상도를 늘리면서 디테일을 유지하는 ‘초해상화(Super-Resolution)’ 기술, 콘텐츠 내 잡음을 제거하는 기술, 프레임 간 중간 영상을 합성하여 부드러운 시청 경험을 주는 ‘FRUC(Frame Rate Up-Conversion)’ 기술, 흑백 영상을 컬러로 변환하는 기술 등을 개발하고 있습니다.

미디어 품질 개선 엔진 개발의 핵심은 다양한 상황에 맞는 ‘대용량 학습 DB’와 학습 DB의 변화를 학습할 수 있는 ‘딥러닝 네트워크’입니다. Media AI팀에서는 방송사업자들과 MOU를 맺고 학습 DB를 전달받아 슈퍼노바 엔진의 학습을 위한 대용량 DB를 구축해 오고 있습니다. 그뿐만 아니라 미디어 품질 개선 관련 최신 AI 기술 분석과 검증 단계를 통하여 슈퍼노바 엔진을 개선해 나가고 있습니다.

Q. 업무를 하면서 기억에 남는 에피소드를 들려주세요.
A. 유성 님: 서랍장 속에 넣어 두었던 옛날 사진, 어릴 적 즐겨봤던 드라마와 영화를 슈퍼노바로 복원하고 개선하는 작업을 해왔습니다. 사람들이 결과물을 보면서 옛 추억을 되살리고 만족해하고, 감동하는 모습을 마주하며 큰 보람을 느낍니다. 또한, 역사적 사건을 담은 사진과 영상을 재건하여, 다시금 되새겨 볼 수 있는 역사를 새롭게 대중에게 전달하게 되어 사명감과 책임감도 느끼게 되었습니다.

Q. 슈퍼노바 기술은 앞으로 어떻게 활용될까요? 해당 기술의 강점은 무엇인가요?
A. 유성 님: 슈퍼노바는 기존 저해상도 자료의 효율적 활용, 네트워크 대역폭 및 저장 공간의 절약, 시청자에게 더 높은 수준의 시각적 경험을 제공하는 데 강점이 있습니다. 이 기술은 고비용, 고해상도의 영상 촬영 대신 저비용의 저해상도 자료를 고화질로 변환함으로써 비용 및 자원을 크게 절약해 줍니다. 향후, 애플 비전 프로*와 같은 고해상도 콘텐츠를 요구하는 새로운 형태의 디바이스에서 시각 경험의 극대화를 위한 핵심적인 기술로 자리 잡을 것으로 보입니다. AI 화질 개선 기술은 미래 사진 및 영상 관련 분야에서 더욱 큰 역할을 할 것으로 예상됩니다.
*Apple Vision Pro, 애플에서 출시 예정인 혼합 현실 헤드셋

Q. ‘나에게 미디어 AI는 ________이다.’ 한마디로 정의를 내린다면?
A. 유성 님: ‘나에게 미디어 AI는 타임머신이다.’
최근 AI 기술의 빠른 발전은 우리에게 과거와 미래 사이의 경계를 허문 듯한 체험을 선사합니다. 기억 속에서 잊혀 가던 흑백 사진은 이제 선명하고 생생한 컬러로 재탄생되어, 원치 않는 피사체를 제거하는 동시에 정지된 이미지의 움직임까지 가능해졌습니다. 이러한 변화는 마치 우리를 다른 시대로 안내하는 마법 같습니다. 미디어 AI의 능력은 단순히 콘텐츠의 퀄리티를 향상하는 것에 그치지 않고, 상상력을 자극하는 새로운 콘텐츠를 선사합니다. 그 결과 개인의 미디어 환경을 풍부하게 하여, 일상의 시청각 경험을 혁신적으로 변화시킬 것입니다.

개척자의 자세로… ‘미디어 AI’ 사업 확대 모색 중

Q. Media R&D 조직을 이끄는 리더로서 꿈꾸는 앞으로의 계획이 궁금합니다.

Media R&D 임정연 담당

A. 임정연 담당: SKT Media R&D의 가장 큰 장점은 ‘변환’이라고 생각합니다. 저화질의 콘텐츠를 고화질로 바꾸는 역할을 슈퍼노바가 해왔는데 지금은 이미지로 AI 소년 최경주와 같은 버추얼 휴먼 영상을 만들어 냅니다. 소리를 텍스트로, 텍스트를 영상으로 또 그 반대로 변환합니다. 각각의 모달리티(Modality, 양상)로 자유로운 변화가 가능한 크로스 모달리티(Cross Modality) 기술의 전문성을 높이는 조직으로 만들어 가고있습니다. 이러한 역량이 기존 미디어 사업을 넘어 다른 영역으로 사업을 확대 할 수 있는 기회가 될 것으로 생각합니다.

Q. Media AI 기술로 우리의 미래는 무엇이 달라질까요?
A. 임정연 담당: 앞서 나열한 미디어 생성형 기술들은 ChatGPT로 대변되는 LLM* 기술 등과 엮여 고객에게 편리하고 친절한 인터페이스를 제공할 수 있을 것으로 생각합니다.
* Large language model, 거대 언어 모델

예를 들어, 기록물에서 보면, 현재는 박물관 관람을 할 때, 전시물을 더 잘 이해하려면 전시물 옆에 설명을 읽거나 큐레이터의 해설을 들어야 합니다. 관람객은 설명을 직접 보거나 듣지 않으면 이 기록물이 어떤 의미가 있는지 잘 모릅니다. 여기에 버추얼 휴먼이나 영상 복원 같은 AI 기술을 활용하면 설명이 없어도 기록물의 스토리나 중요한 정보를 콘텐츠 자체에 녹일 수 있고 관람객의 이해도가 훨씬 높아질 수 있습니다.

즉, 인터페이스 측면에서 일일이 묻고 답하지 않아도 직관적으로 판단할 수 있는 정보도 제공할수 있고, LLM과 버추얼 휴먼이 함께 쓰이면 기존에 음성이나 텍스트 위주로 되어 있던 인터페이스보다 좀 더 친절해지고 서비스 이용 측면에서도 편리해지리라 생각합니다.

임정연 담당은 “AI 기술 변화가 매우 큰 시점이다. ‘위기’보다는 ‘새로운 기회’의 관점으로 보고, 전문성을 발휘하는 개척자의 자세로 나아가겠다”고 밝혔다.