※ <콜라보 토크>는 SKT의 기술과 서비스를 도입하고, 산업 현장에 적용한 파트너사와의 인터뷰를 통해 비즈니스 비하인드를 들어보는 기획 시리즈입니다. 국내외 우수 기업들과 초협력을 이어오며 Next Big-tech를 만들어가는 SKT를 만나보세요.

‘AI가 예능 프로그램의 자막, 말풍선, 배경 음악을 지운다?’
SK텔레콤이 K콘텐츠 해외 진출을 위한 조력자로 나선다. SKT는 디지털 콘텐츠·플랫폼 유통 기업 뉴 아이디(NEW ID)와 협업해 K콘텐츠 수출을 위한 ‘AI기반 포스트 프로덕션(AI Post Production, 이하 AIPP)’ 기술 개발을 끝내고 상용화에 나섰다.

수작업으로 진행하거나, 작업 자체가 불가능했던 자막 제거, 저작권이 해결되지 않은 음악 제거 등 후처리 작업을 AI가 자동으로 하게 된다. 클린본* 이 없는 경우에도 특정 이미지나 사운드만 선택적으로 지우는 것도 가능하다. 최근 K콘텐츠가 글로벌 인기를 얻고 있는 만큼 앞으로 국내 미디어 산업이 확장하는데 큰 역할을 할 것으로 기대된다. 이 프로젝트를 성사시킨 두 담당자가 콜라보 비하인드 스토리를 공개한다.
*영상에서 자막을 없앤 비자막 방송본

K콘텐츠 위상 강화됐지만 언어 · 음원 등 글로벌 서비스엔 제약 많아… “AIPP 기술은 이를 해결할 열쇠”

“해외 영화제와 글로벌 OTT를 통해 K콘텐츠 위상이 높아졌지만, 미디어의 중심인 북미 시장의 60여 개 대표 OTT 중 한국 콘텐츠를 서비스하는 플랫폼은 10%에 불과합니다. 한글 자막, CG, BGM은 한국어를 쓰는 우리에게는 시청의 재미와 감동을 더하지만 해외에 수출하는데 큰 걸림돌이 됩니다. 해외 플랫폼의 까다로운 서비스 규격을 맞추려면 한글 자막, 현장 소음, 음악, 시청 등급 등이 깔끔하게 제거된 ‘클린본’이 필요합니다. 하지만 사람이 수작업으로 이를 모두 처리하는 것은 사실상 불가능하고, 완성도도 떨어집니다. 애초에 글로벌 진출을 염두에 두고 제작한 영상이 아니라면 거의 기회 자체가 없다고 봐야죠.”

해외 글로벌 플랫폼에 한국 콘텐츠를 유통하는 뉴 아이디의 박준경 대표는 전 세계에서 한국처럼 고퀄리티 콘텐츠를 만드는 나라가 많지 않은데 글로벌 진출 자체에 허들이 있는 현 상황이 아쉬웠다. 이를 타개하기 위한 방법을 모색하던 중 SKT의 AI 기반 미디어 요소 기술을 알게 되었고, 두 회사의 협업이 시작되었다.

AIPP를 활용해 콘텐츠 내 자막을 제거하고 있는 모습

‘포스트 프로덕션’은 흔히 후반 작업이라 불린다. 영상 편집, 색보정, 특수효과, 음악·음향 추가, 자막 등 영상 촬영이 끝나고, 시청자에게 가기 전까지의 모든 과정을 의미한다. 이 중 SKT와 뉴 아이디가 협력하는 AIPP 사업은 한국 콘텐츠를 해외에 수출하기 위해 반드시 필요한 작업인 자막 제거, 음원 제거, 화질 개선작업을 AI가 자동으로 처리해 주는 기술이다. SKT와 뉴 아이디는 2020년 5월 파트너십을 맺었다. SKT가 3가지 AI 원천 기술을 제공하고, 뉴 아이디가 콘텐츠 입력, 결과 도출, 완료 단계의 자동화 플랫폼을 만들어 올해 4월 상용화를 완료했다. 현재 뉴 아이디가 직접 공급하는 글로벌 플랫폼에 해당 기술이 적용된 콘텐츠가 서비스되고 있으며, 콘텐츠 케이스 별로 적용하는 방식을 달리하거나 최적화하는데 주력하고 있다.

SKT 미디어서비스혁신팀 이종찬 님은 “뉴 아이디와의 콜라보는 SKT의 AI 미디어 요소 기술이 상용화 플랫폼으로 선보인 첫 사례”라며, “대부분 수작업으로 이뤄져 고비용과 많은 시간이 필요해 콘텐츠 수출의 큰 장애 요인이었던 포스트 프로덕션을 AI 기술로 해결하게 됐다. 국내 미디어 콘텐츠 수출의 새로운 문을 열었다는 점에서 앞으로 무한한 가능성이 기대된다”고 말했다.

콜라보 토크 – “수작업으로 9,000 시간이 걸리는 자막 제거, AI는 5시간이면 가능”

Q. AIPP를 활용하면 얼마나 시간이 단축되나요? 기존 수작업과 비교했을 때 어느 정도의 기술 혁신이 있나요?
A. SKT 이종찬 님: 영상은 1초에 30 프레임(Frame)이 생성됩니다. 사람이 5분에 1 프레임씩 지우는 작업을 한다고 가정해 볼게요. 예능의 경우 1시간 영상 내에 지속적으로 자막을 삽입합니다. 사람이 지울 경우 ‘60초*60분*30Frame*5분(1Frame 당 작업시간)=9,000 시간’이 소요된다는 계산이 나옵니다. 수출하는 단가보다 포스트 프로덕션 비용이 적어야 하는데 경제성이 떨어지니 포기하는 경우가 많습니다. 하지만 AI는 5시간 정도면 다 해결합니다.

음원 제거는 특정 주파수를 제거하는 기술로, BGM은 제거하고 목소리는 유지하는데 이러한 음원 제거는 사람이 하는 것이 거의 불가능합니다. 화질은 SD 영상을 풀HD로 업스케일링할 수 있습니다. 60분 영상 기준, 3시간 이내로 가능합니다. 단순한 작업을 AI가 자동으로 처리하기 때문에 시간과 비용을 획기적으로 줄일 수 있고, 사람은 좀 더 창의적인 업무에 집중할 수 있게 됩니다.

A. 뉴 아이디 박준경 대표: 영화나 드라마에 가상 세계를 구현하는 CG, VFX(visual effects, 시각효과) 기술 등 영상 제작에서 새롭게 창조하는 영역은 굉장히 발전했는데요. 의외로 기존 콘텐츠를 해외 각종 플랫폼에 맞게 가공하거나, 후반 작업에 자동화 기술을 도입하는 등의 시도는 지금까지 별로 없었습니다. 해외에서 꼭 최신작만 박수를 받는 것은 아닙니다. 국내 제작 콘텐츠에 대한 글로벌 플레이어들의 관심이 높아지면서 기존에 이미 만들어졌고 검증된 콘텐츠들이 갈 수 있는 길이 열렸습니다. 비용 때문에 불가능했던 후반 작업을 AIPP로 쉽게 할 수 있게 되었고, 글로벌 콘텐츠화 하는 게 가능해진 거죠.

Q. 대기업과 스타트업, 빅테크 기업과 미디어 회사의 만남입니다. 두 회사의 콜라보 자체가 이례적으로 느껴집니다. 콜라보의 의미를 설명해 주신다면?
A. SKT 이종찬 님: 박 대표님과 방송 업계 사람들을 만나고 인터뷰를 하면서 기술이 알려지지 않아서 그렇지 ‘시장은 있다’는 확신이 들었습니다. SK텔레콤에게는 뉴 아이디와의 콜라보 자체가 이례적인 케이스였습니다. 협업을 진행할 당시 뉴 아이디는 설립된 지 1년이 안 된 스타트업이었죠. 또 플랫폼을 SKT가 쓰는 게 아니라 외부 회사가 쓰는 거잖아요. 외부에서 쓰는 데 돈을 투자하는 일이 쉽지 않죠. 미디어 회사로서 뉴 아이디는 좋은 파트너이기 때문에 장기적인 관점으로 보고 가자고 내부 설득을 했습니다. 뉴 아이디는 엔드(end) 고객단인 글로벌 플랫폼을 상대합니다. 뉴 아이디가 기술을 직접 쓰고, 요구 사항들을 반영하면 기술이 더 정교해집니다. 진정한 상용화라는 것은 고객이 써보고 만족해야 하니까요.

A. 뉴 아이디 박준경 대표: 대기업과 스타트업이 협업하는 방식으로 SKT와 뉴 아이디 관계는 아주 신선했습니다. 업계에서도 신기한 시선으로 바라봤어요. 미디어 업계는 ‘협업’보다는 ‘경쟁’이 익숙한 산업입니다. 하지만 글로벌 시장을 공략하는 데 있어서 경쟁 대상과 손잡을 대상을 철저하게 구분하는 게 필요합니다. SKT의 기술을 접했을 때 ‘활용 범위가 굉장히 넓고 상용화하면 고객 유치를 할 수 있겠다’ 생각이 들었습니다.

Q. 글로벌 플랫폼의 AIPP 기술이 적용된 콘텐츠에 대한 만족도는 어떠한가?
A. 뉴 아이디 박준경 대표: 뉴 아이디는 아마존, 디스커버리 채널, 로쿠, 플로토TV, 투비 등 20여 개 이상의 글로벌 플랫폼에 콘텐츠 및 방송 채널을 직접 공급·운영하고 있습니다. 글로벌 플랫폼이 요구하는 기준이 점차 까다로워지고 있어요. 미디어 업계는 ‘로컬라이제이션(Localization)’이 화두입니다. 해외에 K콘텐츠가 인정을 받았지만 로컬화를 얼마나 할 수 있느냐가 관건입니다. 그동안 그들의 QC(Quality Control, 품질관리) 기준을 통과하지 못해 서비스를 못했는데 이 마지막 관문을 SKT와 함께 만든 AIPP로 푼 거죠.

최근에 굉장히 까다로운 글로벌 플랫폼의 QC 기준을 통과했는데요. ‘도대체 이 CG 회사가 어디냐’며 관심을 가질 정도로 완성도가 높았습니다.

SKT와 뉴 아이디의 콜라보는 이제 시작, 넥스트 목표는 ‘AI 더빙, 번역’

음원 제거, 자막 제거, 화질 개선은 AIPP 기술 중 일부다. AI 미디어 요소 기술은 이외에도 번역, 더빙 등 고난도 영역이 남아있다. SKT는 뉴 아이디와의 성공적인 AIPP 상용화를 발판 삼아 넥스트 플랜을 준비 중에 있다.

SKT 이종찬 님은 K콘텐츠의 글로벌 흥행 뒤에는 자막과 더빙 특히, 더빙의 힘이 컸다고 말한다. 북미와 유럽 사람들은 자막에 익숙하지 않다. 현지화가 더빙까지 되면 최종 단계까지 가는 셈이다.

“글로벌 플랫폼은 수준 높은 번역가들을 동원해 몇 십 개국 언어로 자막을 변환하고, 각국의 성우들이 실제 배우처럼 연기를 해서 더빙을 합니다. 몇 십조 되는 시장인데 이 중 더빙이 차지하는 게 70%입니다. 사람과 100% 똑같을 수는 없겠지만 AI 더빙 연기가 가능해질 수 있습니다. 이미 내레이션이나 날씨 안내 등은 AI가 거의 똑같이 합니다. 이러한 서비스를 하는 회사들이 생겨나고 있습니다.”

뉴 아이디 박준경 대표는 SKT와 기술 협업을 하면서 단발성으로 끝나는 게 아니라 꼬리에 꼬리를 무는 것처럼 AI 미디어 기술 개발 아이디어가 나오고 있는 중이라고 밝혔다.

“미디어 기술은 실제로 적용하면서 완성이 되고, 그 경험치를 가진 팀이 다음 단계의 개발 방향과 기술 확장으로 계속 연결할 수 있는 것 같습니다. 두 회사의 첫 협업을 통해 이제 막 환경이 생겨난 것 같아요. 번역이나 더빙을 AI로 한다는 이야기가 10년 전부터 나왔지만 3~5명씩 오디오가 겹칠 때 번역을 하는 것, 대화나 문맥에 맞게 AI가 번역을 하는 것은 정말 어려운 일입니다. 기술이 발전해도 문화적인 차이를 반영하거나 미묘한 뉘앙스를 살리는 등 최종 감수는 사람의 몫이겠지만 스크립트 같은 초벌 작업이나 후반 작업 등 기계가 콘텐츠 수출을 도울 수 있는 영역이 아주 많습니다.”

두 사람은 K콘텐츠가 해외 사람들의 일상 속 콘텐츠로 스며드길 바랐다. 앞으로도 K콘텐츠의 글로벌화와 확장을 위해 두 회사가 꾸준히 협력할 예정이다.