SK텔레콤은 글로벌 AI 시장을 이끌기 위해 AI 스타트업 액셀러레이터(AI Startup Accelerator) 프로그램과 ESG분야 스타트업 프로그램(ESG Korea) 등을 진행하며, AI 스타트업을 지원 · 협력하는 활동을 이어가고 있다. 앞으로 뉴스룸에서는 AI동행 시리즈를 통해 SKT와 협력하며 AI로 함께 성장해 가는 혁신적인 AI 스타트업과 기술을 소개할 예정이다. AI동행, 첫 번째 순서로는 AI기반 더빙 솔루션을 제공하는 기업 허드슨에이아이(Hudson AI)를 소개한다.
* 본 글은 다른 회사의 의견을 포함하고 있으며, SK텔레콤의 공식 입장과 다를 수 있습니다.

목소리와 입모양까지 초월 더빙, 허드슨에이아이

허드슨에이아이는 AI 기반의 더빙 솔루션을 제공하는 스타트업으로, 한국 콘텐츠의 성공적인 글로벌 진출을 위해 국내 미디어 기업들과 활발하게 협업을 진행하고 있다. 허드슨에이아이의 더빙 솔루션은 AI가 화자의 목소리와 말투 그대로 목소리 연기할 수 있는 ‘AI 보이스’와 화자가 직접 외국어로 말하는 것처럼 보이게 하는 ‘AI 립싱크’를 제공한다.

SKT와 허드슨에이아이의 인연은 2022년부터 시작됐다. 허드슨에이아이가 창업한지 2개월이 되던 시점에 SKT가 운영하는 스타트업 협업 프로그램에 선정된 것이다. 허드슨에이아이는 프로그램을 통해 SKT의 ICT패밀리들과 협업을 논의했고, SK브로드밴드 Btv에 국내 최초로 AI Voice Conversion 기술이 적용된 장편 영화 더빙을 서비스했다. 영화는 ‘정직한 후보2’, ‘카봇: 수상한 마술단의 비밀’, ‘폴600미터’로, 현재 B tv에서 감상할 수 있다. 자연스러운 더빙이 돋보이는 이 영화들은 허드슨에이아이의 음성 멀티모달 AI 기술과 영상 멀티모달 AI 기술이 활용됐다. 음성 멀티모달 AI 기술로는 더빙 음성 제작으로 화자의 목소리에 감정과 개성을 담는 ‘Acting TTS(Text-to-Speech)’ 기술과 언어와 음성을 원하는 목소리로 변경하는 ‘Acting Voice Conversion’ 기술이 사용된다. 음성 제작이 끝나면 영상 내 입모양을 합성하는 단계를 거친다. 여기에는 영상 멀티모달 AI 기술인 AI 립싱크가 활용된다. 영상 내 화자의 표정과 음성에 맞춘 입모양을 합성하는 작업이다. 이 세 가지 기술로 기존 수십 명의 성우가 필요했던 더빙을 AI보이스가 대신하는 것이다.

MWC24 4YFN 내 허드슨에이아이 전시 부스

MWC24 4YFN 내 허드슨에이아이 전시 부스

허드슨에이아이는 올해 2월에 열린 MWC24의 4YFN(4 Years from Now)에서 SKT와의 AI 협업 사례와 혁신 아이디어를 선보였다. 허드슨에이아이의 기술은 더빙 수요가 특히 높은 유럽 지역 관람객에게 큰 관심을 받았으며, 글로벌 진출의 발판을 다질 수 있었다.

허드슨에이아이 신현진 대표, “SKT 통해 ICT패밀리와 협업, 레퍼런스 얻어…”

Q. 지금의 AI 기반 더빙 솔루션은 어떻게 탄생하게 되었나요?
처음에는 교육 콘텐츠처럼 정적인 콘텐츠들을 더빙하는 기술을 개발했습니다. 당시에는 AI 기반으로 목소리를 더빙해 주는 솔루션이 없어, 기술을 빠르게 개발하기 위해 단순한 형태의 콘텐츠를 타깃으로 삼았죠. 그렇게 테스트를 시작했고, 첫 작업물부터 기대 이상의 퀄리티를 냈습니다. 또 마침, 비슷한 시기에 코로나19의 영향으로 글로벌 OTT 시장이 급격히 부상했습니다. 이와 함께, 드라마나 영화 등 자막과 더빙 현지화 시장이 함께 떠올랐죠. 영화, 드라마와 같은 콘텐츠 더빙은 인터뷰 콘텐츠 더빙에 비해 비용과 시간도 수십 배 이상 소요되기도 해서 AI 더빙 솔루션을 적용하면 임팩트가 더 클 것으로 예상했어요.

Q. 허드슨에이아이의 AI 기반 더빙 솔루션이 갖는 강점은 무엇인가요?
더빙 방식은 성우 음성을 기반으로 한 ‘전통적 더빙 방식’과 TTS 기술을 활용한 ‘AI 더빙 방식’으로 나눌 수 있습니다. 전통적 더빙 방식은 자연스러운 연기가 가능하다는 점이 큰 장점이지만 아무래도 수십 명의 원어민 성우가 필요해서 비용과 시간 소요가 많습니다. 언어를 늘리는 데에도 무리가 있고, 감상자가 목소리에 이질감을 느끼기도 합니다. 다른 방식인 TTS 기반의 AI 더빙 방식은 비용과 시간을 절약할 수 있지만, 감정표현이 제한적이고 자연스러움에 한계가 있습니다. 허드슨에이아이의 AI 기반 더빙 솔루션은 이러한 두 가지 방식의 장점을 살리고, 단점을 극복한 사례입니다. AI가 원본 화자의 목소리와 감정을 다양한 언어로 표현할 수 있고, 사람만이 할 수 있는 매우 극적인 표현들을 소수의 성우를 통해 원본 화자의 목소리로 전달할 수 있습니다. 비용과 시간도 기존 더빙 대비 최대 90%까지 절감할 수 있다고 보고 있습니다.

Q. SKT와 협업하면서 특별히 도움이 되었던 점이 있나요?
SKT에서 지원해주는 다양한 프로그램 중 현업과의 협업 기회를 연결해주는 프로그램이 큰 도움이 되었습니다. 프로그램에 지원할 당시에는 허드슨에이아이를 설립한 지 몇 주 안되었던 시점이었고, AI 기반 더빙 솔루션이 영화나 드라마에 적용된 사례가 없었기 때문에 미디어 회사들을 설득하기 쉽지 않았습니다. 프로그램을 통해 SKT의 ICT 패밀리들과의 협업을 논의할 수 있었고, Btv에 국내 최초로 AI Voice Conversion 기술이 적용된 장편 영화 더빙을 서비스할 수 있었습니다. 또한, B2B 스타트업들은 사업 확장을 위해 레퍼런스가 굉장히 중요한데, 이번이 최초의 레퍼런스가 되어 많은 기회를 만들 수 있었습니다.

Q. 앞으로의 계획은 어떻게 되나요?
허드슨에이아이는 다양한 장르와 플랫폼 속 콘텐츠가 더빙될 수 있도록 AI 기술을 고도화하고 있습니다. 올해에는 영화나 드라마와 같은 기존 미디어 뿐만 아니라 뉴미디어 콘텐츠에 적용할 수 있는 프로덕트를 런칭해, 크리에이터들이 글로벌 시청자들에게 개성을 담은 콘텐츠를 전달할 수 있도록 할 예정입니다. 또한, 더빙을 넘어 콘텐츠 제작 영역에도 허드슨에이아이의 기술을 활용해 볼 수 있는 기회를 만들고 싶습니다.

AI동행자의 한마디
SK텔레콤 Startup Biz 팀 박재환 매니저

 

허드슨에이아이의 AI 기반 더빙 솔루션 경쟁력은 영화 ‘정직한 후보2’, ‘카봇: 수상한 마술단의 비밀’ 작업에서 확인할 수 있었습니다. 또한, 올해 SKT와 함께 한 MWC24 4YFN 전시에서 AI 더빙 기술이 관람객의 많은 관심을 받았습니다. 자연스러운 AI 더빙의 수요가 높아짐에 따라, SKT와 AI로 협업하며 함께 성장하길 기대합니다.

SKT는 앞으로도 혁신적인 AI 스타트업을 지속적으로 발굴, 육성하고 협업과 성장 지원을 통해 글로벌 AI 컴퍼니 시대를 준비해 나갈 예정이다.