※ <AI 만·사>는 ‘AI 만드는 사람들’이라는 의미로, SK텔레콤 내 AI 업무를 담당하는 임직원 인터뷰 콘텐츠입니다.

AI 시대, 글로벌 AI 컴퍼니로 거듭나고 있는 SK텔레콤은 자사의 기술, 서비스를 비롯해 다양한 업무에 AI를 적용하고 있다. 지난해 9월 정식 출시돼 통화녹음, 통화요약, 뮤직, 게임, 챗T 등 ‘나만의 AI 개인비서’로 사용자에게 유용한 서비스를 꾸준하게 선보이고 있는 ‘에이닷’은 대표적인 SKT의 AI 서비스다. 이번 <AI 만·사>에서는 뮤직 에이전트, 상품 리뷰 요약 등 에이닷 내 다양한 개인화 AI 검색 추천 서비스를 개발하고 있는 검색서비스팀 백종범 님을 만나본다.

AI 검색 추천 서비스로 사용자 경험을 혁신하는 검색서비스팀의 업무

Q. 백종범 님이 속해있는 검색서비스팀이 하는 일에 관해 설명을 부탁드립니다.
검색서비스팀은 현재 에이닷으로 대표되는 SK텔레콤 인공지능 서비스 내의 검색 추천 서비스를 만드는 업무를 수행하고 있습니다 음악, 영상, 뉴스 등 40여 개의 다양한 도메인에서 API 개발부터, 모델링, 운영에 이르기까지 검색 추천 서비스에 필요한 모든 업무를 수행하고 있으며, 최근 LLM으로 대표되는 AI 관련 기술의 급격한 성장은 검색 추천의 중요성을 더욱 부각시키고 있는데요. 사용자 경험을 혁신하고, 검색 서비스 품질을 지속적으로 향상시키는 것을 팀의 목표로 하고 있습니다.

저는 에이닷의 다양한 서비스 중 뮤직 프로젝트에 참여하고 있습니다. 세부적으로 음악 검색 추천 서비스 개발, 에이전트이용자를 대신하여 스스로 태스크를 수행하도록 하는 소프트웨어 개발, LLM 프롬프트Prompt, LLM에게 자연어로 원하는 작업을 수행하도록 지시어를 내려주는 것 개발 및 파인튜닝LLM이 특정 작업을 더 잘 수행하도록 추가적인 데이터를 LLM에게 학습시키는 기술을 담당하고 있습니다. 그 외에도 커머스 도메인 업무와 팀내 LLM 기술 선행 검증을 수행하고 있습니다.

내 음악 취향을 AI가 알아준다… 음악과 소통하는 새로운 방식, 에이닷 뮤직 에이전트

Q. 에이닷 뮤직 에이전트를 개발했습니다. 어떤 서비스이고 개발 과정은 어땠는지 말씀해주세요.
올해 2월, 에이닷에 추가된 ‘뮤직 에이전트’는 챗GPT 기반의 개인화된 뮤직 스트리밍 서비스를 제공합니다.

에이닷 뮤직 에이전트는 SKT에서 LLM 기반으로 개발한 첫 번째 상용 서비스입니다. 영화 아이언맨에서 주인공이 자비스와 대화를 주고받으며 원하는 수트를 설계하듯이 사용자가 에이전트와의 대화를 통하여 자신이 원하는 스타일의 플레이리스트를 추천 받고 편집할 수 있는 검색 추천 서비스를 목표로 하고 있습니다. “비 오는 날에 어울리는 노래를 들려줘. 아이돌 노래는 제외해줘”와 같이 명령하면 AI가 추천하는 플레이 리스트를 들을 수 있습니다.

이러한 검색 추천 서비스를 구현하기 위해서는 사용자의 의도(검색, 추천, 추가, 삭제 등)와 사용자가 언급한 대상(아티스트, 트랙명, 장르 등)을 이해하는 프롬프트가 필요한 데 이 업무를 제가 담당하고 있습니다. 에이닷은 사용자가 에이전트와 많은 시간과 경험을 쌓을수록 사용자를 더 잘 이해하고 그에 맞춰 맞춤형 서비스를 제공할 수 있도록 진화하고 있습니다. 이러한 개인화 경험의 일관성과 지속적인 혁신을 위해 검색 추천 서비스를 고도화하고 있습니다.

Q. 에이닷 뮤직 에이전트를 개발하면서 기억에 남는 에피소드가 있다면?
뮤직 에이전트 오픈을 위해 QAQuality Assurance. 제품이나 서비스가 일정한 품질 표준을 충족하도록 보장하는 체계적이고 계획된 활동를 진행하던 때가 힘들면서도 보람찬 시간이었습니다. LLM의 창의성에 감탄하며 시작된 프로젝트였지만 상용화 과정에서는 오히려 그 창의성 때문에 일관되게 제어하기 힘든 문제로 마지막 날이 되어서야 QA를 통과했는데 당시 기억이 상당히 인상적이었습니다.

Q. 에이닷에 티딜 리뷰 요약 기능을 추가했다고 들었습니다. 이 기능에 관해 설명해주세요.
해당 프로젝트는 작년에 참여했던 주니어보드SKT의 주니어 구성원들이 모여 새로운 서비스를 발굴하거나 기존 서비스를 조언하는 바레이징 프로그램 조별 과제에서 시작되었습니다. 당시에 프로젝트 멤버들과 함께 인공지능과 LLM을 활용한 서비스를 고민하는 과정에서 티딜(T-deal, SKT의 AI 큐레이션 커머스) 데이터를 이용한 쇼핑 에이전트 서비스를 제안하게 됐습니다. 제안 내용 중, 기획자분들과 함께 상용화가 가능한 기능을 추리고 다듬어서 만들어진 서비스가 바로 티딜 리뷰 요약 서비스입니다.

티딜 리뷰 요약은 LLM을 이용해 상품 리뷰를 요약해 제공하는 서비스로, 다수의 리뷰를 속성별로 요약해 주기 때문에 사용자가 상품평을 일일이 확인하는 수고로움을 덜어줍니다. 또한, 티딜 리뷰 데이터를 활용하기 때문에 사실 기반의 이용자 후기를 제공합니다.

에이닷이 친구 같은 AI 개인비서로 나아가는데 검색서비스팀 역할 중요해

Q. 담당하신 업무의 목표는 무엇인가요?
LLM의 시대이니만큼 성공적인 LLM 기반 서비스를 만들어 보고 싶습니다. 챗GPT, 코파일럿Copilot, 마이크로소프트사의 대화형 인공지능과 같이 SKT가 만든 AI 서비스가 세계적으로 인정받는 서비스가 되었으면 좋겠고, 그 서비스를 개발한 사람 중의 한 명이 되고 싶습니다.

Q. SKT는 현재 글로벌 AI 컴퍼니로서 다양한 AI 서비스를 다루고, AI 업무를 처리하고 있습니다. 그 속에서 검색서비스팀의 역할은 어떤 의의를 가질까요?
SKT가 글로벌 AI 컴퍼니로 성장하는 데 있어 검색서비스팀은 세 가지 영역에서 기여하고 있다고 생각합니다.

첫째, 파인튜닝 기반 LLMOps(대규모 언어 모델 운영) 선순환 구조 수립입니다. 파인튜닝을 통해 모델 성능을 지속적으로 개선하고 이를 통해 더 나은 사용자 경험을 제공하기 위해 기획, 운영과 함께 LLMOps 선순환 구조를 수립하여 운영 중입니다. 아직 많은 시행착오를 겪고 있지만, LLMOps 실전 경험의 축적은 분명히 회사에 큰 자산이 될 것이라고 믿습니다.

둘째, 할루시네이션주어진 데이터 또는 맥락에 근거하지 않은 잘못된 정보나 허위 정보를 생성하는 것을 뜻함 대응입니다. 보다 정확하고 유연한 정보 탐색이 가능하게 하는 검색 기술들을 지속적으로 개발해 LLM의 한계 중 하나인 할루시네이션 문제를 적극 해결하고 있습니다.

셋째, 대화형 검색 추천 시나리오 발굴입니다. 사용자가 에이닷을 자신의 친구처럼 느낄 수 있는 PAA(Personal AI Assistant)로 나아가기 위해서는 이용자들이 실제로 필요로 하는 대화형 UX를 발굴하는 것이 필수적입니다. 검색서비스팀은 고객이 에이닷을 진정한 AI 비서처럼 경험할 수 있도록 구현하는 역할을 수행해 나가고자 합니다.