※ <AI 만·사>는 ‘AI 만드는 사람들’이라는 의미로, SK텔레콤 내 AI 업무를 담당하는 임직원 인터뷰 콘텐츠입니다.

AI 시대, 글로벌 AI 컴퍼니로 거듭나고 있는 SK텔레콤은 자사의 기술, 서비스를 비롯해 다양한 업무에 AI를 적용하고 있다. 특히, SKT는 자사의 강점이자 자산인 통신 데이터를 활용해 Telco 특화 LLM(거대언어모델, Large language model)을 만들어 고객 센터, 인프라, 사내 업무 영역 등에 활용하고 있다. 이번 <AI 만·사>에서는 Telco LLM의 학습 데이터를 만들고, 모델의 성능을 확인/평가하는 업무를 하는 Data 구축/평가팀 송인지 님을 만나본다.

SKT는 왜 통신 특화 LLM을 만들었을까?

ChatGPT나 A.X LLM이 주로 웹 등에 공개된 데이터를 활용해 만든 범용(generic) LLM이라면, Telco LLM은 Telco 전문 데이터를 추가로 학습한 도메인 특화(domain specific) LLM통신, 제조, 유통, 의료, 법률 등 특정 도메인에 깊이 있는 전문 지식을 이해하는 AI이다.

SKT가 만드는 Telco LLM은 범용 LLM보다 통신사의 상품과 인프라에 대한 전문 지식을 갖고, 맥락을 더 잘 이해하기 때문에 통신사 내에 발생하는 다양한 업무 처리를 더 효과적으로 돕는다. 예를 들어, 고객의 요청을 요약할 때 범용 LLM이 전반적인 내용을 요약한다면, Telco LLM은 상담 후 처리 시 필요한 정보들을 포함해 요약한다. 고객센터 뿐만 아니라 인프라 관리, 네트워크 모니터링, 요금제나 결합 상품 홍보 등 사내의 Telco 내 업무 전반에 활용 가능하다.

이러한 Telco LLM 모델을 위한 학습 데이터를 구축하고, 모델을 평가하는 업무를 하는 팀이 송인지 님이 소속된 Data 구축/평가팀이다.

Telco LLM의 학습을 위한 데이터를 수집하고, 평가하는 Data 구축/평가팀의 업무

Q. 송인지 님이 소속되어 있는 Data 구축/평가팀이 하는 일에 관해 설명을 부탁드립니다.
데이터 구축/평가팀은 이름에서 유추할 수 있듯 ‘데이터 구축’과 ‘모델 평가’ 업무를 하고 있습니다.

데이터 구축은 Telco LLM 모델의 학습을 위한 데이터를 수집하는 업무를 진행합니다. Telco LLM 학습을 위한 데이터는 크게 통신 관련 웹사이트, 보고서, 블로그 등의 텍스트 데이터와 상담 요약, Q&A 등 Telco 내 대표적인 문제를 다루는 Telco 특화 데이터셋으로 나뉩니다.

특히, Telco 특화 데이터셋을 준비하기 위해 반복적인 정제 작업이 수행되는데요. 문제(Task) 정의부터 관련 서비스 조직과 협업을 통해 데이터셋의 구조를 정합니다. 이렇게 구조가 정의되면 기존 사내 데이터 중에서 활용할 수 있는 것을 모아서 데이터셋을 구축합니다. 최근에는 LLM을 사용해서 기반 데이터를 생성한 후 어노테이터annotator, 사전적 의미는 ‘주석을 다는 사람’. AI의 학습에 필요한 데이터를 수집, 입력 및 관리하는 일을 가리키며 데이터 라벨러라고도 함 리뷰를 통해 데이터셋을 구축하기도 합니다. 이후 데이터셋 내의 편향성 등을 제거하는 검수 작업을 거치고 학습과 평가를 위한 데이터를 나누면 특화 데이터셋 구축 작업이 마무리됩니다.

학습 데이터를 바탕으로 Telco LLM이 학습되면, 모델 평가 업무에서는 Telco LLM 모델의 성능을 정량적으로 측정(벤치마크)합니다. 예를 들어, Telco LLM이 생성한 고객센터 대화 요약 문장이 얼마나 정확하고 유용한지를 판단하는 기준과 척도를 정하고, 이에 따라 Telco LLM 생성 결과를 평가합니다. 또한, 기존 모델의 생성 결과와 Telco LLM 결과를 비교 분석해 강점과 약점을 파악하고, 개선 방향을 제시합니다. 이후, 모델의 성능이 상용화 수준에 도달할 때까지 개선 방향을 바탕으로 데이터 구축과 모델 평가를 반복하며 데이터의 품질과 모델의 성능을 반복적으로 향상 시킵니다.

SKT가 만드는 Telco 특화 LLM, 고객 센터, 인프라 등 다양한 영역에 활용

Q. SKT가 만드는 데이터 구축/평가 프로세스의 강점은 무엇인가요?
Telco LLM 같은 도메인 특화 LLM이 효과적으로 성능을 발휘하려면 도메인 전문 지식, 언어 지식 그리고 LLM 모델에 대한 지식이 모두 필요합니다. SKT는 프로젝트 관리자(PM), 언어학자, ML(머신러닝) 엔지니어가 한 팀으로 일하기 때문에 데이터를 효과적으로 구축하고 평가할 수 있습니다.

또한, 조직 내에 미국, 캄보디아, 인도네시아 등 다양한 문화권의 경험을 가진 분들이 함께해서 다양한 문화적 관점을 고려한 균형 있는 데이터셋을 만들 수 있습니다.

Q. 데이터 구축/평가 업무를 하면서 특히 신경 쓰는 점이 있다면 무엇인가요?
개발자 입장에서 업무를 하면서 신경 써야 하는 점은 Telco LLM이 도메인 특화 LLM으로 범용 LLM보다 더 나은 성능과 정확도를 보여줄 수 있도록 데이터를 적절하게 구성하고 최적하는 것입니다. 또한, Telco LLM이 사내 다양한 요구사항과 비즈니스 목표에 부합하도록 유연하고 확장성 높은 데이터 구축 및 모델 평가 아키텍처를 설계하고 구현하는 것도 중요합니다.

유연하고 확장성 높은 아키텍처를 기반으로 데이터 구축, 모델 평가, 피드백으로 이어지는 순환이 빠르게 일어나야 Telco LLM을 만드는 과정에서 생기는 문제나 오류를 신속하게 파악하고 수정할 수 있습니다. 그래야 실제 서비스에 적용할 수 있는 수준의 정확도와 안정성을 보장할 수 있기 때문입니다.

Q. 업무를 하면서 보람된 일은 있다면?
개인적으로 업무를 하면서 보람된 일은 최신 연구 결과가 고객 서비스 향상에 이어진다는 점입니다. 최근 LLM의 발전으로 사내외 다양한 영역에 SW 에이전트이용자를 대신하여 스스로 태스크를 수행하도록 하는 소프트웨어가 적용되고 있어 기쁩니다. 고객센터 외에도 교육, 홍보 등 다양한 분야에 적용되어 고객 만족도를 높이고, 비즈니스 가치를 창출할 수 있다고 생각하면 기분이 좋습니다. 영화나 소설 속에서 꿈꾸던 미래가 현실이 되어 가는 시대에 함께하는 것이 저에게 큰 동기 부여가 됩니다.

Telco LLM, 글로벌 AI 컴퍼니로 전환하는 SKT의 핵심 기술 자산 될 것

Q. 송인지 님이 담당하신 업무의 목표는 무엇인가요?
팀에서 만들고 있는 Telco LLM을 잘 준비해서 사내 다양한 서비스에 적용하는 것이 목표입니다. 사내의 다양한 활용 사례(Use case)에 적합하도록 데이터 구축, 모델 평가 프레임워크를 고도화하고, 어노테이터 레이블이나 사용자 피드백이 손쉽게 반영될 수 있도록 시스템을 구축할 계획입니다.

Q. SKT는 현재 글로벌 AI 컴퍼니로서 다양한 AI 서비스를 다루고, AI 업무를 처리하고 있습니다. 그 속에서 Data 구축/평가팀의 역할은 어떤 의의가 있을까요?
Data 구축/평가팀은 자체적으로 Telco 특화 데이터셋과 데이터 구축/평가 SW을 만드는 업무 이외에 글로벌 AI 업체들과 협업도 진행하고 있습니다. 팀 내 AI 개발이나 언어 지식 뿐만 아니라 글로벌 커뮤니케이션 능력까지 갖춘 분들이 함께 있어 이런 협업이 가능하다고 생각합니다. 이렇게 만들어진 도메인 특화 데이터셋과 데이터 구축/평가 SW는 SKT가 글로벌 AI 컴퍼니가 되는 핵심 기술 자산이 될 것입니다.