‘Good Change’는 SKT 뉴스룸이 전개하는 캠페인으로 AX를 통한 일·문화 혁신과 고객 가치 혁신(CX)을 통한 신뢰 회복, 두 방향의 변화를 소개합니다.
[Good Change 콘텐츠 모아보기 링크]
TMAP은 정해진 명령어에 의존하던 단순 음성 안내를 넘어, 사용자의 자연스러운 일상 언어 속에 담긴 맥락과 의도를 파악하는 대화형 서비스로 진화하고 있다. 그 중심에는 사용자의 의도를 파악해 적절한 서비스 영역으로 연결하는 AI 모델 ‘TMAP Planner’가 있다.
TMAP Planner는 사용자의 말을 분석해 어떤 도메인이 요청을 처리해야 하는지 판단하고, 각 도메인이 이해할 수 있도록 요청을 정리해 전달한다. 하지만 서비스 품질은 AI 모델만으로 결정되지 않는다. 모델이 어떤 규칙과 데이터를 학습하고, 이를 얼마나 빠르게 개선하는지도 중요하다. SKT는 이러한 학습·검증 과정에 AX를 적용해 사람이 일일이 확인하기 어려운 대규모 데이터를 AI가 반복적으로 검증하고, 오류 원인을 보다 빠르게 찾아 개선할 수 있는 체계를 마련했다. 이를 통해 사용자의 다양한 표현을 더 정확하게 이해하고, 의도와 다른 기능이 실행되는 경우를 줄여가고 있다.
사용자의 의도를 읽는 AI, TMAP Planner
TMAP에서 사용자의 음성 요청을 처리하는 영역인 ‘도메인’은 길안내와 정보 검색, 일상 대화, 음악 재생, 음량 조절, 전화·문자, 날씨·뉴스 조회 등 모두 14가지다. TMAP Planner는 사용자의 말을 들은 뒤 이 가운데 어떤 도메인이 요청을 처리해야 하는지 판단하고, 각 도메인이 바로 이해할 수 있는 형태로 요청을 정리해 전달한다.
예를 들어 사용자가 “집으로”라고만 말해도 Planner는 이를 길안내 요청으로 이해해야 한다. “가자”나 “안내해줘” 같은 표현이 없어도 사용자의 의도를 파악해야 하기 때문이다.
이 역할은 대화가 이어질수록 더 중요해진다. 사용자가 “집으로”라고 말해 길안내가 시작된 뒤 “거기 근처 주유소 경유해줘”라고 요청하면 ‘거기’가 어디를 의미하는지 이전 대화의 맥락까지 함께 이해해야 한다. TMAP Planner는 이를 “집 근처 주유소 경유해줘”라는 형태로 정리한 뒤 길안내 도메인에 전달한다.
이 단계에서 요청을 잘못 판단하면 사용자가 기대한 것과 다른 도메인이 실행될 수 있다. 사용자의 말을 듣고 첫 번째 방향을 정하는 Planner의 정확도가 TMAP 음성 서비스의 전체 경험을 좌우하는 이유다.
Planner를 개선한다는 것은 AI가 배우는 재료를 다듬는 일
TMAP Planner는 사람이 모든 경우를 미리 지정해 두는 프로그램이 아니다. 여러 예시를 반복해서 보며 판단 기준을 학습하는 AI 모델이다. 따라서 Planner를 개선하는 일은 AI 모델 자체를 직접 손보는 것보다, AI가 더 정확하게 학습할 수 있도록 AI가 배우는 재료를 다듬는 일에 가깝다.
이 재료는 크게 두 가지로 나뉜다. 하나는 어떤 말을 어느 도메인으로 연결할지 정리하는 ‘판단 규칙’, 다른 하나는 그 규칙에 따른 실제 발화와 판단 결과를 기록한 ‘예시 데이터’다. 사용자의 말과 Planner의 판단, 각 도메인의 응답까지 포함한 데이터는 약 2만 5,900행에 이른다.
TMAP Planner는 이 규칙과 예시 데이터를 바탕으로 판단 기준을 익힌다. 만약 규칙에는 ‘길안내 요청’이라고 되어 있는데 예시 데이터에는 다른 도메인으로 분류돼 있다면, AI는 서로 어긋난 내용을 그대로 학습하게 된다. 규칙이나 데이터의 작은 오류가 실제 서비스에서 사용자의 요청을 잘못 이해하는 오분류로 이어질 수 있다.
AI 모델이 기준을 제대로 익혔는지 확인하는 과정도 필요하다. 일부 예시 데이터를 학습 과정에서 제외해 두고, 학습을 마친 모델이 처음 보는 발화도 올바르게 판단하는지 확인한다. 정답 문장을 그대로 외우게 하는 것이 아니라, 비슷한 표현에도 같은 원칙을 적용할 수 있는지를 검증하기 위해서다. SKT는 이처럼 반복적으로 이뤄지는 TMAP Planner의 학습·검증 과정을 AI로 효율화하는 ‘TMAP Planner AX’를 적용했다.
반복 검증은 AI가, 서비스 품질 판단은 사람이
TMAP Planner를 운영하다 보면 예상하지 못한 표현이나 새로운 요청이 계속 등장한다. 기존에는 이런 이슈가 접수될 때마다 사람이 원인을 분석하고, 판단 규칙과 데이터를 직접 수정해야 했다. 다만 그 변경이 약 2만 5,900행의 데이터 전체와 맞아떨어지는지를 사람이 모두 직접 확인하기는 어려웠다.
TMAP Planner AX에서는 AI가 접수된 이슈와 기존 규칙을 분석해 오류 원인이 판단 규칙의 부족인지, 예시 데이터의 부족인지를 먼저 구분한다. 이후 수정안과 보강 예시를 만들고, 전체 데이터와 모델 결과가 정해진 기준에 맞는지 반복적으로 검증한다.
사람은 AI가 만든 결과를 그대로 적용하는 것이 아니라, 어떤 판단이 서비스에 적합한지 검토하고 최종 승인하는 역할을 맡는다. AX 적용 전에는 새로운 이슈가 생길 때마다 개발자가 규칙을 직접 수정하고 그 영향을 일일이 가늠해야 했지만, 이제는 AI가 먼저 원인을 분석하고 수정안을 제안하면서 사람은 서비스 품질을 판단하는 데 집중할 수 있게 된 것이다. 사람의 손이 닿기 어려웠던 대규모 데이터까지 반복적으로 검증할 수 있게 되면서, 사용자의 다양한 표현에서 발생할 수 있는 오류를 보다 폭넓게 찾아내고 개선할 수 있게 됐다.
예를 들어, 사용자가 “볼륨 알려줘”라고 말해 음량을 확인한 직후 “볼륨 업으로 가자”라고 요청했을 때, TMAP Planner가 이를 길안내가 아닌 음량 조절 요청으로 잘못 분류한 사례가 있었다. “○○으로 가자”라는 표현은 길안내로 처리한다는 규칙이 이미 있었지만, 직전 대화에 ‘볼륨’이 등장한 상황을 충분히 보여주는 예시가 없었던 것이 원인이었다. 앞선 대화의 맥락이 모델을 엉뚱한 방향으로 이끌었던 경우다.
문제를 해결하기 위해서는 예시 몇 개를 추가하는 것만으로는 부족했다. “볼륨 업”과 “볼륨 업으로 가자”를 기존 규칙과 모순되지 않도록 함께 정리하고, “볼륨 다운으로 가자”, “사운드로 가줘”, “뮤트로 출발해”처럼 헷갈리기 쉬운 유사 발화를 학습 데이터에 추가했다. 반대로 실제 문제가 됐던 “볼륨 업으로 가자”는 학습 데이터에 넣지 않고 시험 문제로 남겨, 새로 학습한 모델이 같은 상황에서 이를 길안내 요청으로 올바르게 판단하는지 확인했다. 이후에는 같은 문제가 재발하지 않았다.
이처럼 반복적인 학습과 검증은 AI가 맡고, 개발자는 판단 규칙과 서비스 품질을 결정하는 일에 집중한다. 이를 통해 음성 요청이 잘못 분류되는 오류를 줄이고, 새로운 이슈가 발생했을 때 원인을 더 빠르고 일관되게 찾아 개선할 수 있는 체계를 갖추게 됐다. 결과적으로 이용자가 자연스럽게 말해도 의도와 다른 기능이 실행되는 경험을 줄이는 것이 TMAP Planner AX의 목표다.
■ 미니인터뷰 | Multi-Agent시스템 윤태균 님
Q. TMAP Planner를 운영하면서 기존 방식으로 가장 어려웠던 점은 무엇이었나요?
A. 이슈가 하나 접수되면 먼저 기존 규칙과 비교하며 실제 오류가 맞는지 확인해야 했습니다. 오류가 맞다면 규칙을 어떻게 수정할지 결정하고, 새로운 기준이 기존 규칙과 충돌하지 않는지도 하나씩 검토해야 했습니다.
가장 어려웠던 부분은 데이터였습니다. 규칙 하나를 바꿔도 함께 수정하거나 확인해야 하는 예시 데이터가 수십, 수백 건씩 생깁니다. 약 2만 5,900행의 데이터를 매번 같은 기준으로 검토하는 것은 사실상 사람이 하기 어려운 일이었습니다. 문제 하나를 해결하더라도 전체적으로 같은 기준이 잘 적용됐는지 확인하기가 쉽지 않았습니다.
Q. AX 적용 후 개발자의 업무와 역할은 어떻게 달라졌나요?
AX 적용 후에는 AI가 먼저 문제를 분석하고, 그 결과를 규칙과 데이터에 반영하는 작업을 수행합니다. 사람은 그 결과를 그대로 적용하는 것이 아니라, 서비스에 적합한 판단인지 검토하고 최종 결정하는 데 집중합니다. 이전에는 손이 닿기 어려웠던 대규모 데이터까지 검토할 수 있게 된 점이 가장 큰 변화라고 생각합니다.
TMAP Planner AX는 AI가 더 정확하게 학습하도록 학습 재료를 다듬고, 그 결과를 반복적으로 검증하는 방식이다. 반복적인 학습과 검증은 AI가 맡고, 개발자는 서비스 품질을 판단하는 데 집중한다. 이를 통해 TMAP은 새로운 표현이나 서비스 이슈에도 더 빠르고 일관되게 대응하며, 이용자는 ‘말한 대로 되는’ 음성 서비스를 보다 자연스럽게 경험할 수 있다.
