엔터프라이즈 AI 마켓을 시연하고 있는 AI Enterprise Pre-Sales팀 강향홍 님(왼쪽)과 AI Enterprise사업 허성민 님(오른쪽)

챗GPT 등장 이후, AI(인공지능)가 기업 비즈니스에 필수 요소가 되면서 AI 기술을 활용해 조직 업무 관리, 지능형 서비스를 만들려는 기업들의 움직임이 활발하다. 그러나 높은 비용, 보안 문제, 전문성 부족으로 어려움이 존재한다. SK텔레콤은 기업이나 공공기관이 쉽게 자사에 맞는 생성형 AI* 서비스를 제작하고 이용할 수 있는 ‘엔터프라이즈 AI 마켓’을 출시했다.
*생성형 AI(Generative AI): 대규모 데이터를 딥러닝 기반으로 학습하여, 텍스트, 이미지, 영상 등 다양한 콘텐츠를 생성하는 인공지능 기술. Open AI의 챗GPT가 대표적인 생성형 AI 서비스

기업이 쉽게 생성형 AI에 접근할 수 있는 사실상 거의 유일한 플랫폼

엔터프라이즈 AI 마켓은 기업형 LLM* 앱 혹은 서비스를 개발할 수 있는 플랫폼이다. 기업 관리자가 별도의 코딩 지식 없이 간단한 명령어를 입력하는 것만으로 금융, 제조/에너지 등 다양한 분야의 생성형 AI 앱 제작이 가능하다. 구성원은 제작된 앱을 활용해 챗봇 등으로 답변을 받을 수 있다. 또한 매뉴얼 번역, 내외부 문서 초안 작성, 사내 데이터베이스와 연동해 법무, 인사, 마케팅 등 여러 분야에서 업무 자동화에 바로 적용할 수 있는 다양한 LLM 앱을 제공한다. 플랫폼은 클라우드형과 구축형으로 나눠 기업 상황에 맞게 선택할 수 있다. 클라우드형은 ID/PW 발급만으로 즉시 사용할 수 있어 초기 구축 비용이 들지 않는다.
*LLM(Large Language Model, 거대언어모델): 방대한 양의 데이터를 기반으로 사전 학습된 초대형 딥러닝 모델

그간 AI가 기업에게 활용 가치가 높음에도 불구하고 챗GPT 등 일반인 대상 LLM 서비스는 개별 사용자의 문서 및 데이터에 대한 보안이 취약해 기업들이 적용하기에 어려움이 있었다. 엔터프라이즈 AI 마켓은 보안성과 전문성을 갖춘 ‘사실상 기업이 제공하는 유일한 B2B 생성형 AI 플랫폼이다. SKT는 보안을 강화하기 위해 개인정보 및 관련 코드가 검색될 경우 답변에 활용하지 않고 있다. 또한, 구축형으로 진행 시, 보안 문제를 원천 차단할 수 있고 기업 고객의 요구사항에 맞춤으로 설루션 제공이 가능하다.

엔터프라이즈 AI 마켓의 경쟁력은 ‘멀티 LLM’을 제공하는 점이다. SKT는 자체 LLM인 ‘에이닷엑스(A.X)’, 앤트로픽(Anthropic) ‘클로드 2(Claude 2)’, 오픈AI ‘GPT-4’, 올거나이즈 ‘알리 파이낸스’, 코난테크놀로지 ‘코난 LLM’ 등 여러 LLM을 제공하고, 기업 고객이 가장 적합한 LLM을 선택할 수 있도록 했다. 이러한 엔터프라이즈 AI 마켓의 멀티 LLM 제공은 고객들이 최적의 결과를 얻을 수 있도록 지원하는 중요한 요소다. 또한, 100개 이상의 외부 툴 연동을 자동으로 지원한다.

이외에도 엔터프라이즈 AI 마켓은 사내 보유 문서 데이터베이스 등과 연동하여 대화하는 것처럼 자유롭게 질문하고 답을 얻을 수 있다. 기존에는 찾기 어려웠던 표(테이블)로 된 문서도 잘 이해하고, 다국어 문서도 지원한다.

행안부 시범사업 참여… 법령 정보 답변에 성공적 결과 보여

SKT는 지난해 6월 행정안전부 시범사업에 참여해 법령 정보를 검색하고 LLM이 읽고 질문에 맞는 답변을 제공하는 서비스를 성공적으로 진행했다. 이번 사업에서 SKT는 학습 데이터 제작, LLM, 화면 개발 등 서비스의 처음부터 끝을 모두 직접 개발했다. 시범 사업 후 성과를 인정 받아 올해 대상을 확장한 시범 서비스를 준비 중이다. 이번 사업에는 구축형으로 진행하였으며, SKT의 LLM 모델인 A.X를 적용했다. 행안부 시범사업에 실무자로 참여한 AI Enterprise Pre-Sales팀 강향홍 님에게 개발 과정에 대해 들어봤다.

AI Enterprise Pre-Sales팀 강향홍 님

Q. 행정안전부 시범사업 개발 과정을 설명해 주세요.
A. 공무원이 가장 많이 할애하는 업무가 ‘어떤 질문이 들어오면, 법령 정보를 검색하고 이를 이해해서 답변하는 일’이라고 합니다. 일과에서 거의 60% 이상을 쓰고 있습니다. SKT는 행정안전부 조문 16,261건과 인사혁신처 조문 13,141건에 대한 자료를 물어보고 답변하는 시나리오를 구성했습니다.

Q. 답변 정확도는 얼마나 되나요?
A. 단답형에 대해서는 엄청난 수준의 정확도를 확인했습니다. 질문이 오타가 있어도 앞뒤 문맥을 파악해서 답변하고요. 법령에 없는 단어라도 LLM 모델이 상관관계로 판단해서 관련된 문서를 검색해 일치하는 답변을 제공합니다. 저희는 여기서 더 나아가 긴 질문이 들어왔을 때, 질문에 대한 요약을 제공하고 답변하도록 했습니다. 이 부분은 계속 고도화 중입니다.

Q. 엔터프라이즈 AI 마켓의 가장 큰 장점을 뽑는다면 무엇인가요?
A. 다양한 LLM을 쉽게 사용할 수 있는 것이 가장 큰 장점이라고 생각합니다. 하나의 LLM이 모든 일을 다할 수 없고, 상황에 따라 필요한 LLM은 다양할 거라 봅니다. 엔터프라이즈 AI 마켓은 멀티 LLM 전략을 쓰기 때문에 고객이 챗GPT를 대용량으로 구매해서 사용하다가 자사와 맞지 않다고 판단하면 다른 LLM으로 쉽게 바꿀 수 있습니다. 사용하는 LLM 앱 개수 및 사용량에 기반해 다양한 가격 정책을 운영하는 점도 강점입니다.

Q. 코딩이 필요 없고, 적용이 쉽다고 하셨는데요. 시간으로 따진다면 얼마나 걸리나요?
A. 구축형은 시간이 좀 필요하겠지만, 기존에 SKT가 제공하는 앱을 적용하고 익히는 데 30분도 안 걸립니다. 챗봇 정도는 쉽게 만드실 수 있습니다.

Q. 향후 계획을 말씀 주세요.
A. 행안부 사례 연장으로 타 정부 부처와 협업을 진행 중입니다.

플랫폼 체험 신청 기업 100여개 넘어… 높은 관심 반영해 상반기까지 무료 체험 기간 연장

한편, SKT는 플랫폼 출시 이후 기업 고객이 무료로 체험해 볼 수 있는 이벤트 ‘Experience AI Weeks’를 진행했다. 높은 관심을 반영한 듯 현재까지 체험 신청 기업이 100여 개를 훌쩍 넘는다. 기업도 스타트업부터 금융, 공공기관, 대학교, 대기업 등 다양한 업종의 기업들이 포함됐다. 신청한 기업들은 IT, 콜센터, HR, 총무, 마케팅 등 다양한 부서 별로 목적에 맞게 이용 중이다.

체험 고객들의 실제 반응을 보면 “어려운 기능이 없고 어떤 부서나 사용할 수 있는 서비스이다.”, “사내 어려운 용어나 문서 검색용으로 질의응답 받기 좋다.”, “드래그드랍 방식으로 사내 구성원 누구나 챗봇 앱 기획을 쉽게 할 수 있어 편리하다.” 등 긍정적이다.

SKT는 이러한 높은 관심을 반영해 상반기까지 무료 체험을 연장했다. 고객들의 신청 사유를 살펴보면 주로 고객과 직접 응대하고 상담하는 B2C에서 도움을 얻으려는 목적이 강했다. 또한, 생성형 AI를 어떻게 구성하고, 자사의 업무에 활용할 수 있는지 문의하는 경우가 많았다. SKT는 고객들의 체험 신청 사유 및 반응을 바탕으로 금융, 공공, 제조 등 고관여 고객들의 다양한 업무에 특화된 ‘고객별 맞춤형 앱’ 제작을 3월부터 추진할 계획이다. 기업 고객이 보유한 공개 가능한 문서 기반으로, 엔터프라이즈 AI 마켓 앱을 사전 제작해 문서 요약, Q&A, 키워드 지정 및 추출 등의 다양한 활용 방식을 지원할 계획이다.