‘Good Change’는 SKT 뉴스룸이 전개하는 캠페인으로 AX를 통한 일·문화 혁신과 고객 가치 혁신(CX)을 통한 신뢰 회복, 두 방향의 변화를 소개합니다.
[Good Change 콘텐츠 모아보기 링크]

MIT 전기전자공학·컴퓨터과학부 김윤형 교수

SK텔레콤은 MIT(매사추세츠 공과대학교)가 주관하는 글로벌 산학 협력 컨소시엄 ‘MGAIC(MIT Generative AI Impact Consortium)’의 주요 멤버로서 AI 혁신을 함께 만들어가고 있다.

MGAIC는 SKT를 비롯해 오픈AI, 코카콜라 등 산업별 글로벌 대표 기업들이 함께하는 Cross-industry AI 플랫폼으로, 현재 60개 이상의 프로젝트를 통해 실질적인 AI 변화를 만들어내고 있다.

SKT 뉴스룸은 MGAIC 시리즈를 통해 SKT와 MIT의 다양한 협력 사례를 소개하고 있다. 이번 주인공은 MIT 전기전자공학·컴퓨터과학부의 김윤형(Yoon Kim) 교수로, 연구팀은 AI 에이전트가 긴 문맥을 더 적은 비용으로 더 정확하게 이해하는 새로운 방법을 제시할 예정이다.

김 교수에게 이번 연구의 의미와 배경, 한국의 소버린 AI 추진 방향성에 대한 제언 등을 들어보았다.

※ 영어로 진행된 인터뷰를 한국어로 번역한 콘텐츠입니다. 영어 인터뷰 원문은 SKT 영문 뉴스룸에서 확인하실 수 있습니다(인터뷰 원문 바로가기).

“한 번 더 생각하는 AI… 문제를 풀며 스스로 배우는 기술

Q1. 현재 진행중인 SK텔레콤과의 공동 연구 배경과 목적에 대해 소개 부탁드립니다.
핵심 주제는 ‘추론 시점 학습(Test-Time Training, 이하 TTT)’과 관련 기술을 통한 LLM 성능 향상입니다.

연구의 출발점은 “연산 자원을 바라보는 패러다임의 변화”에 있습니다. 지난 수년간 AI의 발전은 주로 사전 학습(Training) 단계를 대형화(Scaling up)하는 데서 나왔습니다. 그러나 최근에는 모델이 답을 내놓는 추론(Inference) 시점에 추가 연산 자원을 투입하면 확실한 성능 향상이 일어난다는 점이 명확해졌습니다.

TTT는 “연산 자원의 일부를 모델이 눈앞에 놓인 특정 문제를 스스로 해결하는데 사용하면 어떨까? “라는 아이디어에서 출발합니다.

Q2. TTT(Test-Time Training)라는 구조가 대중에게는 다소 생소할 수 있습니다. 조금만 더 쉽게 설명해주시기 바랍니다.
보통 일반적인 언어 모델은 한 번 학습을 마치면 고정된 상태로 배포되어 질문에 답합니다. 반면 TTT는 특정 문제를 해결하기 위해, 배포된 모델이 주어진 문제와 관련 자료를 바탕으로 아주 짧게 스스로를 추가 학습시킨 뒤 답변을 생성하는 기술입니다.

추론 단계의 연산 자원을 어떻게 모델의 실제 성능 및 역량 향상에 사용할 것인가라는 AI 학계의 핵심적인 화두에 유용한 접근 방식을 제공할 것입니다.

Q3. AI가 대화의 맥락을 이해하는 것이 중요할 것 같은데요. AI 서비스에서 “긴 맥락을 이해한다”는 것은 어떤 의미이며 서비스 경쟁력에 어떤 영향을 미치게 될까요?
‘긴 맥락(Long context)’이라는 개념은 두 가지 관점으로 구분해 볼 필요가 있습니다.

먼저 검색(Retrieval) 관점에서 보면 방대한 텍스트 속에서 관련된 정보를 찾아내는 능력입니다. 현재 모델들은 이 작업을 비교적 잘 수행합니다.

통합(Integration) 관점은 전체 텍스트에 걸쳐 일관된 이해력을 유지하는 능력입니다. 예를 들어 어떤 문서에서 앞과 뒤의 내용이 논리적으로 충돌 시 이를 감지해내는 것입니다.

후자가 훨씬 더 어려운 과제이며, 이론적으로 100만 토큰을 처리할 수 있는 모델이라도 이 두 번째 의미에서의 ‘이해’는 하지 못할 수 있습니다.

B2C(일상)와 B2B(산업) 환경 모두에서, 실질적으로 유용한 AI 에이전트를 개발하기 위해서는 이 통합의 관점에서 긴 맥락을 깊이 이해하는 시스템을 구축하는 것이 핵심 경쟁력이 될 것입니다.

Q4. 이번 연구 결과가 상용화되었을 때 사용자들이 체감할 수 있는 가장 큰 변화는 무엇일까요?
이 기술들이 성공적으로 작동한다면 LLM이 수학적 추론이나 복잡한 문제 해결이 필요한 고난도 과제를 훨씬 효율적으로 처리할 수 있게 됩니다. 결과적으로 이를 기반으로 한 다양한 AI 응용 서비스의 전반적인 성과와 반응 속도가 크게 개선될 것으로 기대합니다.

SKT와의 협력은 독자 AI 파운데이션 모델 추론 성능 높이는 훌륭한 모범 사례 될 것

Q5. MGAIC의 일환으로 진행되는 SK텔레콤과의 협력은 어떤 의미인가요?
학계는 ‘새로운 가능성의 탐색(Exploration)’에 강하고, 기업은 ‘기술의 실용적 활용(Exploitation)’에 강점이 있습니다. AI의 비약적인 진보를 위해서는 이 두 가지가 반드시 결합되어야 하며, SKT와의 파트너십은 그 훌륭한 모범 사례가 될 것입니다.

MIT 입장에서는 실제 상용 서비스 출시를 목표로 시스템을 구축하는 산업 현장의 에이전트 팀으로부터 실무적 통찰을 얻고, 연구를 현실 문제에 연계시킬 수 있습니다.

SKT 입장에서는 단기적인 상용화 제약에서 벗어나 혁신적이고 근본적인 원천 아이디어를 탐구하는 학계와의 긴밀한 협력 체계를 구축할 수 있습니다.

Q6. SKT가 최근 새로운 독자 AI 파운데이션 모델 ‘A.X K2’를 공개했습니다. 이번 연구가 모델의 경쟁력 제고에 어떻게 기여할 수 있을까요?
저희 프로젝트에서 개발되는 기술들은 SKT가 자체 AI 모델의 ‘추론 시점 연산(Test-Time Compute)’ 스케일링을 추진할 때 매우 유용하게 적용될 수 있습니다.

최근 연구에 따르면, 추론 단계에서 연산량을 늘림으로써 수학 문제 풀이와 같은 ‘추론’ 영역에서 LLM의 성능을 지속적으로 끌어올릴 수 있음이 증명되었습니다. 이번 공동 연구를 통해 개발될 TTT 기술은, SKT 독자 AI 파운데이션 모델이 투입하는 추론 연산 자원 대비 성능을 끌어올리는 효율성을 획기적으로 높여줄 것입니다.

Q7. 한국은 독자 AI 파운데이션 모델 선정을 위한2차 평가를 앞두고 있습니다. 주목해야 할 포인트와 기대점은 무엇인가요?
한국은 ‘독자 AI 파운데이션 모델’ 프로젝트를 통해 파운데이션 모델 개발에서 의미 있는 진전을 이뤄냈습니다.

2차 평가에서는 글로벌 모델 개발사들이 실제로 사용하는 핵심 벤치마크를 기준으로 그 격차가 얼마나 줄었는지에 특히 주목할 필요가 있습니다. 참여 모델에 새롭거나 화려한 아이디어가 담겨 있는지를 평가하는 것보다 이 부분에 더 높은 우선순위를 두는 것이 바람직합니다.

기존 프런티어와의 격차를 줄이는 것은 본질적으로 알려진 레시피(recipe)를 잘 실행할 수 있다는 것이고, 이를 증명하는 것이 이번 단계에서 가장 중요할 것입니다.

Q8. 한국처럼 소버린 AI(Sovereign AI)를 추진하는 국가들이 집중해야 할 기술 영역은 무엇인가요?
AI가 경제적 측면뿐 아니라 안보적으로도 핵심적인 요소가 된 만큼, 주권 국가들이 독자적인 AI 인프라와 생태계를 구축하고자 하는 것은 지극히 자연스러운 방향입니다. 다만, 목표를 지나치게 ‘주권(Sovereignty)’ 프레임에만 가둘 경우 협력보다는 과도한 경쟁을 초래할 수 있다는 점은 경계할 필요가 있습니다.

이러한 전제 하에, 비교적 단순한 알고리즘을 대규모로 스케일링 하는 것이 성능을 좌우하는 현재의 AI 환경에서 가장 중요한 것은 대형 시스템을 대규모로 다룰 수 있는 연구자와 엔지니어를 양성하는 것입니다.

연산 자원은 돈으로 살 수 있고 데이터센터는 건립할 수 있지만, 대규모 시스템을 직접 운영해 본 경험과 역량은 축적하는 데 훨씬 더 오랜 시간이 걸리기 때문입니다.