[칼럼] 수학 올림피아드는 왜 AI의 시험대가 됐을까

AI가 수학 문제를 푼다는 것은 단순히 정답 하나를 맞히는 것 이상의 의미를 지닌다. 처음 보는 문제의 조건을 이해하고 여러 단계의 논리를 연결해 결론을 도출하는 과정에는 AI의 추론 역량이 고스란히 드러나기 때문이다. 최근 국제수학올림피아드(IMO)가 글로벌 AI 기업들의 새로운 시험대로 떠오르고, 수학 성과가 AI의 기술 수준을 보여주는 지표로 주목받는 이유도 여기에 있다. 서울대학교 수리과학부 서인석 교수의 기고를 통해 수학이 AI의 핵심 시험대가 된 배경을 짚고, IMO 2026 금메달 기준을 충족한 SKT의 독자 AI 파운데이션 모델 A.X K2가 거둔 성과에 대해 알아봤다.

*본 콘텐츠는 외부 전문가 칼럼으로, SK텔레콤의 공식 입장과 다를 수 있습니다.

2026년 9월 8일 OpenAI는 자신들의 내부모델이 7대 밀레니엄 난제 중 하나인 Navier-Stokes 방정식의 해의 존재성과 관련한 문제를 해결하였다고 발표했다. 인공지능이 수학 분야에서 마침내 인간의 추론 역량을 능가하는 단계에 이르렀음을 보여주는 상징적인 순간이었다.

도대체 어떤 과정이 있었던걸까? 이를 알기 위해서는 시간을 조금 거슬러 올라가봐야 한다. 2025년 7월, 국제수학올림피아드(IMO)에 공식 참가한 구글 딥마인드의 모델은 6문제 가운데 5문제를 해결해 42점 만점에 35점을 획득했다. 실제 대회 금메달에 해당하는 성적이었다.

불과 1년 전인 2024년만 해도 인공지능이 IMO 문제를 해결하려면 문제를 형식화된 프로그래밍 언어로 변환하고 장시간에 걸쳐 풀이를 탐색해야 했다. 그러나 바로 다음 해인 2025년, LLM에 기반한 인공지능이 자연어로 주어진 문제를 제한 시간 안에 풀어냈다. 세계 최고 수준의 고등학생들과 견줄 만한 성과를 낸 것이다.

구글과 OpenAI를 비롯한 인공지능 회사들은 천문학적인 자원을 투입해 자신들의 인공지능이 ‘수학’ 분야에서 좋은 성과를 내도록 하고자 노력하고 있다. 수학을 직업으로 삼은 사람으로서 필자는 수학이 흥미롭고 깊이 연구할 가치가 있는 학문이라고 생각하지만, 그것만으로는 기업들이 많은 비용과 자원을 투자하면서까지 당장의 수익 창출과 거리가 멀어 보이는 수학에 도전하는 이유를 충분히 설명하기 어렵다. 이 글에서는 수학이 AI의 추론 역량을 학습하고 평가하는 핵심 시험대로 떠오른 이유와, 그 기술적 도전이 현재 어디까지 왔는지를 살펴보고자 한다.

그럴듯한 답과 올바른 추론의 차이

거대언어모델(LLM)은 대규모 데이터셋으로부터 앞서 주어진 단어, 정확히는 토큰의 나열을 바탕으로 다음 토큰이 나타날 확률을 학습한다.

예를 들어 ‘나는 오늘 점심으로 김치’라는 문장 뒤에 ‘찌개’, ‘전’, ‘볶음밥’, ‘만두전골’ 등의 단어가 각각 어느 정도의 확률로 이어질지를 학습하고, 이를 바탕으로 문장을 구성한다. 이렇게 설계된 LLM은 통계적으로 그럴듯한 문장을 생성하는 데 적합한 구조를 가지고 있다.

하지만 추론의 타당성은 그럴듯함만으로 보장되지 않는다. 중요한 것은 앞서 주어진 사실들로부터 결론이 논리적으로 따라오는지 여부다. 다음 토큰을 예측하는 LLM의 학습 목표는 본질적으로 논리적 타당성에 있지 않다. 별도의 학습·검증 장치가 부족했던 초기 LLM이 추론에 매우 취약했던 이유다. 실제로 2021~2022년경 등장한 GPT 등의 초기 모델은 다른 분야에서 괄목할 만한 성과를 보여주면서도, 추론이 필요한 수학에서는 초등학생이나 중학생과 경쟁하는 수준에 머물렀다.

LLM에 기반한 인공지능이 오늘날처럼 인간과 함께 고차원적인 업무를 수행하려면 추론 역량을 갖추는 것이 매우 중요하다. 학교 교육에서 수학이 논리적 사고를 기르고 평가하는 데 오랫동안 활용돼 왔다는 점을 생각해 보면, 인공지능 기업들이 수학에 주목한 이유도 쉽게 이해할 수 있다.

수학 문제를 푸는 과정에는 주어진 조건을 분석하고, 여러 단계의 논리를 연결해 결론을 도출한 뒤, 그 결과가 맞는지 다시 확인하는 일이 모두 포함된다. 정답이 명확해 이러한 과정이 제대로 이뤄졌는지도 객관적으로 평가할 수 있다. 이처럼 수학은 AI의 추론 역량을 통제된 환경에서 학습하고 테스트하기에 적합한 전장이었고, 글로벌 AI 기업들의 수학에 대한 도전도 여기서 시작됐다.

AI의 실력을 증명할 시험대, IMO

도전 목표는 매우 어려우면서도 달성 가능해 보여야 하고, 동시에 목표를 달성했을 때의 의미가 사람들에게 직관적으로 와닿아야 한다. 수학에서 이 모든 조건에 부합하는 시험이 바로 세계 최고의 고등학생들이 모여 실력을 겨루는 국제수학올림피아드(IMO)다.

IMO에서는 총 6개 문제를 이틀에 걸쳐 9시간 동안 해결해야 한다. 문제마다 7점이 배정돼 총점은 42점이다. 시험의 난도를 체감할 수 있도록 2025년 IMO에 출제된 문제 하나를 소개하면 다음과 같다.

2025년 IMO 6번 문제

단위 정사각형들로 이루어진 2025×2025 격자판에 변이 격자선 위에 놓이는 직사각형 타일들을 서로 겹치지 않게 놓으려고 한다. 각 행과 각 열에 덮이지 않은 단위 정사각형이 정확히 하나씩만 남도록 해야 한다고 할 때, 필요한 타일 수의 최솟값을 구하여라.

이 문제에 대해 잠시 생각해 보면 대부분의 사람은 살면서 경험해 보지 못한 장벽을 마주하게 된다. 악명 높은 대학수학능력시험 수학 영역 22번의 경우, 비록 풀지 못하더라도 이것저것 시도해 볼 수는 있다. 그러나 이 문제는 도대체 무엇부터 손대야 할지조차 쉽게 떠오르지 않을 정도로 난도가 높다.(참고로 이 문제의 해결에서 매우 중요한 사실은 2025가 45×45로 나타낼 수 있는 완전제곱수라는 점이다. 이 사실을 빠르게 깨닫지 못했다면 문제를 풀 가능성은 거의 없을 것이다.)

대부분의 대학이나 대학원 수학 과목에서 치르는 시험 역시 IMO에 비하면 추론의 깊이가 훨씬 얕다. 따라서 이 시험에서 인간 수준, 혹은 그 이상의 성과를 보여준다면 누구도 LLM이 ‘수학’이나 ‘추론’을 하지 못한다고 말하기 어렵다. IMO 성적은 그 자체로 AI의 수학적 추론 능력을 보여주는 일종의 실력 보증서가 될 수 있었던 것이다.

IMO에 출제되는 문제들은 데이터셋의 오염으로부터도 안전하다. IMO는 매년 인간이 창의적으로 만든 새로운 유형의 문제들로 구성되기 때문에 유사한 문제가 다른 시험의 기출문제나 인터넷에 존재하지 않는다. 따라서 LLM이 직접 고차원의 ‘추론’을 수행하지 않고 데이터 학습만으로 문제를 해결할 가능성은 희박하다.

이처럼 IMO는 매우 높은 수준의 추론을 요구하면서도 결과를 점수로 명확하게 평가할 수 있고, AI가 실제로 추론하고 있는지를 확인할 수 있다는 점에서 인공지능 기업들의 중요한 목표가 됐다.

마침내 금메달에 도달한 AI… 국내 모델도 경쟁력 입증

인공지능 기업들이 수학 추론 분야에서 세운 1차 목표는 응시생의 약 12분의 1이 받는 금메달 수준에 도달하는 것이었지만, 그 목표는 처음에는 매우 요원해 보였다. 실제로 2024년 IMO에서는 LLM을 이용해 한 문제라도 해결했다고 발표한 인공지능 기업이 없었다.

*2024년 4문제를 해결한 구글 딥마인드의 모델은 LLM 기반 모델이 아닌 형식화 기반 모델이었다. 이 모델은 42점 만점에 28점을 받아 은메달 수준의 성과를 기록했지만, 문제를 푸는 데 일주일가량이 소요됐다.

이처럼 LLM에 가망이 없어 보였던 데에는 여러 병목이 있었다. 먼저 수학 올림피아드의 특성상 학습에 활용할 양질의 데이터가 부족했다. 인터넷에 존재하는 데이터들은 풀이의 완결성과 무오류성을 모두 만족하지 못했다. 데이터를 확보하더라도 이를 이용해 사후 학습과 강화학습을 수행할 방법이 충분히 알려져 있지 않았다.

하지만 2024~2025년에 걸친 데이터 확보 노력과 새롭게 등장한 강화학습 기법, 검증기(verifier)의 발달 등을 통해 상황이 달라지기 시작했다. 그 결과 2025년 구글 딥마인드의 모델이 IMO에 공식 참가해 35점을 획득하며 금메달 수준의 결과를 냈고, 대회에 공식 참가하지 않은 OpenAI 역시 같은 35점을 기록했다고 발표하고 풀이를 공개했다.

IMO 2026 문항별 전체 참가자 평균 점수와 A.X K2의 점수 비교

이 같은 추론 역량은 단순히 모델의 규모를 키우는 것만으로 얻어지지 않는다. 문제 풀이 전략을 스스로 탐색하고, 여러 단계의 논리를 연결하며, 도출한 결과를 다시 검증하도록 만드는 별도의 학습과 설계가 필요하다. IMO 금메달 수준의 성과가 처음 나온 지 1년이 지난 현재도 이를 안정적으로 구현한 모델이 많지 않은 이유다.

미국과 중국 기업이 개발한 모델을 제외하면, IMO에서 금메달 기준을 충족한 것으로 공표된 사례는 SKT의 독자 AI 파운데이션 모델 A.X K2가 유일하다. A.X K2는 2026년 IMO 문제 평가에서 42점 만점에 29점을 기록해 해당 연도의 금메달 기준을 충족했다. 또한 2025년 IMO 기출문제에서도 42점 만점에 35점을 획득해 금메달 수준의 성능을 보였으며, 고난도 수학적 추론 능력을 평가하는 ‘MathArena AIME 2026’에서는 97.1%의 정확도로 공동 최고점을 달성했다. 서로 다른 유형과 난도의 수학 평가에서 연이어 높은 성적을 거둔 것은 A.X K2가 글로벌 최정상급 모델들과 견줄 수 있는 수학적 추론 역량을 갖췄음을 보여준다.

AI, 올림피아드를 넘어 실제 수학 난제를 해결하다

LLM의 방대한 지식 체계 추론 능력은 실제 ‘수학 연구’를 공략할 수 있게 된 시작점이 됐다. 최근 수학 인공지능이 보여준 대표적인 성과는 다음과 같다.

평면 단위거리 문제에 관한 폴 에르되시(Paul Erdős)의 추측에 대한 반례 구성(2026. 5. 20.)

비소픽 군(non-sofic group)의 구성(2026. 8. 1.)

밀레니엄 난제인 나비에–스토크스(Navier–Stokes) 방정식의 해의 존재성과 관련한 해법 공개(2026. 9. 8.)

IMO 문제를 푸는 것과 실제 수학 난제를 해결하는 것 사이에는 매우 큰 간극이 있다. IMO에서 17세에 금메달을 받은 학생이 이후 10년 안에 실제 수학 난제를 해결하는 경우는 흔하지 않다. 난제를 해결하려면 추론 능력뿐 아니라 폭넓은 지식과 통찰이 필요하기 때문이다.

수학 난제 해결에는 오늘날 ‘긴 사고(long thinking)’, 즉 장시간 추론이라 불리는 능력이 필요하다. 인간이 IMO에서 한 문제를 푸는 데 평균 1.5시간을 사용하지만, 하나의 난제를 해결하는 데에는 1.5년도 부족한 경우가 많다. 바둑으로 비유하면 수학 올림피아드는 사활 문제 하나를 푸는 일이고, 난제 해결은 신진서 9단과 대국하는 일이라고 볼 수 있다.

그렇기에 인공지능 기업들도 더 좋은 파운데이션 모델의 도입과 에이전트 개발, 아키텍처 개선, 대규모 강화학습 등 수많은 노력을 기울이며 LLM의 수학 역량을 키우고 장시간 추론이 가능한 에이전트를 만들어 왔다. 그 결과 LLM이 IMO 금메달급 성적을 얻기까지는 2년 이상의 긴 연구개발이 필요했지만, 이를 바탕으로 실제 수학 난제를 해결하기 시작하는 데에는 그리 긴 시간이 걸리지 않았다. 위에서 소개한 사례들은 2025년 IMO 이후 불과 1년 동안 벌어진 일들이다.

그리고 마침내 2026년 9월 8일, OpenAI는 내부 모델이 인류가 아직 해결하지 못한 밀레니엄 난제, 나비에–스토크스 문제를 해결하는 증명을 찾아냈다고 발표했다.

인공지능이 IMO에서 금메달 수준의 성능을 보이고, 이어서 인간이 해결하지 못하는 수학 난제들까지 해결하는 것을 보면, 수학 분야에서의 ‘알파고 모먼트(AlphaGo moment)’, 혹은 ‘초인적 능력(superhuman)’의 시점이 마침내 찾아왔다고 볼 수 있다. 아직 일부 인간에 비해 부족한 부분이 있다고 해도, 이 부분에서도 인간을 뛰어넘는 것은 시간문제로 보인다.

인공지능 기업들이 이 거대한 프로젝트를 통해 달성하고자 하는 궁극적인 목표는 수학 난제 자체를 해결하는 것이 아니다. 수학이라는 엄격한 시험대를 통해 AI가 어디까지 논리적으로 사고할 수 있는지를 확인하고, 궁극적으로 인간 수준을 넘어서는 추론 능력을 구현하는 것. 이것이 이들이 수학에 막대한 자원을 투자하는 진짜 이유다.