90년 수학 난제 나비에-스토크스 방정식, OpenAI는 어떻게 답을 찾았나?

한국 시간으로 9월 8일 오후부터 9월 9일 새벽 사이에 유체역학계는 완전히 뒤집혔다. 9월 8일 오후 1시쯤, 뉴욕대학교의 수학자 트리스탄 버크마스터(Tristan Buckmaster)와 레벤트 알페게가 유체의 움직임을 설명하는 방정식에서 유한한 시간 안에 특이점이 생길 수 있다는 연구를 세상에 내놓았다. 그리고 꼭 13시간 뒤인 9월 9일 새벽 2시 20분쯤, 이번에는 OpenAI가 전혀 다른 차원의 폭탄을 던졌다. 제목부터 무려 166쪽에 달하는 논문 <Finite Time Blowup for Navier-Stokes>였다.

세상은 곧바로 열광했다. 인공지능이 마침내 100만 달러짜리 밀레니엄 문제를 풀었다는 헤드라인이 전 세계를 강타했다. 챗GPT 모먼트 이후 불과 4년 만에 인류의 수학 역사가 AI 앞에 무릎을 꿇었다는 평가가 쏟아졌다. 하지만 이 화려한 스포트라이트 이면에는 거대한 기술적 진실과 함께, 학문적 성과의 소유권을 둘러싼 날 선 공방, 그리고 과연 기계가 내놓은 정답을 인간이 진정으로 이해했다고 말할 수 있는가에 대한 깊은 허탈감이 교차하고 있었다. 알파고가 바둑판을 흔들었던 충격과는 또 다른 결의 파도가 수학계 전체를 집어 전체를 집어삼키는 중이다.

나비에-스토크스 방정식과 90년 넘은 미해결 난제

물과 공기의 움직임을 쫓는 방정식의 한계

📊 수치로 본 유체역학의 장벽

물 한 컵 속에는 대략 $10^{25}$개에 달하는 분자가 들어 있으며, 이들이 제각각 부딪치며 움직인다. 분자 하나하나의 위치와 속도를 전부 계산하는 것은 애초에 불가능하다.

나비에-스토크스 방정식은 물과 공기의 움직임을 설명할 때 사용하는 핵심 식이다. 쉽게 생각하면 뉴턴의 운동 제2법칙 $F=ma$를 유체에 적용한 것이지만, 공 하나를 던질 때와는 차원이 다른 복잡성을 지닌다. 분자 개개인을 추적할 수 없으니, 과학자들은 물이나 공기가 공간 전체에 끊임없이 이어져 있다고 가정하는 연속체 가정(Continuum hypothesis)을 택했다.

이 방정식에서 가장 다루기 까다로운 부분은 속도와 속도가 곱해지는 비선형의 항이다. 이 항은 흐름을 상상 이상으로 복잡하게 뒤틀어놓는다. 반대로 점성은 빠른 쪽의 운동을 주변으로 퍼뜨리며 급격한 속도 차이를 줄여주는 역할을 한다. 이 두 효과가 맞물릴 때 3차원 공간에서 어느 순간 속도나 속도의 변화가 끝없이 커지는 일이 과연 일어날 수 있는지가 오랫동안 수학계를 괴롭혀온 화두였다.

1934년 프랑스 수학자 장 르레가 방정식의 전체적인 흐름과 에너지는 계산할 수 있는 약한 해(Weak solution)의 존재를 증명하며 첫 단추를 꿰었지만, 그 해가 시간이 흘러도 처음처럼 매끄러운 상태를 유지하는지는 알 길이 없었다. 2000년 클레이 수학연구소가 상금 100만 달러를 걸고 선정한 일곱 가지 밀레니엄 문제 중 나비에-스토크스가 당당히 이름을 올린 이유가 바로 여기에 있다.

밀레니엄 문제의 조건과 특이점의 정체

클레이 연구소가 제시한 나비에-스토크스 문제의 핵심은 크게 두 갈래로 나뉜다. 하나는 처음부터 매끄럽게 시작한 유체라면 시간이 아무리 지나도 속도나 압력이 무한대로 치솟지 않고 매끄러움을 유지한다는 것을 증명하는 방향이고, 다른 하나는 그렇지 않은 예시를 찾아내는 방향이다. 이번에 OpenAI가 도전하고 증명해 보이겠다고 나선 지점은 바로 후자였다.

논문 제목인 <Finite Time Blowup for Navier-Stokes>는 바로 이 지점을 겨냥한다. 여기서 폭발(Blowup)이란 물이나 공기가 말 그대로 쾅 하고 터진다는 뜻이 아니다. 처음에는 평온하게 흐르던 유체가 시간이 흐를수록 아주 작은 영역으로 에너지가 집중되고, 그곳의 속도가 수학적으로 끝없이 커지는 현상을 의미한다. 블랙홀처럼 한 점으로 모든 것이 빨려 들어가는 상황을 수학의 언어로 포착해 낸 셈이다.

"처음 들으면 조금 이상합니다. 속도가 그렇게 커지는데 어떻게 에너지는 무한대로 가지 않을까요?" 이 질문에 대한 대답은 수학적 기묘함 속에 숨어 있다. 속도가 무한대로 치솟는 그 순간, 속도가 커지는 영역의 크기도 동시에 극한으로 줄어들기 때문이다. 아주 좁은 공간 안에서는 속도가 폭발하지만, 그런 속도를 가진 유체의 양은 그보다 훨씬 빠르게 감소하므로 전체 운동에너지는 유한하게 유지될 수 있다는 논리다.

OpenAI의 166쪽 논문과 88시간의 기록

아스트라가 아니라 미공개 내부 모델이 만든 증명

이번 발표 직후 대중의 시선은 OpenAI가 야심 차게 선보인 최신 모델 GPT-6 아스트라에 쏠렸다. 하지만 실상을 들여다보면 오해가 있었다. 실제로 증명을 찾아낸 것은 대중에 공개된 아스트라가 아니라, 그보다 성능이 훨씬 뛰어난 미공개 내부 모델이었다. 아스트라의 역할은 그 거대한 증명을 수학 증명 검증 프로그램인 Lean으로 형식화하고 논리적 결함을 기계적으로 확인하는 작업이었다.

OpenAI는 현지시간으로 8월 28일부터 새로운 내부 모델을 훈련하기 시작했고, 9월 1일부터 남아 있는 밀레니엄 문제들을 여러 AI 에이전트 그룹에 나누어 투입했다. 나비에-스토크스 문제를 맡은 에이전트들이 마침내 결론에 도달한 시점은 투입 후 불과 88시간 뒤인 9월 5일이었다. 1만 개에 달하는 AI 에이전트가 동시에 동원되어 서로 다른 가능성을 타진했고, 수백만 달러 규모의 컴퓨팅 자원이 그라운드 위로 쏟아부어졌기에 가능한 속도였다.

중간에 점성을 뺀 오일러 방정식 쪽에서 먼저 단서가 터져 나오자, 연구진은 그 아이디어를 즉각 다른 에이전트들에게 이식하며 나비에-스토크스에 화력을 집중시켰다. 테렌스 타오 UCLA 교수가 AI가 헬스장에서 기계가 대신 역기를 들어주는 것과 같다고 우려했던 바로 그 현장이 현실화된 것이다. 인간 연구자들은 에이전트와 에이전트 사이를 오가며 영감을 교배시키는 꿀벌의 역할을 자처해야 했다.

바깥 힘과 내부 진동이 빚어낸 수학적 예술

연구진이 찾아낸 해법의 뼈대는 정교함의 극치였다. 이들은 유체 중심부로 점점 빨려 들어가는 소용돌이를 만들어냈다. 시간 핏줄을 따라 소용돌이의 크기는 줄어들고 그 안의 속도는 눈덩이처럼 불어난다. 하지만 문제가 있었다. 소용돌이를 이렇게 몰아붙이려면 바깥에서 밀어주는 외력 또한 끝없이 커져야 하는데, 밀레니엄 문제의 조건상 바깥의 힘은 시간과 공간에 따라 부드럽고 매끄럽게 유지되어야만 했다.

이 모순을 해결하기 위해 연구진은 중심 소용돌이 바깥쪽 고리 모양 영역에 아주 미세한 진동들을 심어 넣었다. 이 진동들은 안쪽의 고속 회전과 바깥쪽의 저속 회전 사이에서 운동량을 자연스럽게 교환하며 외부 힘이 짊어져야 할 부담을 내부에서 분산시켰다. 바깥의 힘이 무한대로 폭주하지 않아도 중심의 소용돌이는 스스로 가속도를 붙여 특이점을 향해 치달을 수 있는 균형점이 마련된 것이다.

물론 이 아이디어가 논문 한 장으로 뚝딱 완성된 것은 아니다. 진동을 하나 추가하면 기존 흐름과의 상호작용 때문에 미세한 오차가 발생하고, 그 오차를 고치면 또 다른 자잘한 균열이 생기는 식이었다. 이 남는 오차를 계산하고 보정하고 다시 검증하는 지독한 반복 작업을 수없이 거듭한 끝에 완성된 결과물이 바로 166쪽에 이르는 방대한 논문이다.

🔥 지적 재산권과 공로 배분을 둘러싼 진흙탕 싸움

OpenAI의 성과 발표 직후, 뉴욕대의 트리스탄 버크마스터 교수는 자신이 앤트로픽 소속 연구원과 함께 이 문제를 거의 다 풀어가는 시점에 OpenAI가 자신들의 미공개 연구 방향을 가로챘거나 무단으로 활용했다는 취지의 의혹을 제기했다. 우리의 접근법을 연구하는 사람이 전 세계에 드물었는데 모델에 입력하자마자 며칠 만에 튀어나올 리 없다는 주장이다.

이에 대해 OpenAI는 자사 연구원들과 AI 에이전트들이 버크마스터 측의 비공개 연구를 전혀 보지 못했으며 데이터 접근도 없었다고 강하게 반박했다. 거인의 어깨 위에 올라타 가장 먼저 도달한 이가 누구인가를 두고 벌어지는 이 볼사납고 치열한 공방은, AI 시대에 지적 성과의 주인이 과연 누구여야 하는지 우리에게 씁쓸한 질문을 던진다.

수학적 증명과 현실 세계의 거대한 괴리

자연의 물과 공기는 이 논문처럼 움직이지 않는다

100만 달러짜리 난제가 풀렸다는 소식에 일기예보가 눈에 띄게 정확해지고, 비행기 설계가 혁신적으로 바뀌며, 우리 몸속 혈류의 흐름이 단숨에 시뮬레이션될 것이라 기대하는 이들이 많다. 하지만 결론부터 말하자면 전혀 그렇지 않다. 이번 논문에서 이뤄낸 특이점의 발견은 어디까지나 바깥에서 극도로 정교하고 인위적인 힘을 설계해 가했을 때만 성립하는 특수한 조건의 결과물이다.

자연계에 존재하는 물이나 공기가 흐를 때 이처럼 수학적으로 완벽하게 통제된 외력이 우연히 작용할 확률은 수치적으로 제로에 가깝다. 양자역학이 존재함에도 불구하고 우리가 일상에서 벽을 그대로 통과하는 초능력을 볼 수 없는 것과 정확히 같은 이치다. 수학적으로 허용되는 세계와 실제 눈앞에 펼쳐지는 물리적 현상은 완전히 별개의 영역이다.

클레이 수학연구소 역시 이번 논문이 나왔다고 해서 곧바로 밀레니엄 문제 해결로 인정해주지 않는다. 정식 학술지에 논문이 실린 이후 전 세계의 내로라하는 수학자들이 최소 1년에서 2년 동안 피를 말리는 검증 작업을 거쳐야 비로소 심사 자격이 주어진다. 오죽하면 OpenAI 스스로도 이번 결과로 당장 상금을 신청할 계획은 없다고 한발 물러섰을까.

알파고 쇼크 그 이상: 인류 지성의 주도권은 어디로 가는가

가장 깊은 타격을 입은 곳은 다름 아닌 인간 수학자들의 자존심이다. 알파고가 이세돌 9단을 꺾었을 때 바둑계는 충격을 받았지만, 바둑은 결국 유한한 규칙 안에서 경우의 수를 다투는 게임이었다. 반면 수학은 인류가 쌓아올린 가장 순수한 추상적 사고의 성전이었다. 그 성전의 가장 높고 단단한 첨탑을 기계가 단 88시간 만에 정복해 버린 것이다.

테렌스 타오의 경고처럼, 문제를 풀기 위해 머리를 싸매고 고뇌하는 과정 그 자체야말로 인간이 지식을 내면화하고 새로운 지혜로 나아가는 유일한 통로였다. 기계가 헬스장 바벨을 대신 들어주는 순간, 우리의 근육은 퇴화할 수밖에 없다. AI가 뱉어낸 166쪽짜리 증명을 인간이 과연 온전히 이해하고 소화할 수 있을지, 아니면 이제 인간은 AI가 써 내려간 기보를 해석하기 바쁜 하수인으로 전락하게 될지 두려움이 앞서는 이유다.

💭 에디터의 단상 : 정답을 아는 것과 질문을 던지는 것의 무게

90년 넘게 인간의 발목을 잡았던 난제가 AI의 막대한 컴퓨팅 파워 앞에서 무너지는 광경을 보며 묘한 허무함과 경외감을 동시에 느꼈다. 우리가 수십 년 동안 거대한 장벽 앞에서 좌절하며 흘린 땀방울이, 단 일주일 동안 밤낮없이 돌아간 서버의 연산 결과물 앞에 단숨에 압도당한 기분이랄까. 이제 인류는 답을 찾는 능력을 기계에게 완전히 양도해 버린 것인지도 모른다.

하지만 그럼에도 불구하고 여전히 마음 한구석을 채우는 생각은 따로 있다. 세상을 근본적으로 뒤흔든 것은 언제나 기계가 내놓은 건조한 정답이 아니라, 인간이 던졌던 날카롭고 엉뚱한 질문들이었다. AI가 166쪽의 증명을 써 내려갔다 해도, 그 증명이 왜 아름다운지, 그 속에 담긴 수학적 의미가 우리의 삶과 우주를 어떻게 연결하는지 의미를 부여하고 곱씹는 일은 여전히 인간의 몫으로 남아 있어야만 한다. 기계가 정답을 쥐고 흔드는 시대일수록, 우리는 더 집요하게 질문을 품고 살아남는 법을 배워야 한다.

이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.

90년이 넘도록 수학자들의 머릿속을 짓눌렀던 거대한 장벽은 마침내 무너졌지만, 그 잔해 위에서 우리가 마주한 풍경은 생각보다 훨씬 더 쓸쓸하고 낯설다. 기계가 찾아낸 정답의 완결성보다, 그 정답을 대하는 우리의 시선이 길을 잃은 듯 흔들리는 이 시점에서 과연 다음 세대의 거인은 누구의 어깨 위에 서게 될지 씁쓸한 여운이 가시지 않는다.

기계가 증명해낸 진실의 무게는 과연 인간의 이해를 넘어 어디까지 닿을 수 있을까.

#나비에스토크스 #OpenAI #수학난제 #밀레니엄문제 #AI연구 #유체역학 #수학계충격 #과학기술 #딥러닝 #인공지능 #수학적증명 #과학이슈 #기술혁명 #챗GPT #수학사 #학문적논란 #트리스탄버크마스터 #블로우업 #물리학 #수학자의고민 #과학블로그 #미래기술 #AI와수학 #연구논문 #지적호기심 #기술의미래 #인류지성 #과학트렌드 #논문분석 #디지털혁신