엔비디아의 독주 체제로 굳어지던 AI 반도체 판도에 거대한 균열이 가기 시작했다. 📉 전 세계의 모든 빅테크가 엔비디아의 GPU를 구하지 못해 발을 동동 구르던 때가 엊그제 같은데, 이제는 상황이 완전히 달라졌다.
구글이 10년 동안 자신들의 데이터센터 내부에서만 꼭꼭 숨겨두었던 독트린을 깨고 세상에 칩을 내놓았기 때문이다.
구글이 쏘아 올린 작은 공, 앤스로픽과의 수십억 달러 계약
10년 만의 봉인 해제와 앤스로픽의 선택
구글이 자신들이 직접 설계하고 자사 컴퓨터 내부에서만 쓰던 칩을 외부 기업에 처음으로 공개했을 때, 업계는 그야말로 발칵 뒤집혔다. 💡 클라우드 뒤에 숨어 거대한 모델을 돌리는 AI 기업 앤스로픽은 구글과 수십억 달러 규모의 계약을 맺고 최대 100만 개의 해당 칩을 사용하기로 결단했다.이 계약은 단순한 하드웨어 거래가 아니었다. 앤스로픽이 구글 칩을 쓰기로 선언한 지 불과 26일 만에, 엔비디아 및 마이크로소프트와 또 다른 거대 거래를 체결하는 기묘한 배경이 되었다. 구글은 엔비디아의 독점을 막기 위해 수년 동안 뼈를 깎는 노력을 기울였지만, 앤스로픽 같은 구글의 대형 고객조차 엔비디아와 구글 양쪽을 동시에 저울질하고 있는 것이다.
빅테크들이 생존을 위해 어느 한쪽의 손만 잡지 않고 줄다리기를 하는 모양새는 그야말로 냉혹한 비즈니스의 세계를 보여준다. 결국 돈과 성능 앞에 의리란 없다는 사실을 이 거대한 계약이 증명하고 있다. 👀
음성 검색 3분이 불러온 거대한 반도체 혁명
돌이켜보면 이 모든 거대한 흐름의 시작은 2013년으로 거슬러 올라간다. 당시 Jeff Dean 및 구글 엔지니어들은 "만약 사람들이 음성 검색을 하루에 단 3분만 사용하면 어떻게 될까?"라는 단순하지만 끔찍한 질문을 던졌다. 신경망은 예제로부터 학습하는 프로그램인데, 당시에는 일반 프로세서로 이 엄청난 연산을 소화하고 있었다.하지만 사람들이 실제로 음성 검색을 쓰기 시작하자, 구글은 데이터센터를 3분 만에 사람 당 3배씩 확장해야 하는 물리적 한계에 직면했다. 이 미친 듯이 불어나는 부하를 감당하지 못하면 검색 서비스 자체가 마비될 판이었다.
결국 구글은 자신들의 검색을 더 적은 시간과 적은 전력으로 처리하기 위해 직접 칩을 만드는 전담 팀을 결성하기에 이르렀다. 생존을 위한 절박함이 오늘날 전 세계를 뒤흔드는 TPU의 씨앗을 뿌린 셈이다. 🌱
데이터센터의 폭발과 자체 칩의 숙명
구글의 이 과감한 베팅은 단순히 비용을 아끼는 차원을 넘어섰다. 오늘날 생성형 AI 워크로드가 폭증하면서 클라우드 비용이 통제 불능으로 치닫고 있는 상황을 보면, 10년 전에 이미 자체 칩의 필요성을 느낀 구글의 선견지명이 놀라울 따름이다.실제로 글로벌 컨설팅 기업인 McKinsey 등의 분석에 따르면, 기업의 클라우드 지출 중 상당 부분이 비효율적인 리소스 사용에서 발생하며 AI 워크로드의 경우 그 낭비가 뼈를 때린다. 📉 구글이 자사 인프라에 TPU를 심어 비용을 통제하려 했던 것은, 결국 다가올 AI 인프라 대전에서 하청업체로 전락하지 않기 위한 가장 탁월한 방어 전략이었다고 볼 수 있다.
남들이 만들어 둔 기성복을 입는 대신 온전히 내 몸에 맞는 맞춤형 옷을 짓기로 한 구글의 선택은, 오늘날 엔비디아 독점 구조에 균열을 내는 유일한 무기가 되었다.
엔비디아의 비밀병기, 비디오 게임에서 피어난 GPU와 CUDA
게임용 그래픽카드가 AI를 지배하게 된 이유
그렇다면 구글이 이렇게 쫓기듯 독자 노선을 걷는 동안, 엔비디아는 어떻게 AI 세상의 제왕이 되었을까? 그 시작은 놀랍게도 비디오 게임이었다. 연구원들이 AI를 도울 혁신적인 칩을 발견했을 때, 그것은 엔비디아가 오직 게임 속 화려한 그래픽을 돌리기 위해 만든 GPU였다.게임 속 세상의 그림은 매 순간 끊임없이 변하고, 매 프레임마다 상상을 초월하는 양의 계산이 필요하다. GPU는 바로 이 엄청난 수의 계산을 한 번에 처리하는 데 특화되어 있었다.
이를 두고 현장에서는 "거대한 시트의 셈을 방 가득한 사람들에게 나눠주고, 각자 작은 부분을 동시에 처리하는 것"과 같다고 비유하곤 한다. 인공지능의 수많은 산술 연산 역시 이와 정확히 같은 방식으로 쪼갤 수 있었기에, 게임용으로 태어난 칩이 영문도 모른 채 AI 시대의 심장이 된 것이다. 🎮
AlexNet의 우승과 개발자들의 무기, CUDA
결정적인 전환점은 AlexNet이라는 이미지 인식 시스템이 2개의 엔비디아 GPU 위에서 훈련되면서 찾아왔다. 이 시스템은 엄청난 마진으로 메이저 경진대회에서 우승을 거머쥐며 전 세계 연구원들의 눈을 번쩍 뜨게 만들었다.하지만 하드웨어만 좋다고 세상이 바뀌진 않는다. 엔비디아는 이미 프로그래머들이 그래픽 외의 잡동사니 연산에도 GPU를 자유롭게 끌어다 쓸 수 있게 해주는 마법 같은 소프트웨어, CUDA를 손에 쥐고 있었다.
신경망 작업의 핵심은 결국 커다란 숫자들의 그리드를 곱하고 더하는 단순 반복 작업이었고, GPU와 CUDA의 결합은 AI 학습의 표준 도구로 순식간에 자리 잡았다. 이때 뿌려진 씨앗이 오늘날 엔비디아를 시가총액 최상위의 괴물로 만들었다고 해도 과언이 아니다.
18년 동안 단단하게 박힌 소프트웨어의 뿌리
엔비디아의 진짜 무기는 칩 자체의 물리적 성능이 아니다. 엔비디아를 하나의 커다란 나무로 비유하자면, 우리가 눈으로 볼 수 있는 화려한 부분은 하드웨어인 GPU와 랙(Rack)이지만, 진짜 핵심은 지하 깊은 곳에 박혀 있는 CUDA라는 뿌리다.엔비디아는 AI 붐이 일어나기 까마득히 전인 2006년에 이 CUDA 생태계를 심었다. AI 모델을 개발할 때 가장 널리 쓰이는 PyTorch 등은 모두 이 CUDA 위에서 가장 깊은 뿌리를 내리며 자라났다.
수백만 명의 개발자가 수년에 걸쳐 이 위에 코드를 쌓아 올렸기 때문에, 오늘날 다른 회사의 칩으로 넘어가고 싶어도 "몇 주의 재작성과 재테스팅 과정"을 거쳐야 하는 지옥 같은 전환 비용을 치러야 한다. 구글이 자체적인 루트인 Jax와 XLA를 만들어 제미나이를 훈련시켰음에도 불구하고, 여전히 수많은 기업들이 엔비디아의 품을 떠나지 못하는 유일하고도 강력한 이유가 바로 여기에 있다. 🌳
구글 TPU의 구조적 비밀과 진화
유연한 일꾼 GPU와 고정된 계산기 TPU의 차이
그렇다면 구글이 세상에 내놓은 텐서 프로세서 유닛(TPU)은 엔비디아의 GPU와 대체 무엇이 다를까? 구조를 파고들면 두 칩의 철학 차이가 명확하게 보인다.GPU는 수천 개의 작은 '유연한' 일꾼들이 동시에 일하는 구조다. 각자 메모리에서 자신의 번호를 가져와 일을 하기 때문에 필연적으로 "메모리 점프와 일꾼들의 대기"라는 비효율이 발생한다.
반면 TPU는 미리 계획되고 고정된 그리드의 계산기들이다. 모델의 숫자들은 셀에 딱 박혀 있고, 데이터는 한 번 들어온 뒤 세포를 거쳐 끊임없이 재사용된다. 🐜 이를 개미에 비유할 수 있는데, TPU 안의 개미들은 일렬로 줄을 서서 각자 물 한 방울씩을 퍼 나르며 데이터가 흐를 때 단 1초도 멈추지 않고 연속적으로 처리한다.
알파고의 승리를 이끌고 세상에 나오다
이 놀라운 TPU 프로젝트는 놀랍게도 불과 15개월 만에 설계, 빌드 및 배포가 완료됐다. 구글 엔지니어들의 집념이 만들어낸 기적이었다.2016년 구글이 이 칩의 존재를 세상에 공식 발표했을 때, 사실 TPU는 이미 1년 넘게 구글 검색의 뒷단을 지탱하고 있었다. 심지어 인간계 최고의 바둑 고수였던 이세돌을 무너뜨린 알파고(AlphaGo)의 두뇌 속에서도 이 TPU가 묵묵히 땀을 흘리고 있었다.
바둑판 위에서 무수한 경우의 수를 계산하던 그 숨은 공신이 바로 구글의 독자 칩이었다는 사실은, 이 하드웨어의 저력을 가볍게 볼 수 없는 이유를 명백히 보여준다. 囲碁
아이언우드와 메모리 병목의 벽을 넘으려는 시도
물론 구글의 TPU가 처음부터 완벽했던 것은 아니다. 학습이 끝난 모델을 가지고 끊임없이 답변을 토해내는 '추론(Inference)' 단계에서는 예기치 못한 암초를 만났다.구글은 답변을 염두에 두고 후속 TPU를 개발했으나, 데이터를 거듭 재사용하는 과정에서 어셈블리 라인이 멈춰 서는 치명적인 병목 현상에 부딪히기도 했다. 이에 구글이 내놓은 해답이 바로 차세대 아키텍처인 아이언우드(Ironwood)다.
아이언우드는 단순한 '더 빠른 계산기'가 아니다. 칩에 훨씬 많은 메모리를 때려 박고, 더 빠른 루트와 칩 간의 초고속 링크를 제공하여 과거의 한계를 정면으로 돌파하고 있다.
칩을 소유하는 방식의 차이, 그리고 거대한 합종연횡
직접 배달하는 젠슨 황과 클라우드로 빌려주는 구글
두 거대 기업의 비즈니스 모델은 철학부터 완전히 갈린다. 엔비디아의 최고 경영자인 젠슨 황은 오픈AI 같은 핵심 고객에게 AI 컴퓨터를 직접 차에 싣고 가서 직접 전달하며 인간적인 관계를 끈질기게 다진다. 🤝반면 구글은 자사의 거대한 데이터센터 건물을 위해 칩을 만들고 기본적으로 내부에서 사용해 왔다. 엔비디아는 전 세계의 다양한 팀들이 각자의 문제를 해결할 수 있도록 하드웨어를 파는 백화점 같다면, 구글은 철저히 자급자족을 지향하던 성채에 가까웠다.
하지만 이 성채의 문이 열리기 시작했다. 구글은 차세대 TPU를 자사 모델 훈련에 쓸 뿐만 아니라, 구글 클라우드를 통해 전 세계 다른 기업들도 이를 빌려 쓸 수 있도록 판을 깔았다.
제미나이 3와 메타, 브로드컴의 선택
시장은 이 변화를 놓치지 않았다. 2025년 11월, 구글은 오직 TPU로만 학습된 제미나이 3를 전격 출시했다. 그리고 불과 일주일 뒤, 메타가 구글의 TPU를 대거 구매하거나 임대하는 방안을 검토 중이라는 보도가 터져 나왔다.엔비디아는 이에 대해 “우리는 구글의 성공을 기쁘게 생각한다. 엔비디아는 여전히 업계의 세대 선두주자”라는 이례적인 성명을 발표하며 여유를 부렸지만, 불과 한 달 뒤 무려 200억 달러 규모의 사상 최대 거래를 체결하며 바쁘게 방어막을 쳤다.
2026년에 이르면 메타는 구글로부터 TPU를 본격적으로 렌트하기 시작하고, 반도체 설계의 명가 브로드컴은 구글과 손을 잡고 이 괴물 같은 칩을 수십억 달러어치씩 찍어내기 시작한다. 더 이상 엔비디아 혼자 해먹던 독점의 성벽에 거대한 균열이 확실히 가고 있는 것이다. 📉
고객들의 줄다리기와 현실적인 비용 방정식
그렇다면 기업들은 왜 엔비디아를 두고 구글의 TPU를 기웃거릴까? 그 해답은 잔인할 정도로 현실적인 비용에 있다.업계의 추정에 따르면 최고급 엔비디아 칩을 제조하는 데 드는 비용은 대략 6,400달러 수준이지만, 시장에서 팔릴 때는 3만 달러에서 4만 달러라는 폭리 수준의 가격표가 붙는다. 구글 역시 자체 칩을 만들 때 마진을 완전히 무시할 순 없지만, 구글 클라우드를 통해 제공하는 TPU는 엔비디아 의존도를 낮추고 싶어 하는 빅테크들에게 매력적인 대안이 된다.
물론 앤스로픽처럼 구글 TPU를 쓰면서도 동시에 마이크로소프트 애저에 300억 달러를 쏟아붓고 엔비디아와 손을 잡는 '양다리 전략'을 취하는 곳도 적지 않다.
아마존 역시 프라이머리 클라우드 파트너로 남으며 특정 1개 칩에 올인하지 않고 여러 서버에 걸쳐 인프라를 구축한다. 구글 역시 이 흐름을 읽고 클라우드 이벤트에서 차세대 TPU를 소개하는 동시에, 엔비디아의 차세대 칩까지 자사 클라우드를 통해 함께 제공하겠다고 선언했다.
결국 승자 독식의 시대는 저물고, 고객이 원하는 대로 골라 쓰는 하이브리드 생태계가 강제되고 있는 셈이다.
이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
엔비디아의 독주를 막아 세울 유일한 대항마로 평가받던 구글의 TPU는, 단순한 하드웨어의 성능 경쟁을 넘어 소프트웨어 생태계와 천문학적인 비용 효율성이라는 거대한 산을 차근차근 넘어서는 중이다.
💡 요약해보면
- 구글은 음성 검색 부하를 해결하기 위해 2013년부터 TPU를 자체 개발했으며, 최근 앤스로픽과 100만 개 공급 계약을 맺으며 엔비디아의 대안으로 급부상했다.
- 엔비디아는 게임용 GPU와 18년 동안 다져온 CUDA 소프트웨어 생태계를 무기로 압도적인 개발자 락인(Lock-in) 효과를 누리고 있다.
- 구글의 TPU는 달러당 성능과 맞춤형 비용 절감을 무기로 메타, 브로드컴 등과의 대규모 협력을 이끌어내며 AI 하드웨어 시장을 복수 생태계로 재편하고 있다.
🔥 하드웨어 성능 뒤에 숨겨진 소프트웨어의 거대한 장벽
우리는 흔히 칩의 연산 속도나 가격표만 보고 승자를 가리키려 하지만, 실제 AI 생태계의 진짜 권력은 코드가 흐르는 길목을 쥐고 있는 자에게 있다.
📊 숫자로 보는 AI 인프라의 냉혹한 현실
최고급 엔비디아 칩의 제조 원가는 대략 선으로 추정되지만, 시장에서 거래되는 가격은 에 달한다. 이 엄청난 마진 구조야말로 빅테크들이 기민하게 자체 칩 개발과 TPU 렌털 생태계로 눈을 돌릴 수밖에 없는 가장 정직하고도 뼈아픈 이유다.
💭 에디터의 단상 : 결국 선택은 비용과 생태계의 줄다리기다
기술의 발전 속도를 보면 늘 감탄하게 되지만, 그 이면에서 벌어지는 판싸움을 들여다보면 결국 인간의 이기사와 자본의 논리가 모든 것을 움직인다는 생각이 든다. 구글이 10년 전 음성 검색의 폭발적인 부하를 견디지 못해 바닥부터 칩을 설계하기 시작했을 때, 그들이 오늘날처럼 엔비디아의 아성을 흔드는 주역이 될 줄 누가 알았을까.
개발자들의 오랜 습관과 수많은 라이브러리가 얽혀 있는 CUDA의 뿌리는 쉽게 뽑히지 않겠지만, 메타나 앤스로픽 같은 거물들이 구글의 TPU를 기꺼이 포섭하고 대안으로 삼는 모습은 시장이 이미 독점을 거부하고 있다는 명확한 시그널이다.
결국 엔비디아든 구글이든 살아남는 자는 가장 빠른 칩을 만드는 곳이 아니라, 기업들의 지갑 사정을 가장 가볍게 만들어주는 곳이 될지도 모른다. 우리 같은 실무자들에게는 어느 생태계가 더 오래 살아남아 내 커리어를 지켜줄지가 더 중요한 관전 포인트 아닐까 싶다. 😅
과연 다음 세대의 AI 패권은 어떤 칩의 손을 들어주게 될까.
#구글 #엔비디아 #AI반도체 #TPU #GPU #인공지능 #빅테크 #반도체전쟁 #딥러닝 #머신러닝 #클라우드 #앤스로픽 #CUDA #제미나이 #테크뉴스 #IT트렌드 #하드웨어 #프로세서 #알파고 #젠슨 황 #브로드컴 #메타 #마이크로소프트 #데이터센터 #인공지능반도체 #AI칩 #기술혁신 #미래기술 #소프트웨어생태계 #반도체시장
0 댓글