반도체·AI·메모리여전히 메모리주를 긍정적으로 보는 이유, 엔비디아와 AMD 치킨 게임의 본질

안녕하세요, 카레라입니다. 사진 출처: 구글 AI CAPEX 부담으로 모든 빅테크들이 난리법석을 떨고 있는 와중에 평온하게 횡보하고 있는 AI 시대의 메인 수혜주들이 있습니다. 엔비디아(NVDA)와 AMD입니다. 사진 출처: 위키피디아, 인공지능신문 젠슨 황: AI CAPEX인가 뭔가 그거 때문에 빅테크 주식들이 위아래로 난리났던데 ​ 리사 수: 몰라 우린 그런 거... ​ 마이크로소프트(MSFT), 구글(GOOGL), 아마존(AMZN), 메타(META) 같은 회사들이 데이터센터를 짓느라 쏟아붓는 돈이 2026년 한 해에만 수천억 달러 규모입니다. "이렇게 쓰는데 대체 언제 회수하냐" 는 원성이 여기저기서 나오고 있지요. ​ 여러분도 체감하고 계시겠지만 그래서 요즘 실적 발표는 살얼음판입니다. ​ 실적 발표에서 조금이라도 CAPEX 부담 관련 이야기가 나오면 주가를 무지성으로 끌어내리고 좀 괜찮다 싶으면 얘는 괜찮군! 하고 무지성으로 올라가는 그런 양상이 반복되고 있죠. AI CAPEX가 거의 무한대에 가까이 늘어나는 이런 환경에서 한 발짝 떨어져 있는 엔비디아와 AMD의 운명은 어떻게 될까요? 정확히는 아무도 모르겠지만, 나름대로 짐작을 해 보겠습니다. CAPEX는 건물이나 장비처럼 여러 해에 걸쳐 쓰는 큰 자산에 미리 붓는 돈입니다. ​ AI 회사들에게는 데이터센터와 그 안을 채우는 칩이 바로 그 대상이죠. 액수도 물론 크지만 문제의 본질은 액수(X) 속도(O)입니다. ​ 지금 가장 큰 문제는 지출이 매출보다 훨씬 빨리 늘고 있는 것 어떤 회사들은 벌어들이는 돈의 절반 가까이를 CAPEX에 쏟아붓고 있음 이건 전통적인 기술 회사에서는 상상하기 어려운 비율이고 오히려 발전소나 중공업 회사에 가까운 모습 이미 쓸 현금이 부족해 빚을 내서 데이터센터를 짓는 빅테크까지 나오기 시작함 사진 출처: 구글 요걸 가장 잘 보여주는 것이 메타입니다. 메타는 매출이 28% 늘었는데도 지출이 더 빠르게 불어나자 주가가 급락했습니다. ​ 반면 마이크로소프트와 아마존은 지출과 함께 매출이 확실히 따라온다는 걸 보여주며 주가가 올랐죠. 사실 같은 돈의 흐름 안에서도 돈을 쓰는 쪽과 받는 쪽의 입장은 정반대입니다. 데이터센터를 짓는 회사들의 고민(현금이 마르고, 빚이 늘고, 언제 본전을 뽑을지 불투명한 것)이 엔비디아에게는 그대로 매출이 됩니다. 클라우드 회사들이 지출을 늘릴수록 엔비디아의 칩이 더 팔리겠죠. 엔비디아는 빅테크들과는 정반대로 돈 문제가 전혀!!! 정말 티끌만큼도 없습니다. 사진 출처: macrotrend 영업이익률은 70%를 웃도는 데다가 지금은 수요가 공급을 초과하는 상황입니다. ​ 보통 반도체 회사가 위험해지는 건 재고가 쌓여 가격이 무너질 때인데 엔비디아는 만들면 곧바로 팔려나가는 제품만 가지고 있습니다. 사진 출처: 구글 그리고 CAPEX 문제도 엔비디아와 1광년쯤 떨어져 있는, 전혀 상관없는 남의 이야기입니다. ​ 엔비디아의 CAPEX는 이번 분기에 17.6억 달러입니다. 연간으로 따지면 약 70억 달러네요. 이것도 물론 큰 돈이지만 빅테크들의 수천억 달러에 비하면 그냥 아무것도 안 하는 것이나 마찬가지입니다. 근데 AI 칩 개발하는 데에도 엄청난 돈이 들 텐데 엔비디아는 왜 유독 혼자만 CAPEX가 적을까? 사실 반도체 회사에서 돈을 가장 많이 잡아먹는 자산은 칩을 실제로 찍어내는 제조 공장입니다. 데이터센터도 돈이 많이 들지만 최신 공장 하나 짓는 데 수백억 달러는 가볍게 들어갑니다. 사진 출처: stockanalysis 엔비디아는 이 공장을 짓지 않습니다. 연구, 개발만 할 뿐이죠. ​ 그래서 회계의 R&D 항목에서 찾으면 되는데, 연간 190~200억 달러가 듭니다. 아까 CAPEX보다는 큰 돈이지만 여전히 빅테크들이 무한히 쏟아붓는 돈에 비하면 없는 거나 마찬가지입니다. ​ 보통 이 R&D 비용의 대부분은 인건비일 것이고 최고 인재를 데려오느라 인건비는 많이 쓰지만 건물을 직접 짓는 자본 부담은 없다시피 합니다. 그래서 지출은 적고 현금은 쌓이는 거죠. 여기까지만 보면 엔비디아는 흠잡을 데 없어 보입니다. ​ 다만! 현재 엔비디아 최대의 적은 추론(inference)입니다. 이것도 지금까지 무진장 많이 설명한 것 같지만 간단히 복습하겠습니다. 사진 출처: Turing Post Korea AI 작업은 모델을 처음부터 똑똑하게 만드는 학습(training), 다른 하나는 이미 만들어진 모델을 돌려서 답을 뽑아내는 추론(inference)입니다. 챗봇에 질문을 던지면 답이 나오는 과정이 추론인데 엔비디아의 범용 칩은 학습에 압도적으로 강하지만 추론은 성격이 다릅니다. 갈수록 AI 모델 섞어쓰기가 더 중요해지는 이유, 그리고 관련주 삼총사의 역할 이해하기 안녕하세요, 카레라입니다. 무어의 법칙이 뭔지 기억나시는 분 있으신가요? 1965년에 인텔 창업자 고든 무어가 관찰한 건데 칩 하나에 들어가는 트랜지스터(전기 스위치 역할을 하는 아주 작은 부품)의 개수가 약 2년마다 두 배로 늘어난다는 규칙입니다. 부품이 촘촘해지 contents.premium.naver.com 요 콘텐츠에서 말씀드렸듯 이제는 정해진 작업을 최대한 싸게 많이 돌리는 게 관건이 되었습니다. ​ 회사의 핵심 비용을 엔비디아가 맘대로 좌우하게 놔둘 수 없으니 엔비디아의 최대 고객인 구글, 아마존, 마이크로소프트, 메타가 바로 그 전용 칩을 직접 만들기 시작한 지도 오래되었습니다. 이게 우리가 아는 ASIC이죠. 사진 출처: 야후파이낸스 엔비디아 매출의 약 40%가 이 네 회사에서 나옵니다. ​ 이들이 자기 칩을 만든다는 건 최대 고객이 곧 경쟁자로 돌아선다는 뜻이겠죠. 실제로 구글이 메타에 자사 칩을 공급할 수 있다는 보도가 나오자 엔비디아 주가가 하루에 6% 넘게 빠진 적도 있습니다. ​ 그리고 AI 소프트웨어 기능이 워낙 너무 말도 안 되는 수준으로 발전하다 보니 개발자들이 AI를 만들 때 엔비디아가 기본으로 제공하는 소프트웨어를 점점 떠나서 자체적으로 해결하든가, 아니면 다른 무언가를 쓰려는 경향이 점점 강해지고 있습니다. ​ 이 현상 역시 비용에 민감한 추론에서 가장 두드러집니다. 하드웨어든 소프트웨어든 엔비디아 대탈출 러시가 비용 다이어트에 직결되다 보니 (일단 그게 가능한지는 둘째치고) 다들 다양한 시도를 해보는 중이라는 거죠. ​ 결국 맞춤형 칩의 위협도, 소프트웨어 잠금이 풀리는 것도, 최대 고객이 경쟁자가 되는 것도 모두 추론이라는 한 급소에서 만납니다. 사진 출처: introl.com 논란의 여지가 있지만 엔비디아가 현재 전체 AI 칩 시장의 90%를 가지고 있는데 그 중 추론 시장만 떼어보면 그 점유율이 2028년까지 20~30%로 내려갈 수 있다고 보는 시각도 있습니다. ​ 엔비디아: "알아" ​ 엔비디아도 이걸 잘 알고 있습니다. 엔비디아의 대응 전략 첫 번째는 무진장 빠른 속도입니다. ​ 젠슨 황은 스스로를 최고 매출 파괴자라고 부르는데, 새 제품이 나올 때마다 압도적인 성능으로 자기네 작년 제품을 싹 다 구식으로 만들어서 판매량을 박살내버린다는 뜻입니다. 사진 출처: 애플경제 그러면서 "니들이 다른 회사 칩 쓰는 건 상관 안 할 테니까, 그것도 우리 시스템 안에서 돌리면 더 효율적으로 굴릴 수 있게 해줄게" 라는 당근을 가지고 시장의 중앙에 떡하니 버티고 있습니다. ​ 이 대응 전략들이 지금까지는 잘 통했지만 위협의 방향이 학습에서 추론으로 옮겨가고 있는 사실만은 확실합니다. 엔비디아가 언제까지나 이런 방법만 써서 방어를 하기는 어렵습니다. 그리고 AMD는 이 와중에 뭘 하고 있을까요? 엔비디아와 AMD의 차이에 대해 아주 오래 전에 만든 콘텐츠가 있습니다만, 상황이 많이 달라졌으니 다시 최신 상황을 정리하겠습니다. 사진 출처: 구글 AMD: 엔비디아를 이기려면 다른 방법은 도저히 답이 없고 메모리 용량빨로 밀어봐야겠다. ​ 현재 AMD의 가장 확실한 무기는 메모리 용량입니다. ​ 우리가 HBM들에서 보듯 추론에서 진짜 병목은 계산 속도가 아니라 메모리인데 AI 모델은 덩치가 항상 커서 메모리를 많이 먹습니다. 칩 하나의 메모리가 부족하면 모델을 여러 칩에 쪼개 나눠 담아야 합니다. ​ 그러면 칩끼리 데이터를 주고받는 시간이 낭비되고 필요한 칩 개수도 늘어나 비용이 줄줄 샙니다. 사진 출처: commandlinux 놀라운 사실 하나, AI GPU 시장 점유율 한 자리수대인 AMD는 세대를 거듭하며 늘 엔비디아 같은 급 칩보다 더 많은 메모리를 담아왔습니다. 예를 들어 AMD의 MI350X는 288GB 메모리를 싣는데 엔비디아 B200은 192GB입니다. ​ 4천억 개가 넘는 매개변수를 가진 큰 모델을 돌릴 때 AMD 칩은 3개면 되는데 엔비디아 칩은 5개가 필요합니다. 이게 뭔 소린지는 중요하지 않습니다. ​ 중요한 건 칩 5개 살 걸 3개로 해결하는 셈이라는 뜻이고, 차세대 MI400에서는 메모리를 432GB로 더 키워 격차를 벌린다고 합니다. ​ 메모리가 곧 칩 개수를 줄여주니 자연스럽게 비용 우위로 이어질 수 있음 여러 분석을 종합하면 추론 중심 작업에서 AMD를 쓰면 30~40%가량 아낄 수 있다고 함 여기서 비용이라는 건 칩값만이 아니라 전기요금과 유지보수까지 포함한 총소유비용(TCO) 토큰 하나를 원가에 가깝게 팔아야 하는 치킨게임에서 이 정도 절감은 마진에 중대한 영향을 줌 사진 출처: AMD 그리고 엔비디아의 해자가 폐쇄적인 CUDA(아까 말한 "우리 시스템 위에서 너네가 하고 싶은 걸 해라" 의 핵심이 되는 소프트웨어)라면 AMD는 정반대로 누구나 들여다보고 고칠 수 있는 개방형 소프트웨어(ROCm)를 내세웁니다. ​ 엔비디아: 다른 칩 사도 되는데 시스템은 우리 거 쓸 거지? 우리가 잘 만들어 놨어. 웬만하면 이거 써 ​ AMD: 님들 엔비디아한테 종속되기 싫어서 다른 칩 사는 거 아니었음? 저런 사탕발림에 속아넘어가지 말고 우리가 훨씬 자유로운 거 줄 테니까 이거 쓰셈 ​ 이렇게 보면 1등 엔비디아와 후발주자인 AMD의 차이가 확 보이죠. 사진 출처: aitimes.com 어쩌구 저쩌구, 강점을 길게 써놨는데 사실 전문적인 내용들이다 보니 AMD 제품들이 그래서 엔비디아 제품들 대비 뭐가 얼마나 좋다는 건지 우리는 감이 잘 안 옵니다. ​ 아마 현업 종사자가 아니면 영구히 모를 겁니다. ​ 우리보다 훨씬 똑똑한 회사들이 어떻게 행동하는지만 보면 되겠죠. 작년 말 오픈AI가 AMD 지분 10%가량을 확보하고 대규모 칩 공급 계약을 맺었습니다. AI 최전선 회사가 AMD에 크게 베팅했다는 건 위 강점들이 실전에서 인정받았다는 뜻입니다. ​ 다만 똑같은 논리로 AMD의 약점도 주장할 수 있습니다. ​ 학습에서는 여전히 엔비디아가 한참 앞섬 대규모 학습 작업에서 AMD 칩은 이론 성능의 30% 미만만 끌어내는 반면 엔비디아는 40%가량을 뽑아낼 수 있음 게다가 여러 칩을 협업시키는 소프트웨어와 칩 사이를 잇는 네트워크 기술(아까 말한 시스템의 일부)은 아직 엔비디아와 상대가 안 됨 사진 출처: 구글 그래서 AMD의 가격 우위는 "그렇게 군데군데 엔비디아보다는 불편한 AMD의 부분"들을 손볼 기술력이 있는 팀에게만 온전히 실현됩니다. 자동차로 따지면 로터스 같은 고성능이지만 매니악하고 수리도 어려운 차종으로 생각하시면 쉽습니다. 자가 수리, 부품 수급 역량과 개인 개러지(차고)가 있으면 저 같아도 이런 거 타고 다니고 싶겠네요. ​ 빅테크들이야 그럴 역량이 충분히 있으니 대형 고객에게는 AMD의 이런 장점들이 큰 이득이지만 그렇지 않은 곳(전 세계 수십만 곳의 중소형 AI 개발 기업들)에게는 좀 그림의 떡인 셈이죠. ​ 기술력이 넘쳐나는 빅테크들: 와 AMD꺼 우리가 잘 만지면 엔비디아 것보다 가성비 좋겠는데 ​ 기술력이 아직 부족한 중소기업들: 모야 AMD 시스템 이거 왜케 복잡하고 어려워요 그냥 조금 비싸도 엔비디아 쓸래요 사진 출처: 구글 알았어, 어려운 이야기는 잠깐 컷! 그래서 결론이 뭔데? 본질로 다시 돌아가보자면, AI 초창기 그러니까 모델을 처음 만들어내던 학습 중심의 시기에 엔비디아가 압도적이었던 이유는 그 시기가 요구한 게 "불확실성 앞에서의 최대 성능" 이었기 때문입니다. 아무도 어떤 방식이 통할지, 얼마나 큰 규모가 필요할지 모르는 상황에서 고객이 산 건 사실 칩이 아니라 안전에 가까웠다고 생각됩니다. 무슨 일이 있어도 돌아가고 칩이 100개 있든 9999개 있든 하나처럼 묶어주고 남들이 다 쓰는 소프트웨어 위에서 즉시 작동하는 것 말입니다. 이 때는 "실패하지 않는 것" 이 훨씬 중요했습니다. 모두가 모든 것을 처음 해보는 상황이었으니까요. ​ 엔비디아의 폐쇄적이지만 완결된 풀패키지는 이 실패 회피 수요에 완벽하게 맞아떨어지는 상품이었고 그래서 비싼 값을 받을 수 있었습니다. ​ 그런데 성숙기로 넘어오면서 많은 것이 달라지고, 우리는 실제로 그 현상을 보고 있습니다. ​ 이제 쓸 만한 모델은 이미 만들어졌음 승부는 그 모델을 얼마나 싸게 많이 돌려서 토큰 하나당 이윤을 남기느냐가 됨 토큰 1M개당 비용을 0.01달러, 0.001달러라도 깎는 것 ​ 추론은 학습과 달리 각각의 작업이 서로 독립적이고 반복적입니다. 질문 하나에 답하는 일과 다른 질문에 답하는 일이 서로 별개입니다. 그러니 수천 개의 칩을 하나처럼 촘촘히 엮을 필요가 줄어듭니다. ​ 엔비디아의 가장 강력한 무기였던 시스템 통합과 초고속 연결의 가치가 추론에서는 힘을 덜 발휘하는 겁니다. ​ 대신 추론의 진짜 병목은 앞서 말한 메모리입니다. 모델을 칩에 올려두고 계속 꺼내 쓰는 작업이라서 메모리가 크면 더 적은 칩으로 같은 일을 해내고 그게 곧바로 토큰당 원가로 직결되거든요. ​ 그리고 이 부분은 다른 모든 게 불편하고 번거롭던 AMD가 한 번도 놓친 적 없는 강점입니다. ​ 같은 급 엔비디아 칩보다 항상 더 많은 메모리를 더 싼 값에 제공해왔거든요. ​ 엔비디아 시스템의 해자였던 소프트웨어 장벽마저 성숙기에는 낮아질 수도 있음 학습은 당시 데이터센터도, 칩도 부족하던 환경에서 성능을 극한까지 짜내려고 칩에 딱 맞춘 정교한 프로그래밍이 필요해서 CUDA 생태계가 사실상 필수였음 하지만 이제 기업들의 AI 도입이 보편화되면서 추론은 각자 회사에서 자기네가 필요한 표준적인 도구를 얹어 무난하게 돌리는 경우가 대부분 그래서 AMD의 개방형 소프트웨어로도 충분히 감당되는 작업이 많아짐 ​ 자 그러면 반전 하나. 우리도 아는 거, 카레라도 아는 걸 엔비디아의 세계 최고 초천재 석학들이 모를까요? 당연히 다 알고 있을 겁니다. ​ 엔비디아: AMD를 못 기어오르게 찍어누르려면 메모리를 더 많이 탑재하면 되겠네? 사진 출처: news 아직 양사의 최신 칩 메모리 탑재량을 비교해보면 엔비디아 288GB, AMD 432GB로 AMD의 우위입니다. 나머지 성능들은 당연히 엔비디아가 좀 더 좋겠지만, 추론 가성비 측면에서는 메모리가 더 중요하다는 부분을 다시 기억해주세요. ​ 엔비디아는 이 일을 잊지 않을 것입니다... 그리고... 사진 출처: buildmvpfast ???: 힘의 차이가 느껴지십니까? 엔비디아는 2027년 하반기 Rubin Ultra에서 말도 안 되는 차원도약(?)을 시도, GPU당 1TB(1,000GB)로 메모리를 키운 제품을 내놓을 계획입니다. AMD도 MI500을 준비하고 있고요. 아무튼 벼랑 끝에서 기어오르는 AMD의 추격 전략은 결국 하나로 요약됩니다. ​ 추론 가성비를 끌어올리기 위해 메모리 용량을 무식하게 키우는 것. ​ 그리고 엔비디아도 이걸 뻔히 알고 있죠. 원래 엔비디아가 강했던 건 연산과 시스템 통합이었고 메모리 용량은 유일하게 AMD에 내주던 빈칸이었는데 그 마지막 빈칸마저 채워버리면 AMD를 도로 벼랑 밑으로 밀어서 떨어뜨릴 수 있다는 걸 아는 겁니다. ​ 빅테크 데이터센터 치킨게임만큼 눈에 띄지는 않지만 이 설계 업체들도 자기 나름대로 치킨게임을 하고 있는 겁니다. 양쪽 다 1년 주기로 신제품을 쏟아내며 메모리를 누가 더 때려박느냐로 싸우는 구도가 만들어졌죠. ​ 사실 AMD가 "우리 꺼 가성비 좋으니까 써 보세요" 라고 하려면 생태계 개방이니 싼 값이니 이런 건 둘째 문제고 앞서 말씀드린 단위 칩당 메모리 효율을 극대화할 수 있다는 걸 보여줘야 합니다. ​ 이 경쟁은 앞으로 더 붙고, 더 심하게 붙을 겁니다. ​ 그런데 여기서 엔비디아가 이기든 AMD가 이기든 둘 다 HBM을 더 많이 쓰는 방향으로만 달려가고 있다는 부분이 중요합니다. 이 말도 안 되는 용량을 구현할 방법이 HBM밖에 없으니까요. ​ 칩 전쟁의 승자가 누구든 그 칩에 들어갈 HBM을 만드는 회사는 무조건 물량이 늘어날 수밖에 없는데 결국 이 모든 메모리 경쟁은 HBM 수요로 되돌아오게 됩니다. ​ HBM은 아직 끝나지 않았다는 가장 확실한 증거라고 볼 수 있겠습니다. ​ 한국 메모리주든, 미국 메모리주든 아직 발을 뺄 때는 아닌 것 같습니다! 어제 올려드린 콘텐츠도 참고해서 "공포에 사도 되는 이유" 중 하나로 보아주시면 감사하겠습니다. ​ 읽어주셔서 감사합니다. ^^