AI·반도체갈수록 AI 모델 섞어쓰기가 더 중요해지는 이유, 그리고 관련주 삼총사의 역할 이해하기

안녕하세요, 카레라입니다. 그 동안 컴퓨터의 발전은 무어의 법칙에 의존했다. 그렇지만 AI 시대에는 아예 이 법칙을 잊어버리고 새로운 법칙을 기억해야 한다! 사진 출처: semiwiki 무어의 법칙이 뭔지 기억나시는 분 있으신가요? ​ 1965년에 인텔 창업자 고든 무어가 관찰한 건데 칩 하나에 들어가는 트랜지스터(전기 스위치 역할을 하는 아주 작은 부품)의 개수가 약 2년마다 두 배로 늘어난다는 규칙입니다. ​ 부품이 촘촘해지면 같은 크기 칩이 더 빨라지고 싸지겠죠. 그래서 이 하나의 곡선만 보면 컴퓨터가 얼마나 빨리 발전하는지를 예측할 수 있었습니다. 수십 년간 이게 잘 맞았습니다. ​ 그런데 AI 시대에는 모든 게 달라졌습니다. ​ AI 성능은 칩 하나에서만 나오는 게 아니거든요. 기존 반도체는 그냥 칩만 무진장 빠르게 만들면 됐는데 AI 자체는 성능을 끌어올리는 요소가 최소 네 군데나 있습니다. ​ 실리콘 아키텍처 소프트웨어 데이터 ​ 어렵게 생각할 거 없습니다. ​ 실리콘 = 기존 무어의 법칙이 여전히 적용되는 반도체입니다. ​ 그런데 이제 AI 모델의 설계(아키텍처), 대답을 내놓는 서빙(사용자 요청을 받아서 답을 내주는 소프트웨어), 효율적으로 구겨넣은 자료(데이터)가 여기에 꼽사리를 끼기 시작합니다. 옛날 반도체: 같은 면적의 칩에 더 많은 회로를 구겨넣으면 되는 게 아닐까? ​ 요즘 반도체: 아냐. 칩 성능이 똑같아도 이렇게 계산하면 훨씬 적은 연산으로 같은 답을 낼 수 있음 ​ 이러니까 "힘의 차이" 측정이 복잡해진 겁니다. 문제는 1개에서 4개로 늘어난 이 성능 요소들이 각자 다른 리듬으로 움직인다는 겁니다. 어제 나온 AI 모델보다 3배 빠른 모델이 오늘 나오기도 하고, 어제 똑똑했던 모델이 오늘 갑자기 멍청해지기도 하고, 하여간 다들 중구난방이죠. 사진 출처: 엔비디아 여기 적혀 있는 숫자, 카달로그 스펙만 가지고는 이제 아무것도 알아낼 수 없고 아무것도 비교할 수 없는 시대가 도래했다는 이야기에요. ​ 지금 H100, H200보다 훨씬 구린 GPU를 가지고도 튀어나오는 중국 AI들이 미국 AI와 비슷비슷한 성능을 내는 게 대표적인 예시입니다. ​ 그래서 업계에서는 칩 성능 대신 아예 새로운 지표를 기준으로 삼자는 이야기가 계속 나오고 있습니다. ​ 업계: 성공한 작업당 비용을 기준으로 삼자! ​ 이게 무슨 말인지 이해하면 재미있는 투자 인사이트를 뽑아낼 수 있는데, 자세히 설명할게요. 사진 출처: hevelon ltd AI 모델은 글을 단어보다 더 잘게 쪼갠 조각 단위로 처리하는데 그 조각을 토큰이라고 부릅니다. 사진 출처: 클로드 대략 영어 단어 하나가 한두 토큰, 한글은 글자마다 더 잘게 쪼개진다고 보면 됩니다. AI 서비스 요금은 보통 "토큰 100만 개당 얼마" 식으로 매겨지죠. ​ 그래서 사람들이 AI가 싸다 비싸다를 따질 때 흔히 이 토큰 값을 봅니다. 그런데 여기에 함정이 있습니다. 토큰이 싸다고 해서 AI가 싼 게 아닙니다. 왜냐하면 우리가 AI한테 진짜로 원하는 건 토큰을 얼마나 소모했는지가 아니고 "제대로 끝난 일" 이거든요! 어떤 값싼 모델한테 코드 작성을 시켰더니 토큰값은 저렴한데 답이 자꾸 틀림 세 번 다시 시키고 다른 AI도 동원하고 사람이 붙어서 검토하고 고쳐야 겨우 쓸 만해짐 반면 비싼 모델은 토큰값은 비싸고 1회 구동이 오래 걸렸지만 한 번에 정확히 끝냄 ​ 누구나 한 번쯤은 이런 경험을 해 보셨겠죠. 토큰 단가만 보면 싼 모델이 이겼지만 일 하나 제대로 끝내는 데 든 총비용으로 따지면 오히려 비싼 모델이 저렴할 수 있습니다. ​ 그래서 업계가 주목하는 새 기준이 바로 여기 있습니다. ​ 받아들일 만한 품질로 유용한 작업 하나를 완료하는 데 드는 비용 = 검증된(성공한) 작업당 비용 사진 출처: 오픈AI 오픈AI, 엔비디아(NVDA) 등이 이미 쓰는 개념입니다. 오픈AI는 성공한 작업당 비용(Cost per Successful Task)이라는 표현을 쓰고... 사진 출처: 엔비디아 엔비디아는 달러당 지능(Intelligence per Dollar)이라는 말을 씁니다. ​ ???: 아... 돈 좀 더 내도 되니까 제발 AI가 한 번에 일을 제대로 했으면 좋겠다 ​ 이 간절한 마음을 수치화한 값으로 이해하면 가장 직관적이겠죠. AI CPU가 몇 Hz네, 램 용량이 몇 GB네 이딴 거 다 소용없고 그냥 저 마음, 즉 성공한 작업당 비용이 AI 성능 지표로 통일될 날도 머지 않았습니다. 이 "성공한 작업당 비용"은 실제로 얼마나 빨리 떨어지고 있을까? 사진 출처: Vested Finance 일단 성공한 작업당 비용 말고 토큰당 비용만 먼저 보면 GPT-4가 처음 등장한 2023년 3월로 잡아보면 토큰 100만 개를 처리하는 데 입력 기준 약 30달러, 출력 기준 약 60달러를 받았습니다. ​ 3년 후인 지금은 같은 GPT-4 수준의 성능을 내는 데 드는 비용이 100만 토큰당 0.5달러 아래로 떨어졌습니다. ​ 2년 만에 약 95%, 3년으로 보면 약 1,000분의 1(!!!) 수준입니다. 그런데 예전 모델은 질문을 받으면 바로 답을 뱉었는데 요즘 추론 모델은 답을 내놓기 전에 속으로 이리저리 따져보는 과정을 길게 거칩니다. 그러면 성공한 작업당 비용을 줄이기 위해서는 싼 모델로 오래 생각하기 vs 비싼 모델로 빨리 생각하기 둘 중에 뭐가 더 비용 효율적일까요? 사진 출처: wavect.io 앤트로픽의 Claude Sonnet 5라는 모델은 토큰 한 개 값만 보면 상위 모델인 Opus 4.8보다 40%가량 쌉니다. 그런데 벤치마크 작업 한 세트를 실제로 끝까지 돌려보니 Sonnet 5가 작업당 약 2.29달러로 Opus 4.8의 약 1.99달러보다 오히려 비쌌습니다. ​ 토큰당 효율은 좋아졌지만 더 큰 모델과 더 긴 추론을 원하는 수요가 그 효율 개선을 상쇄해버렸다고 이해하시면 됩니다. 한 번이 싸지니 더 길게, 더 많이 생각시키는 쪽으로 쓰는 겁니다. ​ 그래서 지금은 토큰당 비용이 싸지는 것과 별개로 성공한 작업당 비용은 그렇게 싸지지 않고 있습니다. 딱 이런 느낌으로 이해하시면 되겠죠. ​ 성공한 작업당 비용이 기술 발전만큼 떨어지지 않으니까 이제는 조금이라도 더 싸게, 유동적으로 AI 모델을 돈 버는 데 쓰는 기업이 더 유리하다. 이것만 기억하셔도 됩니다. ​ 똑같이 AI를 쓰는데, 어떤 회사는 값이 싸질 때마다 그 혜택을 쏙쏙 챙기고, 어떤 회사는 값이 싸져도 남 얘기라면? 당연히 전자가 유리하겠죠. ​ 하나의 프런티어 모델(제일 좋은 AI)에 묶여 있는 기업은 모든 요청에 계속 프런티어 가격을 지불하면서 서비스를 제공하지만 제품 밑의 모델을 갈아끼울 수 있는 기업은 가격 인하가 떨어질 때마다 그 혜택을 즉시 흡수할 수 있습니다. 그러니까 이제 AI 모델들이 대부분 상향 평준화, 성숙기에 접어들면 중요한 건 어떤 AI를 만드냐보다는 어떻게 싸진 AI를 영리하게 갖다 쓰냐일 거라고 생각됩니다. 쉬운 것까지 전부 최고급 모델로 처리하는 기업 쉬운 건 싼 모델로 넘기고 어려운 건 비싼 모델로 넘기는 기업 사진 출처: airwalk reply 얘네들은 비용 원가에서 몇 배씩 차이가 나는 거죠. 이렇게 해야 할 일에 맞는 모델을 유동적으로 쓰는 작업을 모델 라우팅이라고 하는데, 이게 지금 AI 원가를 낮추는 가장 강력한 장치입니다. ​ 다만 어떤 기업들이 어떻게 모델 라우팅을 하는지를 우리가 알 수는 없습니다. 당연히 기업의 최고 기밀이겠죠. ​ 이런 맥락에서 생각해보면 딱 떠오르는 회사가 몇 개 있습니다. 사진 출처: 구글 클라우드플레어(NET)의 주력 제품군들 중 하나인 AI Gateway가 딱 이 일을 하기 위해 태어난 건데, 여러 AI 모델과 공급자를 하나의 관문으로 연결하는 겁니다. ​ 이렇게 작동을 합니다. ​ 무료 사용자의 간단한 질문은 저렴한 오픈소스 모델로 보냄 유료 사용자의 복잡한 질문은 Claude나 GPT 계열로 보냄 특정 모델이 먹통이 되면 다른 공급자에게 넘김 비용 한도를 초과하면 싼 모델로 갈아탐 사진 출처: developers.cloudflare.com Dynamic routing Route AI Gateway requests based on conditions, quotas, and fallbacks using a visual interface or JSON configuration. developers.cloudflare.com 특히 2026년 도입된 Dynamic Routing은 요청의 조건과 사용자 등급과 예산 한도에 따라 모델을 골라 보낼 수 있고 오류가 발생하면 다른 모델로 넘길 수도 있다고 하네요. ​ 모델 라우팅을 거의 그대로 제품으로 만든 겁니다. ​ 클라우드플레어: 앞으로 AI 모델이 많아지고 가격 차이도 나고 모델별 장단점이 복잡해질수록 기업들은 직접 무슨 모델을 어디다 써서 원가를 절감할지 머리아프지 않겠음? ​ 클라우드플레어: 결국 모델 앞에 교통정리 플랫폼이 필요해질 텐데 이걸 우리가 해주면 좋겠지. 사진 출처: mobility labs 클라우드플레어는 원래 본업이 인터넷 트래픽을 교통정리하면서 돈을 벌던 회사였는데 이제 AI 요청까지 교통정리해주려는 거죠. 정말 직관적인 사업 모델입니다. 다만 현재 클라우드플레어 매출에서 AI Gateway가 차지하는 비중은 공개적으로 나와있지 않아서 현 주가(신고가)에 이게 얼마나 반영되었는지는 잘 모르겠습니다. ​ 그래도 혹시나 눌릴 때마다 관심 가지고 챙겨볼 만은 할 것 같습니다. 사진 출처: 구글 AI가 직원은 줄여도 데이터는 못 줄인다! 스노우플레이크의 역설 안녕하세요, 카레라입니다. 즐거운 설 명절 보내고 계신가요? 한국 증시는 계속 쉬지만 미국 증시는 오늘부터 다시 시작입니다. 오늘은 요즘 시장의 트렌드에 맞게 좀 간단하고 직관적으로 스노우플레이크(SNOW) 이야기를 좀 해 보겠습니다. 거두절미하고 먼저 말씀드리면 오늘 contents.premium.naver.com 스노우플레이크(SNOW)는 기존에도 미국주식 사관학교에서 몇 번 언급한 적이 있는데요. ​ 위 링크(스노우플레이크가 182달러 하던 시절)에 기존 투자 논리를 자세히 언급해 놓았지만 이 콘텐츠에 따른 새로운 투자 논리도 그대로 적용할 수 있는 기업입니다. 사진 출처: SNOW 스노우플레이크는 기업들이 보유한 고객 정보와 판매 기록과 업무 데이터를 한곳에 모아두고 분석하게 해주는 데이터 플랫폼입니다. ​ 그런데 지금은 그 데이터에 AI를 직접 붙여서 요약하고 분류하고 질문에 답하게 만드는 사업으로까지 확장한 지 오래죠. ​ 여기서 매번 가장 비싼 AI 모델을 쓰면 고객에게 전가되어야 할 사용료가 감당하기 어려울 정도로 커집니다. 그래서 스노우플레이크가 요청의 난이도를 먼저 판단한 뒤 쉬운 일은 값싼 모델에 맡기고 어려운 일만 고성능 모델로 보내는 장치를 만든 겁니다. ​ 앞서 설명한 성공한 작업당 비용을 실제 기업 업무에서 낮춰주는 역할을 스노우플레이크가 맡는 셈입니다. ​ Snowflake Cortex AI, 그리고 2026년에 공개된 Cortex AI Function Studio가 이 부분을 담당하고 있음 기업이 특정 작업을 기준으로 여러 모델과 프롬프트를 실제로 시험한 뒤 품질이 가장 좋은 조합을 선택하도록 돕는 기능이 핵심 Snowflake의 Cortex AISQL은 기업들의 AI 활용 요청을 값싼 모델로 먼저 처리하고 확신이 부족한 경우에만 강력한 모델로 올려 보내는 adaptive model cascade를 생산 환경에 적용하는 데 성공함 ​ 관련 연구에서는 이 방식이 AI 모델 품질의 90~95%를 유지하면서 처리 속도를 2~6배 높였다고 설명합니다. 이것도 쉬운 일은 싼 모델에 맡기고 어려운 일만 비싼 모델에 넘기는 구조입니다. 사진 출처: 구글 마지막으로 데이터독(DDOG)도 원래 다른 일을 하다가 갑자기 AI 시대에 AI 업무에 끌려온 친구인데, 이 친구도 이 콘텐츠의 맥락에서 보면 상당히 중요해졌습니다. ​ AI 시대에 데이터독은 어떤 모델이 실제로 일을 잘했는지 측정을 해 줍니다. ​ 아까 말씀드린 모델 라우팅이 가능하려면 먼저 측정이 가능해야 합니다. GPT가 싸지만 오류가 많았는지 Claude가 비싸지만 한 번에 끝냈는지 알아야 다음 요청을 어디로 보낼지 결정할 수 있죠. 사진 출처: DDOG Datadog Agent Observability라는 게 있는데, 모델별 호출 횟수와 지연시간과 오류와 토큰 소비량과 추정 비용을 추적합니다. 그냥 쉽게 말하면 아래와 같은 걸 한다는 소리입니다. ​ 기업: 이 모델이 왜 더 비싸지? ​ 데이터독: 호출을 다섯 번 했고 재시도가 두 번 발생했고 출력 토큰이 세 배 더 나왔습니다. ​ 기업: 그럼 싼 모델로 바꿔. ​ 데이터독: ㅇㅇ 근데 님 제가 이거 분석해줬으니까 수수료 내세요. ​ 이런 흐름이 되는 겁니다. ​ 성공한 작업당 비용이 표준 지표가 될수록 데이터독의 역할이 중요해질 수 있겠죠. 앞으로는 AI 모델 자체보다 모델 사이에서 발생하는 오류와 비용과 지연을 추적하는 일이 훨씬 복잡해질 겁니다. 그래서 클라우드플레어가 교통정리를, 스노우플레이크가 스스로 가장 빠른 길을 찾아가는 택시기사라면 데이터독은 혼잡 통행료(...)를 걷는 이상한 놈이라고 생각하시면 됩니다. 셋 다 수혜주가 맞긴 하다는 거죠. 방향성은 다르지만요. 단점은 모델 라우팅의 직접 수혜 정도가 클라우드플레어나 스노우플레이크보다는 약하다... 정도겠지만, AI가 커지든 기존 클라우드가 커지든 어쨌든 모니터링 수요가 늘어난다는 넓고 안정적인 관점에서 보셔도 충분합니다. ​ 아주 오래 전 미국주식 사관학교에서 이들 기업들을 다뤘을 때는 다른 논리 때문에 다루었거든요. ​ 그런데 최근에 이슈가 된 성공한 작업당 비용이라는 새로운 관점에서 보아도 NET, SNOW, DDOG를 기억해둘 필요가 있다는 새로운 결론이 나왔습니다. ​ 읽어주셔서 감사합니다. ^^