AI 값은 떨어지는데, 왜 회사들은 AI를 아끼기 시작했을까?

불과 몇 달 전까지만 해도 기업들의 메시지는 하나였다. "AI 더 써라. 안 쓰면 뒤처진다." 임원들은 직원 등을 떠밀었고, 시장에는 우리는 이 파도에 올라탔다는 신호를 보내고 싶어 했다. ​ 그런데 지난주 WSJ 기사를 읽다가 좀 의아한 장면을 봤다. 그 똑같은 회사들이 이번엔 브레이크를 밟기 시작했다는 거다. https://www.wsj.com/tech/ai/corporate-america-is-starting-to-ration-ai-as-cost-skyrockets-1eb99d7a 우버는 3월에 이미 그 해 자율 AI 예산을 통째로 다 써버렸다고 한다. 어느 금융사 임원은 직원들이 한 달에 수십만 달러어치 토큰을 태우고 있다고 털어놨는데, 가장 비싼 최상위 모델을 불러다가 아주 단순한 질문에 답하게 하거나, 심지어 잡담을 나누는 데 쓰더란다. ​ 기사에 인용된 한마디가 인상 깊었다. 애한테 대수학 과외 시키는데 굳이 아인슈타인을 부를 필요는 없잖아? 그런데 여기서 좀 이상하다. 곰곰이 따져보면 앞뒤가 안 맞는다. ​ 싸지는데 청구서는 왜 폭발하나 AI의 기본 단위인 토큰, 그 하나당 값은 사실 오르는 게 아니라 떨어지고 있다. 그것도 꽤 가파르게. 모델끼리 섞어 계산한 평균 단가가 1년 새 3분의 1 수준으로 주저앉았다는 추정까지 나올 정도다. ​ 분명히 더 싸졌는데, 청구서는 거꾸로 두세 배로 부푼다. 어떻게 물건값이 떨어지는데 총비용은 폭발할 수가 있지? ​ 이 장면, 우리 사실 한 번 본 적 있다. 작년 초 딥시크다. 중국에서 헐값에 만든 모델이 튀어나오자 시장은 패닉에 빠졌다. 엔비디아 시총은 하루 만에 약 6천억 달러를 날렸다. 딥시크 사태를 잘 설명한 리포트(+내 생각) 금요일부터 딥시크를 제목으로 다룬 모든 리포트를 읽어보는 중이다. 다양한 관점을 접하며, 여러 생각을 ... blog.naver.com 추론 비용이 10배 떨어지면 벌어지는 일 [1편] 1865년 영국의 경제학자 윌리엄 제본스는 이상한 현상을 발견했다. 제임스 와트가 증기기관의 효율을... blog.naver.com ​ 미국 증시 역사상 한 회사가 하루에 잃은 액수로는 최대였다. 다들 "AI 투자 끝났다, 이렇게 싸지면 누가 비싼 칩을 사겠냐"고 외쳤다. ​ 그때 마이크로소프트의 나델라가 트윗 한 줄로 받아쳤다. 제번스 역설. 싼다고 수요가 줄지 않는다, 오히려 폭발한다는 19세기 경제학자의 통찰이다. ​ 그리고 그 말이 맞았다. 1년 반이 지난 지금 구글은 한 달에 토큰을 3.2 quadrillion 개, 1년 전의 7배를 처리한다. 싸지니까 모두가 미친 듯이 더 썼고, 그래서 청구서가 터져나가는 중이다. ​ 그러니 "AI가 너무 비싸져서 기업이 사용을 줄인다"는 헤드라인은 인과를 살짝 거꾸로 읽은 거다. 비싸져서 폭발한 게 아니라, 싸졌기 때문에 무지막지하게 써댔고, 그 결과 청구서가 폭발했다. ​ 이건 '비용 위기'가 아니라, 더 오래된 무언가다 그래서 나는 이걸 비용 위기라고 부르는 것은 잘못된 명명이라고 생각한다. 차라리 훨씬 익숙한 이름을 붙이는 게 맞다. 그 것은 바로 계량의 순간이다. ​ 처음엔 다들 무제한 정액제였다. 마음껏 먹는 뷔페. 사실 그건 모델 회사들이 손해를 감수하며 깔아준 보조금이었다. ​ 그러다 슬그머니 쓴 만큼 내는 방식으로 바뀌었다. 미터기가 돌기 시작한 거다. ​ 그런데 가만 보면 모든 유틸리티 재화가 똑같은 다리를 건넜다. 전기가 그랬다. 처음엔 정액, 나중엔 계량. ​ 여기서 잠시 과거를 돌아볼 필요가 있다. 100년 전 전기 사용량이 폭했을 때, 그 고통이 더 싼 전구를 파는 회사를 부자로 만들어줬을까? 아니다. 그 돈은 계량기를 만들고, 전력망을 운영하고, 요금을 매기는 쪽으로 흘러갔다. 가치는 전기를 싸게 만든 사람이 아니라, 미터기를 쥔 사람에게 갔다. ​ 진짜 고통은 '비싸다'가 아니었다 AI가 점점 싸지고 있다면서, 기업들은 대체 뭐가 그렇게 불안한 걸까. 솔직한 답은 '너무 비싸서'가 아니다. 효과만 확실하면 기업은 돈 쓰는 걸 그렇게까지 두려워하지 않는다. ​ 진짜 고통은 따로 있다. 어느 지출이 효과를 냈는지를 도무지 분간할 수가 없다는 것이다. ​ 메타의 기술책임자는 사내 메모에 못 박았다. 토큰을 많이 쓴다고 그게 성과의 척도는 아니다. 실제로 AI 코딩에 쏟아부은 토큰 비용 중에서 진짜 제품으로 출하돼 사용자에게 가닿는 건 18%뿐이라는 집계도 있다. 나머지는 디버깅, 재작성, 실험 속으로 증발한다. ​ 세일즈포스는 아예 토큰 지출이 어떤 비즈니스 성과로 이어지는지를 추적하는 시스템을 따로 만들었다. ​ 그러니까 풀어야 할 숙제는 절감이 아니다. 귀속이다. "덜 써라"가 아니라 "어느 지출이 의미 있었는지 알려달라." ​ 이 대목에서 나는 얼마 전에 쓴 글이 떠올랐다. 반도체 다음은 어딜까를 물으며, 진짜 병목은 모델이 아니라 그 주변의 배관 작업, 데이터를 연결하고 정리하고 업무에 녹이는 일에 있다고 했었다. 반도체 다음을 묻는다면, 어디를 봐야 할까? [참고할 글] 월 3만 원이면 세계 최고 수준의 AI를 쓸 수 있는 시대다. 어제 나온 모델이 오늘 또 갱신되... blog.naver.com ​ 이번 이야기는 AI시대에 새로운 병목이 얼굴을 드러낸 장면 같다. 그동안 시장은 그 병목을 공급 측에서 봤다. HBM, 전력과 같은 물리적인 관점에서 말이다. ​ 그런데 이번에는 처음으로 공급측이 아닌 수요 측의 병목 신호가 나타난 것이다. 그러니까 기업 CFO의 장부 위에 청구서라는 모습으로 나타나고 있는 것이다. ​ 그래서 누가 미터기를 쥐고 있나 가장 깨끗하게 손에 잡히는 상장 사례를 하나만 들자면 데이터독이다. 추천이 아니라, 구조를 보여주기에 가장 선명한 예시라서 꺼내는 거다. ​ 이 회사는 AI 모델을 직접 돌리지 않는다. 그래서 살벌한 추론 비용을 자기가 떠안지 않는다. ​ 대신 남들이 돌리는 AI를 옆에서 지켜보고, 그게 잘 돌아가는지 비용은 얼마 나가는지를 계량해준다. ​ 금광에서 금을 캐는 쪽이 아니라, 곡괭이를 팔고 무엇보다 금을 달아보는 저울을 파는 쪽이다. ​ 지난 1분기 매출이 처음으로 10억 달러를 넘겼고, 1년 전보다 32% 늘었는데도 총마진은 80%를 지켰다. AI 추론 그 자체가 아니라 AI 워크로드를 감시하는 소프트웨어이기 때문이다. 마침 GPU 모니터링도 정식으로 내놨다. 모두가 더 많이 사용할수록, 감시할 거리도 함께 불어난다. ​ 불안을 푸는 게 아니라, 불안을 화폐로 바꾼다 이런 회사가 파는 건 사실 '지출을 멈추는 장치'가 아니다. CFO가 통제하고 있다는 느낌을 받게 해주는 대시보드다. (*회사 생활을 해보면 알겠지만, 때로는 실제 실행보다 하고 있다는 '느낌'을 주는 것이 얼마나 중요한지 알 수 있다.) ​ 그리고 그 대시보드를 보는 사이에도 지출은 계속 오른다. ​ 좀 얄궂은 농담 같은 건, AI 감시 기능을 기존 시스템에 얹으면 그 감시 청구서 자체가 또 불어난다는 거다. 폭증을 지켜보는 물건이 그 폭증과 함께 커진다. 불안을 해결해주는 게 아니라, 불안을 계량해서 그 눈금만큼 과금한다. ​ 그래서 종목을 고르는 질문이 바뀐다. "누가 비용을 줄여주나"는 사실 함정이다. 그건 자기가 촉발한 소비 폭증과 끝없이 싸우는 러닝머신이고, 본질적으로 소비가 늘어나는 흐름에 반대로 베팅하는 거니까. 진짜 물어야 할 건 이쪽이다. 누가 통제의 외양을 팔면서, 구조적으로는 그 폭증과 같은 방향에 서 있나. ​ ​ 저울을 쥔 사람은 누굴까? 이 흐름의 모양을 한 발 떨어져서 보면 좀 흥미롭다. 딥시크의 저렴함이 제번스 역설을 불렀고, 제번스 역설이 귀속의 문제를 낳았고, 귀속의 문제가 1년 전엔 아무도 안 보던 새 계층을 키우는 중이다. 답이 하나 나올 때마다 그 답이 다음 질문을 건넨다. ​ 골드러시는 늘 언젠가 끝난다. 그런데 내가 요즘 자꾸 곱씹게 되는 건 좀 더 조용한 질문이다. 그 러시가 끝났을 때, 마지막에 손에 쥐고 있는 사람은 금을 쥔 사람일까, 아니면 그 금을 달아보던 저울을 쥔 사람일까. 이 글은 산업과 기술 흐름에 대한 개인적인 관찰과 생각을 정리한 것이지, 특정 종목이나 투자에 대한 추천이 아니다. 글 속의 해석은 틀릴 수 있고, 투자 판단과 그 결과에 대한 책임은 전적으로 각자에게 있다. #AI #제번스역설 #토큰비용 #계량전환 #AIFinOps #데이터독 #엔터프라이즈AI #딥시크 #병목 #AI투자 #모소밤부