Agentic AI가 폭증시킨 토큰의 가치 (Semianalysis)

https://newsletter.semianalysis.com/p/ai-value-capture-the-shift-to-model AI Value Capture - The Shift To Model Labs A day in AI now feels like a year in any other industry. TSMC, Vera Rubin VR NVL72: V for Value newsletter.semianalysis.com ​ ​ 1. 결론 ​ “the unique phenomenon is that the AI labs are capturing all the value now, from almost none last year.” ​ → 2023~2025년에는 Nvidia, 전력, 메모리 등 인프라 레이어가 AI 가치 대부분을 가져갔다. → 2026년 현재는 Agentic AI가 실제 생산성을 만들기 시작하면서 Anthropic 같은 모델랩이 매출·마진을 동시에 흡수하고 있다. ​ ​ 2. Agentic AI가 게임을 바꿈 ​ “The world changed in December 2025, when Agentic AI began to really work.” ​ → 단순 챗봇이 아니라 코드 작성, 엑셀 모델 전환, 대시보드 제작, 차트 생성, 기업 실적 분석까지 수행. → 토큰이 단순 검색 보조가 아니라 노동을 대체·증폭하는 경제 단위가 됐다. ​ ​ “tasks that used to take tens of person-hours costing thousands of dollars can now be accomplished in minutes with a just a few dollars’ worth of tokens.” ​ → 토큰 소비자의 ROI가 압도적으로 커짐. → 그래서 토큰 수요는 가격 민감도가 낮고, 사용량은 폭발적으로 증가 . ​ 3. 모델랩 마진 구조가 바뀜 ​ “Anthropic’s ARR has exploded from $9B to over $44B today, their gross margins on their inference infrastructure have increased from 38% to over 70%.” ​ ​ → 핵심은 매출만 오른 것이 아니라 추론 인프라 마진도 급등했다는 점. → 토큰 가격은 내려갔지만, Blackwell 전환·소프트웨어 최적화·캐시 히트율 상승으로 토큰 생산 원가가 더 빠르게 하락. ​ “The age of low gross margins for frontier model providers is over.” ​ → Frontier 모델 제공자는 이제 저마진 사업자가 아니라, 고마진 소프트웨어/플랫폼 사업자로 재평가될 수 있다는 주장. ​ 4. 토큰 생산비는 급락 중 ​ “One can 14x throughput with software improvements alone.” ​ → 같은 B300 하드웨어에서도 wideEP, disagg, MTP 같은 최적화로 처리량이 크게 달라짐. → 하드웨어 세대교체뿐 아니라 소프트웨어 최적화가 추론 원가 하락의 핵심 변수. ​ “the most optimized GB300 NVL72 configuration achieves ~17x higher throughput than the most optimized H100 configuration in FP8… the difference jumps to 32x.” ​ → GB300은 H100 대비 TCO가 70% 높을 뿐인데 처리량은 17~32배 증가. ​ → 따라서 달러당 토큰 생산량은 급증하고, 이 차익이 모델랩과 추론 사업자 마진으로 흘러간다 . ​ ​ 5. Nvidia와 TSMC는 아직 가격을 충분히 올리지 않음 ​ “TSMC and Nvidia have not reacted to the recent boom in value generation of AI models.” ​ → 모델랩·네오클라우드·메모리 업체는 AI 가치 증가를 흡수 중인데, 정작 병목을 쥔 Nvidia와 TSMC는 아직 충분히 가격을 올리지 않았다는 주장. ​ ​ “Nvidia is still operating within a framework shaped by prior assumptions, where the willingness to pay per unit of compute declines over time. That assumption no longer holds.” ​ → 과거에는 세대가 바뀌면 컴퓨트 단가는 하락해야 했다. → 하지만 Agentic AI 이후에는 토큰의 경제 가치가 급등했기 때문에, 컴퓨트 단가가 내려가야 한다는 전제가 깨졌다. ​ ​ 6. SOCAMM이 Nvidia의 다음 마진 레버 ​ “SOCAMM is designed for Nvidia’s rack-scale systems, enabling higher capacity, modularity, power efficiency, and independent pricing of memory alongside compute.” ​ → Rubin의 SOCAMM은 소켓형 LPDDR 기반 메모리 모듈. → 기존처럼 보드에 묶인 부품이 아니라 별도 가격 책정이 가능하다. → Nvidia가 메모리를 독립적인 마진 레버로 사용할 수 있다. ​ ​ “we view ~$10/GB as a reasonable assumption for Nvidia’s SOCAMM cost.” ​ “We think it is reasonable for Nvidia to charge 60% margin on SOCAMM.” ​ → Nvidia는 SOCAMM을 낮은 조달가로 확보하고, 고객에게는 높은 마진을 붙여 팔 가능성이 있다. → 메모리 병목이 심할수록 Nvidia의 공급망 장악력이 가격 결정력으로 전환된다. ​ ​ 7. Nvidia는 ‘AI 중앙은행’처럼 행동 중 ​ “Nvidia is actively supporting the development of the broader ecosystem, ensuring long-term demand expansion rather than maximizing near-term extraction.” ​ → Nvidia가 가격을 과도하게 올리지 않는 이유는 단기 이익 극대화보다 생태계 확장을 우선하기 때문. ​ → 또한 독점 규제 리스크와 고객의 대체칩 전환을 자극하지 않으려는 전략적 절제도 있음. ​ “By taking the oxygen out of the room – Nvidia aims to ensure it remains the main protagonist in the AI era for the foreseeable future.” ​ → Nvidia는 지금 모든 가치를 당장 흡수하기보다, 생태계 전체를 키우면서 장기 지배력을 유지하려는 포지션. ​ ​ 8. TSMC도 가치 일부를 남겨두고 있음 ​ “TSMC is certainly leaving value on the table.” ​ → N3 공정은 Nvidia, Broadcom, AMD, Annapurna, MediaTek 모두가 원하는 병목 자산. → 그런데 TSMC는 희소성만큼 가격을 올리지 않고 있다. ​ “TSMC can also take a position of longer term agreements with guaranteed capacity commitments and prepayments in lieu of major price increases.” ​ → TSMC는 가격 급등보다 장기계약·선급금·물량 보장 방식으로 가치를 회수할 가능성이 높다. ​ ​ ​ AI 가치는 1차로 인프라, 2차로 메모리, 3차로 모델랩으로 이동하고있다. 하지만 다음 구간에서는 Nvidia와 TSMC가 가격을 재조정하며 다시 더 많은 가치를 회수할 가능성이 있다. ​ 모델랩 : Agentic AI로 토큰의 경제 가치가 급등하면서 ARR·마진 동시 상승 ​ 메모리 벤더 : SOCAMM, LPDDR, HBM 등 공급 병목으로 가격 결정력 확대 ​ Nvidia/TSMC : 아직 충분히 가격을 올리지 않았고, Rubin/N3 병목을 통해 추가 가치 포착 여지 존재 ​