엔비디아NVIDIA [NVDA] 2024년 1분기 어닝콜
- 2024년 1분기 어닝콜
- 2024. 5. 26.
좋은 오후에요. 제 이름은 Regina이고 오늘 귀하의 회의 교환원이 될 것입니다. 이번에 저는 NVIDIA의 1분기 실적 발표에 참석하신 모든 분들을 환영하고 싶습니다. [교환원 지침] Simona Jankowski, 회의를 시작해도 됩니다.
감사합니다. 안녕하세요, 여러분. 2024 회계연도 1분기 NVIDIA 컨퍼런스 콜에 오신 것을 환영합니다. 오늘 저와 함께 NVIDIA의 사장 겸 CEO인 Jensen Huang이 모였습니다. Colette Kress, 수석 부사장 겸 최고 재무 책임자(CFO). 우리의 통화가 NVIDIA의 투자자 관계 웹사이트에서 실시간으로 웹캐스트되고 있음을 알려드리고 싶습니다. 웹캐스트는 2025회계연도 2분기 재무 결과를 논의하기 위한 컨퍼런스 콜까지 다시 볼 수 있습니다. 오늘 통화의 내용은 NVIDIA의 자산입니다. 당사의 사전 서면 동의 없이는 복제하거나 복사할 수 없습니다.
이 통화 중에 우리는 현재 기대치를 바탕으로 미래 예측 진술을 할 수 있습니다. 여기에는 여러 가지 심각한 위험과 불확실성이 따르며, 실제 결과는 실질적으로 다를 수 있습니다.
당사의 향후 재무 결과 및 비즈니스에 영향을 미칠 수 있는 요소에 대한 논의는 오늘 수익 발표의 공개 내용, 최신 양식 10-K 및 10-Q, 양식 8-K로 제출할 수 있는 보고서를 참조하십시오. 증권거래위원회. 당사의 모든 진술은 현재 당사가 이용할 수 있는 정보를 바탕으로 2024년 5월 22일 오늘을 기준으로 작성되었습니다. 법률에서 요구하는 경우를 제외하고 당사는 그러한 진술을 업데이트할 의무가 없습니다.
이번 통화에서는 비GAAP 재무 조치에 대해 논의할 것입니다.
당사 웹사이트에 게시된 CFO 해설에서 이러한 비GAAP 재무 측정과 GAAP 재무 측정의 조정 내용을 확인할 수 있습니다.
앞으로 있을 몇 가지 이벤트를 강조하겠습니다. 6월 2일 일요일, 대만에서 열리는 Computex Technology 무역 박람회를 앞두고 Jensen은 타이베이에서 직접 기조연설을 하고 라이브로 스트리밍할 예정입니다. 그리고 6월 5일에는 샌프란시스코에서 열리는 Bank of America 기술 컨퍼런스에서 발표할 예정입니다. 그러면 전화를 Colette에게 넘기겠습니다.
고마워요, 시모나. 1분기는 또 다른 기록적인 분기였습니다. 260억 달러의 매출은 전 분기 대비 18%, 전년 동기 대비 262% 증가했으며 당사의 전망치인 240억 달러를 훨씬 웃돌았습니다. 데이터센터부터 시작합니다. 데이터 센터 매출 226억 달러는 NVIDIA Hopper GPU 컴퓨팅 플랫폼에 대한 지속적인 강력한 수요에 힘입어 전분기 대비 23%, 전년 동기 대비 427% 증가한 기록적인 수치입니다. 지난해보다 컴퓨팅 수익은 5배 이상, 네트워킹 수익은 3배 이상 성장했습니다. 데이터 센터의 순차적인 강력한 성장은 기업 및 소비자 인터넷 기업을 중심으로 모든 고객 유형이 주도했습니다 . 대규모 클라우드 제공업체는 NVIDIA AI 인프라를 대규모로 배포 및 확장하면서 지속적으로 강력한 성장을 주도하고 데이터 센터 수익의 비율로 40대 중반을 나타냈습니다 . NVIDIA CUDA의 AI 훈련 및 추론은 클라우드 임대 수익 성장을 의미 있게 가속화하여 클라우드 제공업체의 투자에 대해 즉각적이고 강력한 수익을 제공합니다.
NVIDIA AI 인프라에 1달러를 지출할 때마다 클라우드 제공업체는 4년 동안 GPU 인스턴트 호스팅 수익으로 5달러를 벌 수 있는 기회를 갖게 됩니다. NVIDIA의 풍부한 소프트웨어 스택과 생태계, 그리고 클라우드 제공업체와의 긴밀한 통합을 통해 최종 고객은 퍼블릭 클라우드의 NVIDIA GPU 인스턴스에서 쉽게 실행할 수 있습니다.
클라우드 임대 고객에게 NVIDIA GPU는 모델을 훈련하는 데 가장 좋은 시간, 모델을 훈련하는 데 가장 저렴한 비용, 대규모 언어 모델을 추론하는 데 가장 저렴한 비용을 제공합니다 .
퍼블릭 클라우드 제공업체의 경우 NVIDIA는 고객을 클라우드로 안내하여 수익 성장과 인프라 투자 수익을 촉진합니다. OpenAI, The Depth, Anthropic, Character AI, Cohere, Databricks, DeepMind, Meta, Mistral, xAI 등의 선도적인 LLM 기업은 클라우드에서 NVIDIA AI를 기반으로 구축하고 있습니다 . 기업은 이번 분기에 데이터 센터에서 강력한 연속 성장을 주도했습니다. 우리는 Tesla의 훈련 AI 클러스터를 35,000개의 H100 GPU로 확장하는 것을 지원했습니다 . NVIDIA AI 인프라를 사용하여 Vision을 기반으로 한 최신 자율 주행 소프트웨어인 FSD 버전 12의 획기적인 성능을 위한 기반을 마련했습니다. NVIDIA Transformers는 훨씬 더 많은 컴퓨팅을 소비하면서도 훨씬 더 나은 자율 주행 기능을 지원 하고 자동차 산업 전반에 걸쳐 NVIDIA AI 인프라의 상당한 성장을 촉진하고 있습니다.
우리는 자동차가 올해 데이터 센터 내에서 가장 큰 기업 분야가 되어 온프레미스 및 클라우드 소비 전반에 걸쳐 수십억 달러의 수익 기회를 창출할 것으로 기대합니다. 소비자 인터넷 기업 역시 강력한 성장 분야입니다. 이번 분기의 가장 큰 하이라이트는 Meta가 24,000개의 H100 GPU 클러스터 에서 훈련된 최신 대형 언어 모델인 Llama 3을 발표한 것입니다 . Llama 3는 Facebook, Instagram, WhatsApp 및 Messenger에서 사용할 수 있는 새로운 AI 도우미인 Meta AI를 지원합니다. Llama 3는 공개적으로 사용 가능하며 산업 전반에 걸쳐 AI 개발의 물결을 시작했습니다.
생성적 AI가 더 많은 소비자 인터넷 애플리케이션에 적용됨에 따라 추론이 모델 복잡성은 물론 사용자 수 및 사용자당 쿼리 수에 따라 확장되어 AI 컴퓨팅에 대한 수요가 훨씬 더 많아짐에 따라 지속적인 성장 기회가 있을 것으로 예상됩니다. 지난 4분기 동안 우리는 추론이 데이터 센터 수익의 약 40%를 창출한 것으로 추정합니다. 훈련과 추론 모두 크게 증가하고 있습니다. Meta와 Tesla가 구축한 것과 같은 대규모 클러스터는 우리가 AI 공장이라고 부르는 AI 생산을 위한 필수 인프라의 예입니다. 이러한 차세대 데이터 센터는 데이터가 들어오고 인텔리전스가 나오는 고급 풀 스택 가속 컴퓨팅 플랫폼을 호스팅합니다. 1분기에 우리는 100,000개 이상의 고객과 협력하여 수백에서 수만 개의 GPU 규모에 이르는 AI 공장을 구축했으며 일부는 100,000개의 GPU에 달했습니다 . 지리적 관점에서 볼 때, 전 세계 국가가 주권 AI에 투자함에 따라 데이터 센터 수익은 계속해서 다양화되고 있습니다.
소버린 AI(Sovereign AI)란 자국의 인프라, 데이터, 인력, 비즈니스 네트워크를 이용해 인공지능을 생산하는 국가의 역량을 말한다. 국가들은 다양한 모델을 통해 국내 컴퓨팅 역량을 구축하고 있다.
일부는 국영 통신 제공업체 또는 유틸리티와 협력하여 주권 AI 클라우드를 조달하고 운영하고 있습니다. 다른 사람들은 공공 및 민간 부문에서 사용할 수 있는 공유 AI 컴퓨팅 플랫폼을 제공하기 위해 현지 클라우드 파트너를 후원하고 있습니다.
예를 들어, 일본은 국가의 주권 AI 인프라를 구축하기 위해 KDDI, 사쿠라 인터넷, 소프트뱅크 등 주요 디지털 인프라 제공업체에 7억 4천만 달러 이상을 투자할 계획입니다 . 프랑스 에 본사를 둔 Iliad Group의 자회사인 Scaleway는 유럽에서 가장 강력한 클라우드 네이티브 AI 슈퍼컴퓨터를 구축하고 있습니다. 이탈리아 에서 Swisscom Group은 국내 최초이자 가장 강력한 NVIDIA DGX 기반 슈퍼컴퓨터를 구축하여 이탈리아어로 기본적으로 훈련된 최초의 LLM을 개발할 예정입니다. 그리고 싱가포르에서는 국립 슈퍼컴퓨터 센터가 NVIDIA Hopper GPU로 업그레이드되고 있으며 Singtel은 동남아시아 전역에 NVIDIA의 가속화된 AI 공장을 건설하고 있습니다 . 네트워킹 기술, 풀 스택 소프트웨어, AI 전문 지식, 풍부한 파트너 및 고객 에코시스템에 엔드투엔드 컴퓨팅을 제공하는 NVIDIA의 능력을 통해 주권 AI 및 지역 클라우드 제공업체는 국가의 AI 야망을 뛰어넘을 수 있습니다. 우리는 전년도에 아무것도 없었던 AI 수익이 올해 한 자릿수 수십억에 도달할 수 있다고 믿습니다. AI의 중요성은 모든 국가의 관심을 끌었습니다. 우리는 항만 통제 라이센스가 필요하지 않은 중국용으로 특별히 설계된 신제품을 출시했습니다.
중국의 데이터 센터 수익은 10월에 새로운 수출 통제 제한이 부과되기 전 수준에 비해 크게 감소했습니다.
우리는 중국 시장이 앞으로도 매우 경쟁적일 것으로 예상합니다. 제품 관점에서 컴퓨팅 수익의 대부분은 Hopper GPU 아키텍처에 의해 주도되었습니다 . 분기 동안 호퍼에 대한 수요는 계속해서 증가하고 있습니다. CUDA 알고리즘 혁신 덕분에 H100에 대한 LLM 추론을 최대 3배까지 가속화할 수 있었으며 , 이는 Llama 3과 같은 인기 모델을 제공하는 데 드는 비용을 3배 절감 할 수 있습니다 . 우리는 1분기에 H200의 샘플링을 시작했으며 현재 생산 중이며 2분기에 출하가 예정되어 있습니다 .
최초의 H200 시스템은 Jensen이 Sam Altman과 OpenAI 팀에게 전달했으며 지난주 놀라운 GPT-4o 데모를 지원했습니다. H200은 H100의 추론 성능을 거의 두 배로 높여 프로덕션 배포에 상당한 가치를 제공합니다.
예를 들어, 7천억 개의 매개변수가 있는 Llama 3를 사용하면 단일 NVIDIA HGX H200 서버는 초당 24,000개의 토큰을 제공하여 동시에 2,400명 이상의 사용자를 지원할 수 있습니다. 이는 토큰당 현재 가격으로 NVIDIA, HGX H200 서버에 1달러를 지출할 때마다 Llama 3 토큰을 제공하는 API 제공업체가 4년 동안 7달러의 수익을 창출할 수 있음을 의미합니다 . 지속적인 소프트웨어 최적화를 통해 우리는 AI 모델 제공을 위한 NVIDIA AI 인프라의 성능을 지속적으로 개선하고 있습니다.
H100에 대한 공급은 [식별할 수 없음] 동안 우리는 여전히 H200에 대한 제약을 받고 있습니다 . 동시에 Blackwell은 본격적으로 생산되고 있습니다 .
우리는 올해 후반에 전 세계적으로 가용성을 제공하기 위해 시스템 및 클라우드 파트너를 확보하기 위해 노력하고 있습니다. H200과 Blackwell에 대한 수요는 공급보다 훨씬 앞서 있으며 , 내년에도 수요가 공급을 훨씬 초과할 것으로 예상됩니다 . Grace Hopper Superchip은 대량으로 배송됩니다. 지난주 국제 슈퍼컴퓨팅 컨퍼런스에서 우리는 전 세계 9대의 새로운 슈퍼컴퓨터가 Grace Hopper를 사용하여 올해 총 200엑사플롭의 에너지 효율적인 AI 처리 성능을 제공한다고 발표했습니다. 여기에는 유럽에서 가장 빠른 AI 슈퍼컴퓨터인 스위스 국립 슈퍼컴퓨팅 센터의 알프스 슈퍼컴퓨터가 포함됩니다. 영국 브리스톨 대학교의 Isambard-AI; 그리고 독일 Jülich 슈퍼컴퓨팅 센터의 Jupiter입니다.
높은 에너지 효율성과 성능으로 인해 슈퍼컴퓨팅에서 Grace Hopper의 부착률이 80%에 달합니다.
또한 Grace Hopper를 탑재한 슈퍼컴퓨터가 세계에서 가장 에너지 효율적인 슈퍼컴퓨터 중 1위, 2위, 3위를 차지한 것을 자랑스럽게 생각합니다 . InfiniBand는 전년 대비 강력한 네트워킹 성장을 주도했습니다. 우리는 수요가 우리가 출하할 수 있는 것보다 훨씬 앞서 있는 공급 시기로 인해 완만한 연속 감소를 경험했습니다.
우리는 네트워킹이 2분기에 순차적인 성장으로 돌아올 것으로 예상합니다. 1분기에 우리는 처음부터 AI에 최적화된 새로운 Spectrum-X 이더넷 네트워킹 솔루션을 출시하기 시작했습니다. 여기에는 Spectrum-4 스위치, BlueField-3 DPU 및 새로운 소프트웨어 기술이 포함되어 이더넷에서 AI의 과제를 극복하여 기존 이더넷에 비해 AI 처리를 위한 1.6배 더 높은 네트워킹 성능을 제공합니다 . Spectrum-X는 대규모 100,000개의 GPU 클러스터를 포함하여 여러 고객을 대상으로 볼륨을 확대하고 있습니다. Spectrum-X는 NVIDIA 네트워킹에 새로운 시장을 열어주고 이더넷 전용 데이터 센터에서 대규모 AI를 수용할 수 있도록 해줍니다.
우리는 Spectrum-X가 1년 안에 수십억 달러 규모의 제품 라인으로 도약할 것으로 기대합니다. 지난 3월 GTC에서 우리는 차세대 AI 팩토리 플랫폼인 Blackwell을 출시했습니다. Blackwell GPU 아키텍처는 H100보다 최대 4배 빠른 훈련과 30배 빠른 추론을 제공하며 1조 매개변수의 대규모 언어 모델에서 실시간 생성 AI를 지원합니다. Blackwell은 Hopper보다 최대 25배 낮은 TCO 및 에너지 소비로 큰 도약을 이루었습니다. Blackwell 플랫폼에는 다중 GPU 스파인을 갖춘 5세대 NVLink와 새로운 InfiniBand 및 이더넷 스위치 , 1조 매개변수 규모의 AI를 위해 설계된 X800 시리즈가 포함되어 있습니다. Blackwell은 하이퍼스케일에서 엔터프라이즈까지, 교육에서 추론까지, x86에서 Grace CPU까지, 이더넷에서 InfiniBand 네트워킹까지, 공랭에서 수냉까지 데이터 센터를 보편적으로 지원하도록 설계되었습니다. Blackwell은 출시 시점에 100개 이상의 OEM 및 ODM 시스템에서 사용할 수 있으며 이는 Hopper 출시 수의 두 배 이상이며 전 세계 모든 주요 컴퓨터 제조업체를 대표합니다. 이는 출시 첫해에 고객 유형, 워크로드 및 데이터 센터 환경 전반에 걸쳐 빠르고 광범위한 채택을 지원합니다. Blackwell의 시장 출시 고객으로는 Amazon, Google, Meta, Microsoft, OpenAI, Oracle, Tesla 및 xAI가 있습니다. 우리는 NVIDIA Inference Microservices(NIM) 를 도입하여 새로운 소프트웨어 제품을 발표했습니다 . NIM은 텍스트, 음성, 이미징을 위한 대규모 언어 모델을 포함하여 광범위한 사용 사례에 대해 산업 표준 API를 갖춘 Triton, PrintServer 및 TensorRT LLM을 포함하여 네트워크 컴퓨팅 및 추론 소프트웨어에서 NVIDIA CUDA 가속으로 구동되는 안전하고 성능이 최적화된 컨테이너를 제공합니다. , 비전, 로봇 공학, 유전체학 및 디지털 생물학. 개발자는 NVIDIA, AI21, Adept, Cohere, Getty Images, Shutterstock의 주요 모델과 Google, Hugging Face, Meta, Microsoft, Mistral AI, Snowflake 및 Stability AI의 공개 모델을 사용하여 생성적 AI 애플리케이션을 신속하게 구축 및 배포할 수 있습니다 . NIM은 클라우드 또는 온프레미스에서의 프로덕션 배포를 위한 NVIDIA AI 엔터프라이즈 소프트웨어 플랫폼의 일부로 제공됩니다 .
게임 및 AI PC로 이동합니다. 26억 5천만 달러의 게임 수익은 전분기 대비 8% 감소하고 전년 동기 대비 18% 증가했으며 이는 계절적 감소에 대한 당사의 전망과 일치합니다. GeForce RTX Super GPU 시장 반응은 강력하며 제품 범위 전반에 걸쳐 최종 수요와 채널 재고가 양호한 상태를 유지했습니다. AI 여정의 시작부터 우리는 GeForce RTX GPU에 CUDA Tensor 코어를 장착했습니다.
이제 설치 기반이 1억 개가 넘는 GeForce RTX GPU는 게이머, 창작자, AI 애호가에게 적합하며 PC에서 생성적 AI 애플리케이션을 실행하는 데 있어 비교할 수 없는 성능을 제공합니다. NVIDIA는 GeForce RTX PC에서 빠르고 효율적인 생성 AI 추론을 배포하고 실행하기 위한 완전한 기술 스택을 보유하고 있습니다. TensorRT LLM은 이제 Microsoft의 Phi-3 Mini 모델과 Google의 Gemma 2B 및 7B 모델은 물론 LangChain 및 LlamaIndex를 비롯한 널리 사용되는 AI 프레임워크를 가속화합니다. 어제 NVIDIA와 Microsoft는 NVIDIA GeForce RTX AI PC에서 LLM을 최대 3배 더 빠르게 실행할 수 있도록 Windows용 AI 성능 최적화를 발표했습니다. 그리고 Games, Tencent 및 Ubisoft를 포함한 최고의 게임 개발자들은 NVIDIA 아바타 캐릭터 엔진(원문) [아바타 클라우드 엔진]을 채택하여 게이머와 플레이할 수 없는 캐릭터 간의 상호 작용을 변화시키는 실물과 같은 아바타를 만들고 있습니다.
ProViz로 이전합니다. 매출은 4억 2,700만 달러로 전분기 대비 8% 감소했고, 전년 동기 대비 45% 증가했습니다. 우리는 생성적 AI와 Omniverse 산업 디지털화가 전문적인 시각화 성장의 차세대 물결을 주도할 것이라고 믿습니다. GTC에서 우리는 개발자가 Omniverse 산업용 디지털 트윈 및 시뮬레이션 기술을 애플리케이션에 통합할 수 있도록 하는 새로운 Omniverse Cloud API를 발표했습니다.
ANSYS, Cadence, 3D Xcite, Systems, Brand 및 Siemens를 포함한 세계 최대 산업용 소프트웨어 제조업체 중 일부가 이러한 API를 채택하고 있습니다. 그리고 개발자는 이를 사용하여 Apple Vision Pro와 같은 공간 컴퓨팅 장치로 산업용 디지털 트윈을 스트리밍할 수 있습니다 . Omniverse Cloud API는 올해 말 Microsoft Azure에서 사용할 수 있습니다. 기업들은 Omniverse를 사용하여 워크플로를 디지털화하고 있습니다. Omniverse Power 디지털 트윈을 통해 제조 파트너 중 하나인 Wistron은 전체 생산 주기 시간을 50%, 결함률을 40% 줄일 수 있습니다. 그리고 세계 최대의 전기 자동차 제조업체인 BYD는 가상 공장 계획 및 소매 구성을 위해 Omniverse를 채택하고 있습니다.
자동차로 이동합니다. 수익은 3억 2,900만 달러로 전분기 대비 17%, 전년 동기 대비 11% 증가했습니다. 글로벌 OEM 고객과 함께 AI 조종석 솔루션을 확대하고 자율주행 플랫폼의 강점을 바탕으로 순차적인 성장을 주도했습니다. 전년 대비 성장은 주로 자율주행에 의해 주도되었습니다. 우리는 Xiaomi가 소프트웨어 정의 AV 차량용 AI 자동차 컴퓨터인 NVIDIA DRIVE Orin을 기반으로 구축된 최초의 전기 자동차인 SU7 세단을 성공적으로 출시할 수 있도록 지원했습니다.
또한 우리는 BYD, XPeng, GAC의 iOnHyper 및 Neuro를 포함한 몇몇 주요 EV 제조업체와 함께 새로운 NVIDIA Blackwell 아키텍처를 기반으로 하는 Orin의 후속작인 NVIDIA DRIVE Thor 에 대한 여러 가지 새로운 디자인 승리를 발표했습니다 . DRIVE Thor는 내년부터 생산 차량에 출시될 예정입니다.
좋습니다. 나머지 손익으로 이동합니다. GAAP 총마진은 낮은 재고 목표에 따라 순차적으로 78.4%로, 비GAAP 총마진은 78.9%로 확대되었습니다.
지난 분기에 언급한 바와 같이, 4분기와 1분기 모두 유리한 부품 비용으로 이익을 얻었습니다. 결과적으로 GAAP 운영 비용은 10%, 비GAAP 운영 비용은 13% 증가했는데, 이는 주로 보상 관련 비용 증가와 컴퓨팅 및 인프라 투자 증가를 반영한 것입니다. 1분기에 우리는 자사주 매입과 현금 배당의 형태로 주주들에게 78억 달러를 반환했습니다. 오늘 우리는 6월 10일을 분할 조정 기준 거래의 첫 날로 삼아 10:1 주식 분할을 발표했습니다.
배당금도 150% 늘리고 있습니다.
2분기 전망을 살펴보겠습니다. 총 수익은 280억 달러(+/-2%)가 될 것으로 예상됩니다.
우리는 모든 시장 플랫폼에서 순차적인 성장을 기대합니다. GAAP 및 비GAAP 총마진은 각각 74.8%와 75.5%(+/-50bp)로 지난 분기 논의와 일치할 것으로 예상됩니다.
1년 내내 총 마진은 70% 중반 수준이 될 것으로 예상됩니다. GAAP 및 비GAAP 운영 비용은 각각 약 40억 달러와 28억 달러로 예상됩니다. 연간 OpEx는 40% 초반대 범위로 증가할 것으로 예상됩니다. GAAP 및 비GAAP 기타 수입과 지출은 비계열 투자로 인한 손익을 제외하고 대략 3억 달러 정도의 수입이 될 것으로 예상됩니다. GAAP 및 비GAAP 세율은 개별 항목을 제외하고 17% ± 1%로 예상됩니다. 자세한 재무 정보는 IR 웹사이트에서 제공되는 CFO 논평 및 기타 정보에 포함되어 있습니다. 이제 Jensen이 몇 가지 의견을 제시하고 싶어하기 때문에 이를 Jensen에게 넘기고 싶습니다.
고마워요, 콜레트. 업계는 큰 변화를 겪고 있습니다.
Q&A를 시작하기 전에 변화의 중요성에 대한 몇 가지 관점을 말씀드리겠습니다. 차세대 산업혁명이 시작되었습니다. 기업과 국가는 NVIDIA와 협력하여 기존 데이터 센터의 1조 달러 설치 기반을 가속화된 컴퓨팅으로 전환하고 새로운 유형의 데이터 센터인 AI 공장을 구축하여 새로운 상품인 인공 지능을 생산하고 있습니다. AI는 거의 모든 산업에 상당한 생산성 향상을 가져오고 기업이 수익 기회를 확대하는 동시에 비용과 에너지 효율성을 높이는 데 도움이 됩니다. CSP는 최초의 생성적 AI 이동자였습니다. NVIDIA를 통해 CSP는 워크로드를 가속화하여 비용과 전력을 절약했습니다. NVIDIA Hopper가 생성한 토큰은 AI 서비스 수익을 창출합니다. 그리고 NVIDIA 클라우드 인스턴스는 풍부한 개발자 생태계에서 렌탈 고객을 유치합니다. 강력하고 가속화되는 수요 - Hopper 플랫폼에서 생성적 AI 교육 및 추론에 대한 수요가 가속화되면서 데이터 센터 성장이 촉진됩니다. 모델이 다중 모드로 학습하고 텍스트, 음성, 이미지, 비디오 및 3D를 이해하고 추론 및 계획을 배우면서 훈련은 계속 확장됩니다.
우리의 추론 작업량은 엄청나게 증가하고 있습니다. 생성적 AI를 사용하면 이제 대규모의 빠른 토큰 생성에 관한 추론이 엄청나게 복잡해졌습니다. Generative AI는 모든 컴퓨터 상호 작용을 변화시킬 기초부터 풀 스택 컴퓨팅 플랫폼 전환을 주도하고 있습니다. 오늘날의 정보 검색 모델에서 컴퓨팅의 답변 및 기술 생성 모델로 전환하고 있습니다. AI는 상황과 우리의 의도를 이해하고, 지식을 갖추고, 추론하고, 계획하고, 작업을 수행합니다.
우리는 범용 CPU에서 GPU 가속 컴퓨팅으로, 명령 중심 소프트웨어에서 의도 이해 모델로, 정보 검색에서 기술 수행으로, 산업 수준에서 소프트웨어 생산에서 토큰 생성, 디지털 인텔리전스 제조. 토큰 생성은 다년간의 AI 공장 구축을 주도할 것입니다.
클라우드 서비스 제공업체를 넘어 생성 AI는 소비자 인터넷 기업과 기업, 주권 AI, 자동차, 의료 고객으로 확장되어 수십억 달러 규모의 수직 시장을 창출했습니다. Blackwell 플랫폼은 본격적으로 생산되고 있으며 1조 매개변수 규모의 생성 AI의 기반을 형성합니다. Grace CPU, Blackwell GPU, NVLink, Quantum, Spectrum, 혼합 및 스위치, 고속 상호 연결, 풍부한 소프트웨어 및 파트너 에코시스템의 조합을 통해 이전 세대보다 AI 공장을 위한 더욱 풍부하고 완전한 솔루션을 확장하고 제공할 수 있습니다. Spectrum-X는 이더넷 전용 데이터 센터에 대규모 AI를 도입할 수 있는 새로운 시장을 열어줍니다. 그리고 NVIDIA NIM은 광범위한 에코시스템 파트너 네트워크를 통해 클라우드부터 온프레미스 데이터 센터, RTX AI PC에 이르기까지 모든 곳에서 CUDA에서 실행할 수 있는 엔터프라이즈급 최적화 생성 AI를 제공하는 새로운 소프트웨어 제품입니다 . Blackwell에서 Spectrum-X, NIM에 이르기까지 우리는 다음 성장의 물결을 맞이할 준비가 되어 있습니다. 감사합니다.
고마워요, 젠슨.
이제 질문 전화를 열겠습니다. 교환원님, 질문을 설문조사해 주시겠습니까?
[운영자 안내] 첫 번째 질문은 번스타인과 스테이시 라스곤의 대사에서 나왔습니다.
첫 번째는 현재 완전 생산 중이라는 Blackwell의 의견을 조금 자세히 살펴보고 싶었습니다. 해당 제품이 더 이상 샘플링 중인 것처럼 들리지 않는 경우 배송 및 배송 시기와 관련하여 이는 무엇을 암시합니까? 현재 생산 중이라면 실제로 고객의 손에 있다는 것은 무엇을 의미합니까?
우리는 배송할 예정입니다. 음, 우리는 약간의 시간 동안 생산을 해왔습니다. 그러나 우리의 생산 출하량은 2분기에 시작되어 3분기에 증가할 예정이며 고객은 4분기에 데이터 센터를 구축해야 합니다 .
알았어요.
올해에는 Blackwell 수익을 볼 수 있을 것 같습니다.
올해 Blackwell에서 많은 수익을 올릴 수 있을 것입니다.
다음 질문은 UBS의 Timothy Arcuri의 질문에서 나옵니다.
저는 시스템 특성과 GB에 대한 모든 수요 사이에서 Blackwell과 Hopper의 배포에 대해 Jensen에게 물어보고 싶었습니다. 이 물건의 배포가 Hopper와 어떻게 다른가요? 대규모 액체 냉각이 이전에 수행된 적이 없고 노드 수준과 데이터 센터 내에서 몇 가지 엔지니어링 문제가 있기 때문에 묻는 것 같습니다 .
그렇다면 이러한 복잡성으로 인해 전환이 길어지는 걸까요? 그리고 그 일이 어떻게 진행되고 있는지 어떻게 생각하시나요?
예. Blackwell은 다양한 구성으로 제공됩니다. Blackwell은 GPU가 아닌 플랫폼입니다. 그리고 플랫폼에는 공냉식, 수냉식 x86 및 Grace, InfiniBand, 현재 Spectrum-X 및 제가 GTC에서 시연했던 매우 큰 NVLink 도메인에 대한 지원이 포함되어 있습니다.
따라서 일부 고객의 경우 이미 Hopper를 배송하고 있는 기존 데이터 센터 설치 기반으로 확장할 것입니다. H100에서 H200, B100으로 쉽게 전환됩니다.
따라서 Blackwell 시스템은 전기적, 기계적으로 이전 버전과 호환되도록 설계되었습니다. 물론 Hopper에서 실행되는 소프트웨어 스택은 Blackwell에서도 환상적으로 실행됩니다 .
또한 우리는 전체 생태계에 펌프를 준비하여 액체 냉각을 준비하고 있습니다. 우리는 Blackwell에 관해 생태계와 꽤 오랫동안 이야기를 나눴습니다. 그리고 CSP, 데이터 센터, ODM, 시스템 제조업체, 그 너머의 공급망, 냉각 공급망 기반, 액체 냉각 공급망 기반, 데이터 센터 공급망 기반 등 누구도 Blackwell이 와서 놀라지 않을 것입니다. Grace Blackwell 200으로 제공하고자 하는 기능. GB200은 예외적일 것입니다.
다음 질문은 Bank of America Securities의 Vivek Arya 라인에서 나올 것입니다.
Jensen씨, 귀사의 제품이 충분히 활용되고 공급 부족, 경쟁 또는 기타 요인으로 인해 앞서 나가거나 보류하는 행동이 발생하지 않도록 어떻게 보장하고 있습니까? 기본적으로, 매우 강력한 출하량 증가와 함께 수익화가 보조를 맞추고 있다는 확신을 주기 위해 시스템에 어떤 점검 항목을 구축했습니까?
글쎄요, 저는 제가 보게 될 큰 그림의 관점이 있다고 생각합니다. 그러나 저는 귀하의 질문에 직접적으로 대답할 것입니다. 모든 데이터 센터의 GPU에 대한 수요는 엄청납니다. 우리는 매일 경주를 하고 있습니다. 그 이유는 ChatGPT 및 GPT-4o와 같은 응용 프로그램이 이제 다중 모드, Gemini 및 램프 및 Anthropic이 될 것이며 모든 CSP에서 수행되는 모든 작업이 거기에 있는 모든 GPU를 소비하기 때문입니다. . 또한 생성적 AI 스타트업도 길게 늘어서 있습니다 . 약 15,000, 20,000개 정도 의 스타트업이 멀티미디어에서 디지털 캐릭터, 모든 종류의 디자인 도구 애플리케이션(생산성 애플리케이션, 디지털 생물학, AV 산업의 이동)에 이르기까지 다양한 분야에서 활동하고 있습니다. 자율주행차의 운영 영역을 확장하기 위해 엔드투엔드 모델을 훈련할 수 있도록 비디오를 제작했습니다. 목록은 아주 특별합니다. 우리는 실제로 경주 중입니다. 고객은 우리에게 시스템을 최대한 빨리 제공하고 제대로 작동하도록 많은 압력을 가하고 있습니다. 물론, 나는 자국의 모든 지역적 천연 자원 , 즉 지역 모델을 훈련하기 위한 데이터를 훈련시키고 싶어하는 모든 주권 AI에 대해서는 언급조차 하지 않았습니다. 그리고 이러한 시스템을 유지해야 한다는 압박감도 큽니다.
어쨌든 제 생각에는 수요가 정말 정말 많고 공급을 초과합니다 . 장기적으로 그게 바로 제가 몇 가지 의견을 제시하기 위해 뛰어든 이유입니다. 장기적으로 우리는 컴퓨터 작동 방식을 완전히 재설계하고 있습니다. 그리고 이것은 플랫폼 변화입니다.
물론 과거의 다른 플랫폼 변화와 비교되기도 했습니다. 그러나 시간이 지나면 이것이 이전의 플랫폼 전환보다 훨씬 더 심오하다는 것을 분명히 알 수 있을 것입니다. 그 이유는 컴퓨터가 더 이상 명령 중심 컴퓨터가 아니기 때문입니다. 그것은 의도를 이해하는 컴퓨터입니다. 물론 우리가 그것과 상호 작용하는 방식도 이해하지만 우리의 의미, 우리가 요청한 의도도 이해하며 계획을 처리하고 해결책을 찾기 위해 반복적으로 추론하고 추론할 수 있는 능력도 있습니다. .
따라서 컴퓨터의 모든 측면은 미리 녹음된 파일을 검색하는 대신 상황에 맞는 지능형 답변을 생성하는 방식으로 변화하고 있습니다 .
그리고 이는 전 세계의 컴퓨팅 스택을 변화시킬 것입니다. 그리고 실제로 PC 컴퓨팅 스택마저도 혁명을 일으킬 빌드를 보았습니다. 그리고 이것은 모든 일의 시작일 뿐입니다. 오늘날 사람들이 보는 것은 우리가 연구실에서 작업하고 있는 모든 신생 기업, 대기업, 개발자들과 함께 하고 있는 일의 시작입니다. 세계. 정말 놀라운 일이 될 것입니다.
다음 질문은 Morgan Stanley의 Joe Moore 라인에서 나올 것입니다.
수요가 얼마나 강한지에 대해 방금 말씀하신 내용을 이해합니다.
H200과 Blackwell 제품에 대한 수요가 많습니다. Hopper와 H100 제품으로 마이그레이션하는 과정에서 잠시 중단될 것으로 예상하시나요? 사람들은 가지고 있으면 좋은 제품이 될 신제품을 기다릴까요? 아니면 성장을 지속할 만큼 H100에 대한 수요가 충분하다고 생각하시나요?
이번 분기 동안 호퍼 수요가 증가할 것으로 예상됩니다. 그리고 우리 는 Blackwell로 전환함에 따라 H200으로 전환함에 따라 한동안 수요가 공급을 초과할 것으로 예상합니다 . 모두가 자신의 인프라를 온라인으로 전환하고 싶어합니다. 그리고 그 이유는 그들이 돈을 절약하고 돈을 벌고 있기 때문이며, 가능한 한 빨리 그것을 하고 싶어합니다.
다음 질문은 Toshiya Hari와 Goldman Sachs의 라인에서 나옵니다.
젠슨 씨, 경쟁에 대해 묻고 싶었어요.
귀하의 클라우드 고객 중 상당수가 귀하와 함께 작업 중인 작업과 병행하여 기존 내부 프로그램에 대한 새로운 내용이나 업데이트를 발표했다고 생각합니다 . 중장기적으로 어느 정도로 그들을 경쟁자로 생각하셨나요? 그리고 귀하의 견해로는 이러한 조치가 대부분의 내부 작업 부하를 처리하는 데 국한되어 있다고 생각하십니까, 아니면 앞으로 처리할 분야가 더 광범위할 수 있다고 생각하십니까?
우리는 여러 면에서 다릅니다.
첫째, NVIDIA의 가속 컴퓨팅 아키텍처를 통해 고객은 훈련을 준비하기 위한 비정형 데이터 처리, 구조화된 데이터 처리, 훈련 준비를 위한 SQL과 같은 데이터 프레임 처리, 훈련에서 추론에 이르기까지 파이프라인의 모든 측면을 처리할 수 있습니다. 그리고 제가 발언에서 언급했듯이 추론은 정말 근본적으로 바뀌었습니다. 이제는 세대입니다. 그 자체가 상당히 어려운 고양이를 감지하는 것만이 아니라 고양이의 모든 픽셀을 생성해야 합니다.
따라서 생성 프로세스는 근본적으로 다른 처리 아키텍처입니다. 이것이 TensorRT LLM이 호평을 받은 이유 중 하나입니다 . 우리는 아키텍처에서 동일한 칩을 사용하여 성능을 3배 향상시켰습니다. 이는 우리 아키텍처의 풍부함과 소프트웨어의 풍부함에 대해 알려줍니다.
따라서 컴퓨터 비전부터 이미지 처리, 컴퓨터 그래픽, 모든 컴퓨팅 방식에 이르기까지 모든 작업에 NVIDIA를 사용할 수 있습니다. 그리고 범용 컴퓨팅이 본 궤도에 올랐기 때문에 세계가 컴퓨팅 비용과 컴퓨팅 에너지 인플레이션으로 고통받고 있는 상황에서 가속 컴퓨팅은 실제로 지속 가능한 앞으로 나아갈 방법입니다.
따라서 가속 컴퓨팅은 컴퓨팅에서 비용을 절약하는 방법이자 컴퓨팅에서 에너지를 절약하는 방법입니다.
따라서 우리 플랫폼의 다양성으로 인해 데이터 센터의 TCO가 가장 낮아졌습니다 .
둘째, 우리는 모든 클라우드에 있습니다.
따라서 개발할 플랫폼을 찾고 있는 개발자에게는 NVIDIA로 시작하는 것이 항상 훌륭한 선택입니다. 그리고 우리는 온프레미스에 있고 클라우드에 있습니다 . 우리는 모든 크기와 모양의 컴퓨터 안에 있습니다. 우리는 거의 모든 곳에 있습니다.
이것이 두 번째 이유입니다.
세 번째 이유는 우리가 AI 공장을 짓는다는 사실과 관련이 있습니다. 그리고 이는 AI가 칩만의 문제가 아니라는 사실이 사람들에게 점점 더 분명해지고 있습니다. 물론 아주 좋은 칩으로 시작해서 우리는 AI 공장을 위한 수많은 칩을 제작하지만 이는 시스템 문제입니다.
사실 이제 AI조차도 시스템 문제입니다. 단지 하나의 큰 언어 모델이 아닙니다. 이는 함께 작동하는 대규모 언어 모델 전체로 구성된 복잡한 시스템입니다.
따라서 NVIDIA가 이 시스템을 구축한다는 사실로 인해 우리는 모든 칩이 하나의 시스템으로 함께 작동하고 , 시스템으로 작동하는 소프트웨어를 보유하고, 시스템 전반에 걸쳐 최적화할 수 있도록 최적화할 수 있습니다. 간단히 말해서, 50억 달러 규모의 인프라를 보유하고 있고 우리가 일상적으로 하는 것처럼 성능을 2배 향상했다면 인프라를 2배 향상하면 그 가치도 마찬가지입니다. 50억 달러이다. 해당 데이터 센터의 모든 칩은 비용을 지불하지 않습니다.
그래서 그것의 가치는 정말로 매우 특별합니다. 이것이 오늘날 성능이 가장 중요한 이유입니다. 이 칩을 모두 탑재하는 데 드는 인프라 비용이 많이 들기 때문에 최고 성능이 최저 비용이기도 한 시대입니다. 그리고 데이터 센터에 자금을 조달하고, 데이터 센터를 운영하고, 그에 따르는 사람들, 그에 따르는 힘, 그에 따르는 부동산, 그리고 그 모든 것을 합산하는 데는 많은 돈이 필요합니다. .
따라서 최고의 성능은 가장 낮은 TCO이기도 합니다.
다음 질문은 Matt Ramsay와 TD Cowen의 라인에서 나올 것입니다.
Jensen 씨, 저는 평생 데이터 센터 산업에 종사해 왔습니다. 저는 여러분이 훈련에서 얻는 성능 향상, 즉 5배의 동일한 조합으로 새로운 플랫폼을 도입하는 속도를 본 적이 없습니다.
GTC에서 귀하가 추론에 대해 최대 30배까지 언급한 내용 중 일부입니다. 보는 것은 놀라운 일이지만 고객이 수십억 달러를 지출하고 있는 현재 세대의 제품이 새로운 제품에 비해 경쟁력이 없을 것이라는 흥미로운 병치도 만들어냅니다. 해당 제품의 감가상각 주기.
따라서 저는 귀하가 괜찮으시면 해당 상황이 고객과 함께 어떻게 전개되고 있는지에 대해 조금 말씀해 주시길 바랍니다.
Blackwell로 이동하면 매우 큰 설치 기반을 갖게 될 것입니다. 분명히 소프트웨어와 호환되지만 차세대 제품만큼 성능이 좋지 않은 대규모 설치 기반을 갖게 될 것입니다. 그리고 그 경로를 따라 고객에게 어떤 일이 일어나는지 듣는 것도 흥미로울 것입니다.
예. 정말 감사. 제가 말하고 싶은 점은 세 가지입니다.
당신이 구축에 5% 참여하고 있다면, 그리고 구축에 95% 참여한다면, 당신은 매우 다르게 느낄 것입니다. 그리고 어쨌든 구축 단계가 5%에 불과하기 때문에 최대한 빨리 구축할 수 있습니다 . 그리고 Blackwell이 오면 정말 좋을 것입니다. 그리고 당신이 언급한 것처럼 Blackwell 이후에 다른 Blackwell이 나올 것입니다. 그리고 짧은 시간이 있습니다. 우리는 세상에 설명했던 대로 1년 주기로 진행됩니다 . 그리고 우리는 고객이 원하는 만큼 로드맵을 볼 수 있기를 원합니다. 하지만 아직 구축 초기이기 때문에 계속해서 구축해야 했습니다. 그렇죠? 그래서 수많은 칩이 그들에게 다가올 것이고 그들은 계속해서 구축해야 하며, 원한다면 성능 평균을 달성해야 합니다 .
그러니 그렇게 하는 것이 현명한 일입니다. 그들은 오늘 돈을 벌어야 합니다. 그들은 오늘 돈을 절약하고 싶어합니다. 그리고 시간은 그들에게 정말 정말 소중합니다 .
시간이 정말 가치 있다는 예를 들어보겠습니다. 즉각적으로 데이터 센터를 구축한다는 아이디어가 그토록 가치 있고 훈련 시간이라는 것을 얻는 것이 왜 그렇게 귀중한지 말씀드리겠습니다. 그 이유는 다음 주요 고원에 도달하는 다음 회사가 획기적인 AI를 발표하게 되기 때문입니다. 그리고 그 다음 두 번째는 0.3% 더 나은 것을 발표하게 됩니다 .
따라서 질문은 획기적인 AI를 제공하는 회사가 되고 싶습니까, 아니면 0.3% 더 나은 결과를 제공하는 회사가 되고 싶습니까? 이것이 바로 모든 기술 경쟁과 마찬가지로 이 경주가 중요한 이유입니다. 그리고 여러 회사에서 이러한 경쟁을 목격하고 있습니다. 이는 기술 리더십을 갖추는 데 매우 중요하기 때문입니다. 기업이 리더십을 신뢰하고 플랫폼을 구축하기를 원하며 구축 중인 플랫폼이 더 좋아지고 더 나은.
그래서 리더십은 매우 중요합니다. 훈련하는 시간은 매우 중요합니다. 단지 완료하기 위해 3개월 빠른 훈련 시간의 차이, 3개월 프로젝트에서 훈련할 시간을 확보하려면 3개월 일찍 시작하는 것이 전부입니다.
이것이 바로 우리가 다음 고원이 코앞에 다가왔기 때문에 미친 듯이 호퍼 시스템을 세우는 이유입니다 .
이것이 두 번째 이유입니다.
귀하가 작성한 첫 번째 의견은 정말 훌륭한 의견입니다. 이것이 바로 우리가 하고 있는 일입니다. 우리는 그렇게 빠르게 움직이고 빠르게 발전하고 있습니까? 여기에 모든 스택이 있기 때문입니다. 우리는 말 그대로 전체 데이터 센터를 구축하고 모든 것을 모니터링하고, 모든 것을 측정하고, 모든 것을 최적화할 수 있습니다. 우리는 모든 병목 현상이 어디에 있는지 알고 있습니다. 우리는 그것에 대해 추측하지 않습니다. 우리는 보기에 좋은 PowerPoint 슬라이드를 게시하는 것이 아닙니다. 실제로 우리는 PowerPoint 슬라이드도 약간 좋아하지만 규모에 맞게 작동하는 시스템을 제공하고 있습니다. 그리고 우리가 이 제품이 대규모로 작동한다는 것을 아는 이유는 우리가 이 제품을 일년 내내 구축했기 때문입니다.
이제 우리가 하는 약간의 기적 중 하나는 여기에 전체 AI 인프라를 구축한 다음 고객의 데이터 센터를 원하는 대로 분리하고 통합했다는 것입니다. 하지만 우리는 그것이 어떻게 수행될 것인지를 알고 병목 현상이 어디에 있는지 알고 있습니다. 우리는 어디에서 최적화해야 하는지 알고 있으며, 최고의 성능을 달성하기 위해 인프라를 개선하도록 도와야 하는 부분도 알고 있습니다. 전체 데이터 센터 규모에 대한 심층적이고 친밀한 지식은 오늘날 우리를 근본적으로 차별화하는 요소입니다. 우리는 처음부터 모든 단일 칩을 구축합니다. 우리는 전체 시스템에서 처리가 어떻게 수행되는지 정확히 알고 있습니다.
그래서 우리는 그것이 어떻게 수행될 것인지, 매 세대마다 그것을 최대한 활용하는 방법을 정확히 이해하고 있습니다 .
그래서 감사합니다. 그게 3점이에요.
다음 질문은 Evercore ISI의 Mark Lipacis 라인에서 나옵니다.
Jensen 씨는 과거에 범용 컴퓨팅 생태계가 일반적으로 각 컴퓨팅 시대를 지배했다는 관찰을 하셨습니다. 그리고 저는 그들이 다양한 워크로드에 적응하고, 더 높은 활용도를 얻고, 컴퓨팅 주기 비용을 낮출 수 있다는 주장이 있다고 믿습니다. 그리고 이것이 가속 컴퓨팅을 위해 범용 GPU CUDA 생태계로 전환한 이유에 대한 동기입니다. 그리고 제가 그 관찰 내용을 잘못 설명했다면 알려 주시기 바랍니다.
따라서 문제는 솔루션에 대한 수요를 주도하는 워크로드가 표면적으로 제한된 수의 워크로드처럼 보이는 신경망 훈련 및 추론에 의해 주도되고 있다는 점을 고려하면 맞춤형 솔루션에 적합한 것처럼 보일 수도 있다는 것입니다.
그렇다면 질문은 범용 컴퓨팅 프레임워크가 더 위험해질 것인가, 아니면 역사적인 범용 프레임워크를 지원하는 이러한 워크로드에 충분한 가변성이 있거나 빠르게 발전할 것인가에 관한 것입니다.
예. NVIDIA의 가속 컴퓨팅은 다재다능하지만 범용이라고 부르지는 않습니다. 예를 들어, 우리는 스프레드시트를 실행하는 데 능숙하지 않습니다. 그것은 실제로 범용 컴퓨팅을 위해 설계되었습니다.
따라서 운영 체제 코드의 제어 루프는 아마도 가속 컴퓨팅이 아닌 범용 컴퓨팅에는 환상적이지 않을 것입니다.
그래서 저는 우리가 다재다능하다고 말하고 싶습니다. 그리고 저는 그것을 보통 그렇게 설명합니다. 수년에 걸쳐 가속화할 수 있는 다양한 응용 프로그램 영역이 있지만 모두 공통점이 많습니다. 아마도 몇 가지 깊은 차이점이 있지만 공통점이 있습니다. 그것들은 모두 병렬로 실행할 수 있는 것들이며 모두 스레드가 많습니다. 예를 들어 코드의 5%는 런타임의 99%를 나타냅니다. 이것이 모두 가속 컴퓨팅의 속성입니다. 우리 플랫폼의 다양성과 우리가 전체 시스템을 설계한다는 사실은 지난 10년 동안 여러분이 컨퍼런스 콜에서 저에게 문의한 스타트업의 수가 상당히 많은 이유입니다. 그리고 그들 중 하나 하나는 아키텍처의 취약성 때문에 생성 AI가 등장한 순간, 또는 융합 모델이 등장한 순간, 다음 모델이 등장한 순간입니다. 그리고 이제 갑자기 기억력을 갖춘 이 거대한 언어 모델을 보세요. 대규모 언어 모델에는 기억이 있어야 대화를 계속하고 맥락을 이해할 수 있습니다.
갑자기 Grace 메모리의 다용성이 매우 중요해졌습니다.
따라서 생성 AI의 이러한 발전과 AI의 발전은 실제로 하나의 모델용으로 설계된 위젯이 없다는 것을 간절히 바랍니다. 하지만 이 전체 도메인에 정말 좋은 것을 가지려면 이 전체 도메인의 속성이면서 소프트웨어의 첫 번째 원칙을 준수해야 합니다. 소프트웨어는 계속해서 발전할 것이며 소프트웨어는 계속해서 더 좋아지고 더 커질 것입니다. 우리는 이러한 모델의 확장을 믿습니다. 우리가 앞으로 몇 년 안에 쉽게 100만 배까지 확장할 수 있는 데에는 타당한 이유가 많이 있으며, 우리는 이를 기대하고 준비하고 있습니다.
따라서 우리 플랫폼의 다양성은 정말 중요합니다. 그리고 그렇지 않습니다. 너무 취약하고 너무 구체적이라면 FPGA를 구축하거나 ASIC 등을 구축하는 것이 나을 수도 있지만 그것은 컴퓨터가 아닙니다.
다음 질문은 Blayne Curtis와 Jefferies의 라인에서 나올 것입니다.
사실 좀 궁금합니다. 공급이 제한되어 있는 상황에서 중국 용 제품인 H20을 출시했다는 것에 대해 어떻게 생각하시나요 ? 나는 그것에 대한 수요가 엄청날 것이라고 가정하고 있지만 분명히 당신은 다른 Hopper 제품으로 고객에게 서비스를 제공하려고 노력하고 있습니다.
후반부에는 어떻게 생각하시는지 궁금합니다.
매출 총이익뿐만 아니라 매출에 대한 생각, 영향을 자세히 설명할 수 있습니다.
나는 당신의 질문을 듣지 못했습니다.
뭔가 삐 소리가 났습니다.
H20 및 다양한 Hopper 제품 간의 공급 할당에 대해 어떻게 생각하고 있습니까?
글쎄요, 우리는 존경하는 고객이 있으며 모든 고객에게 최선을 다합니다. 우리의 중국 사업이 과거에 비해 현저히 낮은 상황입니다. 그리고 우리 기술의 한계로 인해 현재 중국에서는 훨씬 더 경쟁력이 있습니다.
그리고 그 문제는 사실입니다.
그러나 우리는 계속해서 해당 시장의 고객에게 서비스를 제공하기 위해 최선을 다하고 있으며 최선을 다해 최선을 다할 것입니다. 그러나 전반적으로 수요가 공급을 앞지르는 것에 대해 우리가 언급한 내용은 전체 시장에 대한 것이며 특히 연말에 H200과 Blackwell에 대한 것입니다 .
다음 질문은 Raymond James와 Srini Pajjuri 라인에서 나올 것입니다.
Jensen, 실제로 당신이 말한 내용에 대한 설명이 더 많습니다. GB 200 시스템의 경우 시스템에 대한 수요가 상당한 것으로 보입니다. 역사적으로 귀하는 HGX 보드와 일부 GPU를 많이 판매했으며 시스템 사업은 상대적으로 작았습니다.
그래서 저는 단지 궁금합니다. 앞으로 시스템에 대한 수요가 이렇게 강력해지는 이유는 무엇입니까? 그것은 단지 TCO입니까, 아니면 다른 것입니까, 아니면 단지 아키텍처입니까?
예. 알겠습니다.
사실 G200을 판매하는 방식은 똑같습니다. 우리는 의미가 있는 모든 구성 요소를 분해하여 컴퓨터 제조업체에 통합합니다.
올해 Blackwell에는 100가지의 다양한 컴퓨터 시스템 구성이 제공될 예정입니다. 그리고 그것은 차트에서 벗어났습니다. 솔직히 호퍼는 절반만 가지고 있었지만 그게 최고조에 달했습니다. 그보다 훨씬 적은 금액으로 시작되었습니다.
따라서 액체 냉각 버전, 공냉식 버전, x86 비전, Grace 버전 등을 보게 될 것입니다 . 설계중인 시스템이 많이 있습니다. 그리고 이는 훌륭한 파트너로 구성된 모든 생태계에서 제공됩니다. 실제로 변한 것은 없습니다.
물론 이제 Blackwell 플랫폼은 우리의 제품을 엄청나게 확장했습니다. CPU 통합과 훨씬 더 압축된 컴퓨팅 밀도, 액체 냉각은 데이터 센터의 전력 공급에 많은 비용을 절약할 뿐만 아니라 에너지 효율성도 높일 것입니다 .
그래서 그것은 훨씬 더 나은 해결책입니다. 이는 더 광범위하여 데이터 센터의 더 많은 구성 요소를 제공하고 모두가 승리할 수 있음을 의미합니다. 데이터 센터는 네트워킹 스위치, 네트워킹을 통해 훨씬 더 높은 성능을 얻습니다.
물론, NIC는 이제 이더넷을 보유하고 있기 때문에 운영만 하는 고객에게 AI를 대규모 NVIDIA AI로 가져올 수 있습니다. 자신이 보유한 생태계 때문에 이더넷 운영 방법만 알 수 있습니다 .
그래서 Blackwell은 훨씬 더 광범위합니다 .
우리는 이 세대의 고객에게 더 많은 것을 제공할 수 있습니다 .
다음 질문은 Truist Securities의 William Stein 라인에서 나올 것입니다.
어느 시점에서 Jensen은 데이터 센터 운영에 사용할 수 있는 합리적인 수준의 CPU가 있지만 ARM 기반 가격의 CPU는 아마도 비용이나 전력 소비 또는 기술적 측면에서 해당 기술을 고객에게 제공할 가치가 있는 실질적인 이점을 제공한다고 결정했습니다. Grace와 Hopper, Grace와 Blackwell의 시너지 효과. 매우 좋은 솔루션이 있지만 Intel과 AMD가 매우 좋은 파트너이고 x86에서 훌륭한 제품을 제공한다는 점을 강조하셨듯이 클라이언트 측에서도 나타날 수 있는 유사한 역동성이 있을 수 있는지 말씀해 주실 수 있습니까? , 특히 신흥 AI 워크로드에서 NVIDIA가 제공할 수 있는 이점 중 다른 업체는 더 많은 어려움을 겪고 있습니까?
글쎄요, 당신은 정말 좋은 이유를 몇 가지 언급했습니다. 많은 애플리케이션의 경우 x86 파트너와의 파트너십이 정말 훌륭하고 함께 우수한 시스템을 구축한다는 것은 사실입니다. 하지만 Grace는 오늘날의 시스템 구성으로는 불가능한 일을 할 수 있게 해줍니다. Grace와 Hopper 사이의 기억 시스템은 일관되고 연결되어 있습니다. 2개의 칩 사이의 상호 연결을 2개의 칩이라고 부르는 것은 슈퍼칩과 같기 때문에 거의 이상합니다. 그 중 2개는 초당 테라바이트 수준의 인터페이스로 연결됩니다. 차트에서 벗어났습니다. Grace가 사용하는 메모리는 LPDDR 입니다 . 최초의 데이터센터급 저전력 메모리입니다.
그래서 우리는 모든 단일 노드에서 많은 전력을 절약합니다 . 그리고 마지막으로 아키텍처 덕분에 이제 전체 시스템으로 자체 아키텍처를 만들 수 있기 때문에 추론을 위한 차세대 대규모 언어 모델에 매우 중요한 매우 큰 NVLink 도메인을 가진 무언가를 만들 수 있습니다.
GB200에는 72노드 NVLink 도메인이 있는 것을 확인했습니다 . 이는 72개의 Blackwell이 하나의 거대한 GPU로 연결된 것과 같습니다.
그래서 우리는 그것을 할 수 있도록 Grace Blackwells가 필요했습니다.
따라서 아키텍처적인 이유가 있고, 소프트웨어 프로그래밍 이유가 있으며, 그런 식으로 구축하는 데 필수적인 시스템 이유가 있습니다.
그래서 우리가 그런 기회를 발견한다면, 우리는 그것을 탐구할 것입니다. 그리고 어제 어제 보셨듯이 제가 정말 훌륭하다고 생각했던 Satya는 노트북에 탑재되어 있는 NVIDIA의 RTX GPU에서 환상적으로 실행되는 차세대 PC인 Copilot+ PC를 발표했습니다. 하지만 ARM도 훌륭하게 지원합니다.
따라서 PC에도 시스템 혁신의 기회가 열립니다.
마지막 질문은 Cantor Fitzgerald와 함께 CJ Muse 라인에서 나왔습니다.
Jensen, 약간 장기적인 질문인 것 같아요. Blackwell이 아직 출시되지도 않았다는 것을 알고 있지만 분명히 투자자들은 미래 지향적이며 GPU 및 맞춤형 ASIC의 잠재적 경쟁이 치열해지는 가운데 지난 10년 동안 NVIDIA의 혁신 속도와 백만 배 확장에 대해 어떻게 생각하십니까? 인상적인. CUDA, Precision, Grace, Cohere 및 연결성. 앞으로 10년 동안 해결해야 할 마찰은 무엇입니까? 그리고 아마도 더 중요한 것은 오늘 우리와 무엇을 공유하고 싶으신가요?
글쎄, Blackwell 이후에 또 다른 칩이 있다고 발표할 수 있습니다 . 그리고 우리는 1년 주기로 살고 있습니다 .
따라서 우리는 매우 빠른 속도로 새로운 네트워킹 기술을 개발할 수 있을 것으로 기대합니다. 이더넷용 Spectrum-X를 발표합니다. 그러나 우리는 모두 이더넷에 전념하고 있으며 이더넷에 대한 매우 흥미로운 로드맵을 갖고 있습니다 .
우리는 풍부한 파트너 생태계를 보유하고 있습니다. Dell은 Spectrum-X를 시장에 출시할 것이라고 발표했습니다.
우리는 전체 AI 공장 아키텍처를 시장에 출시하겠다고 발표할 고객과 파트너로 구성된 풍부한 생태계를 보유하고 있습니다.
따라서 최고의 성능을 원하는 기업을 위해 InfiniBand 컴퓨팅 패브릭이 있습니다. InfiniBand는 이더넷에서 네트워크로 연결되는 컴퓨팅 패브릭입니다. 그리고 InfiniBand는 수년에 걸쳐 컴퓨팅 패브릭으로 시작하여 점점 더 나은 네트워크가 되었습니다. 이더넷은 네트워크이며 Spectrum-X를 통해 이더넷을 훨씬 더 나은 컴퓨팅 패브릭으로 만들 것입니다. 그리고 우리는 단일 컴퓨팅 도메인을 위한 NVLink 컴퓨팅 패브릭, InfiniBand 컴퓨팅 패브릭, 이더넷 네트워킹 컴퓨팅 패브릭이라는 세 가지 링크 모두에 전념하고 있습니다 .
그래서 우리는 매우 빠른 속도로 3개 모두를 앞으로 가져갈 것입니다.
따라서 새로운 스위치, 새로운 NIC, 새로운 기능, 세 가지 모두에서 실행되는 새로운 소프트웨어 스택을 보게 될 것입니다 .
새로운 CPU, 새로운 GPU, 새로운 네트워킹 NIC, 새로운 스위치, 수많은 칩이 곧 출시될 예정입니다. 그리고 그 모든 것 - 아름다운 점은 그 모든 것이 CUDA를 실행한다는 것 입니다 . 그리고 이 모든 것이 전체 소프트웨어 스택을 실행합니다.
따라서 오늘 아무것도 하지 않고도 소프트웨어 스택에 투자하면 점점 더 빨라질 것입니다. 그리고 지금 우리 아키텍처에 아무것도 하지 않고 투자한다면 점점 더 많은 클라우드와 점점 더 많은 데이터 센터로 이동 하고 모든 것이 제대로 실행될 것입니다.
그래서 저는 우리가 가져오는 혁신의 속도가 한편으로는 역량을 향상시키고 다른 한편으로는 TCO를 낮출 것이라고 생각합니다.
따라서 우리는 이 새로운 컴퓨팅 시대를 위해 NVIDIA 아키텍처를 확장할 수 있어야 하며 더 이상 소프트웨어뿐만 아니라 인공 지능 토큰도 제조하는 새로운 산업 혁명을 시작할 수 있어야 하며 이를 대규모로 수행할 것입니다. . 감사합니다.
이것으로 오늘의 질의응답 세션과 소집을 마치겠습니다. 참여해 주셔서 감사합니다. 이제 연결이 끊어질 수도 있습니다.
'2024년 1분기 어닝콜' 카테고리의 다른 글
| 블룸에너지 BLOOM ENERGY [BE] 2024년 1분기 어닝콜 (0) | 2024.05.26 |
|---|---|
| 아이온큐 [IONQ] 2024년 1분기 어닝콜 (0) | 2024.05.26 |
| TESLA 테슬라 [TSLA] 2024년 1분기 어닝콜 (0) | 2024.05.26 |
| 애플 APPLE [AAPL] 2024년 1분기 어닝콜 (0) | 2024.05.26 |
| AMD[AMD] 2024년 1분기 어닝콜 (0) | 2024.05.26 |