NVIDIA H200 Tensor コア GPUは、4.8TB/sで、141GBのHBM3eメモリを提供する初のGPUです。これは、NVIDIA H100 Tensor コア GPUの約2倍のメモリ容量で、メモリ帯域幅は1.4倍です。
NVIDIA H200はLLM推論も高速化されております。Llama2のようなLLMを扱う場合、H100 GPUと比較して推論速度を最大2倍向上します。またシミュレーション、科学研究、人工知能のようなメモリを大量に使用するHPCアプリケーションでは、 H200の高いメモリ帯域幅が、データへのアクセスと操作を効率化し、CPUと比較して110倍の早さで結果を得ることができます。
H200の大容量かつ高速なメモリは、生成AIとLLMを加速し、エネルギー効率を向上させ、総所有コストを低減し、生成AIやハイパフォーマンス・コンピューティング・ワークロードのために大量のデータを処理します。

NVIDIA H100 NVLは、1基あたり94GBのメモリを搭載しており、2基のNVIDIA H100 NVLをNVLinkで接続することにより188GBもの大容量メモリと7.8TB/秒のメモリ帯域を実現します。
大量のデータを展開する必要がある生成AIや大規模言語モデル（LLM）の推論に最適化され、前世代のA100と比較して最大12倍高速な推論性能を提供します。

NVIDIA L40Sは、142基の第3世代RTコア、GPUメモリ48GB GDDR6の搭載により、NVIDIA Ampereアーキテクチャー世代の最大2倍のリアルタイムレイトレーシング性能を実現します。
大量のデータを展開する必要がある生成AIや大規模言語モデル（LLM）の推論に最適化され、前世代のA100と比較して最大1.5倍高速な推論性能を提供します。