NVIDIA宣布推出四款推論平台，可針對近來快速出現的各種生成式人工智慧應用程式進行最佳化調整，幫助開發人員快速建立專門的人工智慧應用程式，以提供新的服務和洞察。
這些平台將NVIDIA的整套推論軟體與最新的NVIDIA Ada、Hopper和Grace Hopper處理器結合在一起，處理器方面還包括近日推出的NVIDIA L4 Tensor Core GPU及NVIDIA H100 NVL GPU。各平台均針對有著嚴苛需求的不同工作負載進行了最佳化調整，包括人工智慧影片、影像生成、大型語言模型部署和推薦系統推論。
NVIDIA創辦人暨執行長黃仁勳表示，生成式人工智慧的興起需要有更強大的推論運算平台加以支援。生成式人工智慧的應用有無窮的可能性，僅受限於人類的想像力。NVIDIA將最強大靈活的推論運算平台提供給開發人員使用，將加快推動開發出各種新式服務，用目前還想像不到的方式，讓我們的生活更美好。
每個平台都有一個針對特定生成式人工智慧推論工作負載進行最佳化的 NVIDIA GPU，以及專用軟體。
用於人工智慧影片的NVIDIA L4可以提供較CPU高出120倍的人工智慧影片生成效能，能源使用效率也高出99%。NVIDIA L4可以處理幾乎所有工作負載，其提供了更強大的影片解碼和轉碼能力、視訊串流、擴增實境、生成式人工智慧影片等。
用於影像生成的NVIDIA L40針對繪圖和人工智慧2D、影片和3D影像生成進行了最佳化調整。L40平台是用在資料中心建立和運行元宇宙應用程式之NVIDIA Omniverse平台的引擎，在執行Stable Diffusion時的推論表現是前一代產品的7倍，在運行Omniverse平台時的效能是前一代產品的12倍。
用於部署大型語言模型的NVIDIA H100 NVL是部署像是ChatGPT等大規模LLM的理想選擇。新款H100 NVL擁有94GB的記憶體及Transformer引擎加速功能，在資料中心規模上執行GPT-3推論作業的效能是前一代A100的12倍。
用於推薦模型的NVIDIA Grace Hopper是圖形推薦模型、向量圖形資料庫和繪圖神經網路的理想選擇。CPU與GPU之間採用每秒900GB NVLink-C2C連線技術，Grace Hopper的資料傳輸和查詢速度較PCIe Gen 5快上7倍。
這些平台的軟體層採用NVIDIA AI Enterprise軟體套件，其中包括用於高效能深度學習推論的軟體開發套件NVIDIA TensorRT，以及協助標準化模型部署的開放原始碼推論服務軟體NVIDIA Triton推論伺服器。
Google Cloud是NVIDIA推論平台重要的雲端合作夥伴和早期客戶，將把L4平台與旗下的機器學習平台Vertex AI進行整合，而且還是第一個提供L4執行個體的雲端服務供應商，開始提供G2虛擬機器非公開的專屬預覽。
NVIDIA與Google分別宣布兩間在Google Cloud上搶先試用L4的公司，一間是使用生成式人工智慧協助創作者製作影片和podcast內容的Descript公司，另外一間是將其人工智慧文字轉數位藝術應用程式命名為Dream的WOMBO公司。
另一個早期採用者快手(Kuaishou)則是提供短影片應用程式，利用GPU解碼傳入的即時串流媒體影片、擷取關鍵影格、最佳化聲音和影片內容。快手接著使用一個基於Transformer模型的大型模型來理解多模式內容，以及提高全球數億名用戶的點擊率。
快手科技資深副總裁于越表示，每天有超過3.6億名用戶使用快手的推薦系統，這些用戶每天投稿三千萬條使用者生成內容影片。與總持有成本相同的CPU相比，NVIDIA GPU將系統的端到端處理量提高了11倍，將延遲情況減少了20%。
生成式人工智慧技術平台D-ID使用NVIDIA L40 GPU，透過文字產生出栩栩如生的數位人，協助專業人士製作出更精美的影片內容，能為所有內容加上一張臉，又降低了大量製作影片的成本和困難。
Seyhan Lee工作室共同創辦人Pinar Demirdag表示，L40 GPU大幅提升Seyhan Lee生成式人工智慧應用程式的效能，利用L40的推論能力和記憶體大小，可以部署最先進的模型，且以超高速度和超高準確度將創意服務提供給客戶。
Cohere執行長Aidan Gomez表示，NVIDIA的全新高效能H100推論平台讓Cohere可以使用最先進的生成式模型，提供更好、更高效的服務給客戶，以支援對話式人工智慧、多語言企業搜尋和資訊抽取等各種NLP應用程式的運作。
Grace Hopper Superchip及H100 NVL GPU預計在下半年開始供貨，此外，現在也可立即透過NVIDIA的全球電腦製造商及雲端服務供應商合作夥伴，取得用於生成式人工智慧的NVIDIA推論平台。
現已在Google Cloud平台上開放NVIDIA L4 GPU非公開專屬預覽，全球超過三十家的電腦製造商通路也將開始供貨，包括研華、華碩、源訊(Atos)、思科(Cisco)、戴爾(Dell Technologies)、富士通、技嘉、慧與科技(Hewlett Packard Enterprise)、聯想(Lenovo)、雲達科技(QCT)和美超微(Supermicro)。
華碩、戴爾(Dell Technologies)、技嘉、聯想(Lenovo)和美超微(Supermicro) 等大型系統建置商現已開始提供NVIDIA L40 GPU，而合作平台的數量將在接下來一整年裡不斷增加。
各大雲端服務供應商及數十家系統供應商和合作夥伴現已開始提供NVIDIA AI Enterprise。NVIDIA AI Enterprise的客戶可以獲得NVIDIA Enterprise Support支援服務，以及定期檢測NVIDIA Triton推論伺服器、TensorRT、超過五十個預先訓練好的模型和框架的安全性與API穩定性的服務。
在NVIDIA LaunchPad的實作實驗室中，可以立即免費試用生成式人工智慧NVIDIA推論平台。示範實驗室包括訓練和部署一個支援性質的聊天機器人、部署一個端到端的人工智慧工作負載、在H100上調整和部署一個語言模型，以及使用NVIDIA Triton部署一個詐欺偵測模型。
