隨著AI持續顛覆各個產業,企業對於兼顧成本效益和可以快速開發並布署基礎設施的需求愈趨成長。因應需求攀升,英特爾(Intel)正式推出搭載效能核心(P-core)的Xeon 6和Gaudi 3 AI加速器,進一步落實該公司致力於提供具備每瓦最佳效能,且降低總持有成本(TCO)的AI系統的承諾。
英特爾執行副總裁暨資料中心與AI解決方案總經理Justin Hotard指出,AI需求帶動資料中心大規模轉型,產業因此開始在軟硬體和開發工具上尋求更多選擇。英特爾推出搭載效能核心的Xeon 6和Gaudi 3 AI加速器,將促進開放生態系發展,使我們的客戶能以更佳的效能、效率和安全性,滿足所有工作負載。大規模布署AI涉及各種考量因素,包括靈活彈性布署的選項、具競爭力的價格效能比,以及可用的AI技術等。英特爾的x86架構與廣泛的開放生態系,使其能夠支援企業建構具備最佳化總持有成本及每瓦效能的高價值AI系統。目前市場上高達73%的GPU加速伺服器,是使用Intel Xeon系列處理器作為主控處理器(Host CPU)。
Xeon 6是專為處理運算密集型的工作負載而設計伺服器CPU,並兼顧優異效率。相較於上一代處理器,Xeon 6提供2倍的效能提升,不僅核心數增加、記憶體頻寬加倍,更將AI加速功能嵌入每個核心。英特爾此款處理器,專為滿足邊緣到資料中心和雲端環境的AI效能需求而打造。特別為大規模生成式AI最佳化的Gaudi 3加速器,則具備64個張量處理器核心(TPC)和8個矩陣乘法引擎(MME),能加速深度神經網路運算。此外,Gaudi 3還搭載了128GB HBM2e記憶體,以及用於可擴充網路的24個200Gb乙太網路連接埠。在軟體方面,Gaudi 3提供了與PyTorch框架、Hugging Face Transformer模型和diffuser模型無縫的相容性。
除了對AI框架及模型的支援外,英特爾也與OEM夥伴合作包括戴爾(Dell)和美超微(Supermicro),開發共同設計的系統,以滿足客戶在有效AI布署的特定需求。戴爾與英特爾正共同設計適用於Gaudi 3和Xeon 6,且以檢索增強生成(RAG)為基礎,並且量產就緒(Production Ready)的解決方案。在RAG由原型設計推進至量產就緒的過程中,將面臨即時監控、錯誤處理(Error Handling)、記錄日誌檔(Logging)、安全性和可擴充性等方面的挑戰。因此,英特爾選擇與OEM廠商和其他夥伴合作,透過共同設計來應對這些挑戰,推出量產就緒的RAG解決方案。
這些解決方案建立於Open Platform For Enterprise AI(OPEA)平台之上,將基於OPEA的微服務架構整合至可擴充的RAG系統,並針對Xeon和Gaudi AI系統進行最佳化,其目的為協助客戶輕鬆整合Kubernetes、Red Hat OpenShift AI和Red Hat Enterprise Linux AI的應用程式。