生成式AI讓人工智慧更廣泛、深入的影響科技產業,並掀起一波運算革命,然而高效能運算對記憶體的需求不斷提升,頻寬的成長落後運算與記憶體容量的擴充,成為AI發展的效能瓶頸,CXL(Compute Express Link)支援新世代資料中心的設計架構,擴充記憶體傳輸頻寬。SMART Modular(世邁科技)近日舉辦CXL技術研討會,分享CXL技術趨勢與市場策略,解析CXL技術重塑AI運算,並邀請多家合作夥伴展現產業生態鏈的建構策略。
記憶體的效能與頻寬發展相對落後於CPU的效能改善時,就會出現記憶體牆(Memory Wall)的瓶頸,拖累整體系統效能,SMART Modular DRAM產品總監Arthur Sainio表示,當資料集成長到超過記憶體容量時,記憶體DBMS的效能將下降高達66%,這也是CXL產業需求的主因。到2028年,CXL市場規模預計將超過33億美元,伺服器市場的CXL配售率預計將達到30%,包括擴展和池化應用。
隨著生成世AI模型參數不斷成長,記憶體容量的需求也水漲船高,SMART Modular推出CXL記憶體模組CMM-E3S CXL 2.0擴充記憶體模組,該款DDR5 CXL模組是透過CXL介面增加快取一致性記憶體,可提昇伺服器和資料中心的運算性能,超越大多數伺服器只有8通道或12通道的限制,進一步擴展大數據處理能力。
序列連接記憶體可在主記憶體DIMM模組之外增加記憶體容量和頻寬,配備CXL模組的伺服器可在不用關機的情況下針對不同的應用和工作負載進行動態配置,並在節點之間共用CXL模組記憶體,滿足不同節點所需的吞吐量和延遲要求。
SMART Modular CMM-E3S模組為搭載CXL ASIC控制器及符合CXL 2.0規範的E3.S 64GB DDR5記憶體。SMART CMM-E3S模組提供額外的記憶體容量,可透過CXL介面動態分配到有需要的工作負載。
另外,SMART 4-DIMM和8-DIMM擴充卡讓伺服器和資料中心架構設計人員使用熟悉且容易安裝的規格,擴充4TB記憶體容量。SMART Modular的4-DIMM和8-DIMM AIC搭載CXL控制器,可消除人工智慧(AI)、高效能運算(HPC)和機器學習(ML)等運算密集型工作負載遇到的問題。若以傳統DIMM匯流排介面擴充記憶體,可能會受限於CPU的引腳設計而產生諸多問題,因此業界轉而採用以CXL為主的解決方案,在引腳使用上將更有彈性。
此外,CXL也降低了擴充記憶體容量的成本,例如,使用SMART AIC擴充卡搭配具成本效益的64GB RDIMM,可讓每個伺服器CPU擁有高達1TB的記憶體。這種作法也有望為供應鏈提供另一種選擇,可依照市場供需狀況,改用更多低密度模組取代高密度的RDIMM模組,有效降低系統記憶體成本。
本次研討會設置六個展示區,涵蓋CXL伺服器、CXL Switch、CXL記憶體,展示CXL在AI、HPC、雲端及共享基礎架構的最新應用,永擎電子(ASRock Rack)展示ASRock Rack 4U8G-GNR2高效能AI伺服器,搭載SMART PCIe Gen5 CXL 2.0 AIC擴充卡。技鋼科技(Giga Computing)展示GIGABYTE G494-SB0 AI伺服器,適用於大規格AI訓練和推論工作負載。和碩聯合展示Pegatron GS202-2T1伺服器,2U搭配4-DIMM CXL AIC模組的架構。智邦科技展示CXL在CDI(Composable Disaggregated Infrastructure)架構中的應用,突顯記憶體與運算資源的動態分配能力。創義達科技(H3 Platform)展示CXL記憶體池化與共享解決方案,包含系統設備與關鍵零組件。