Arm IP產品事業群總裁Rene Haas發表「全面運算引領AI成長」主題演說。探討AI運算在各個市場所面臨的複雜挑戰,以及Total Compute解決方案為何能夠同時滿足AI效能提升與應用開發的需求。
Rene 一開始即指出一個重大趨勢:AI核心平台邁向異質化時代。現在的智慧型手機已經內建許多人工智慧和機器學習(ML)的基礎功能,包括即時影像擷取、人臉辨識等,但在全球將近四十億只的智慧型手機中,目前約有85%的手機還是將機器學習的工作負載交由CPU或者CPU + GPU (圖形處理器) 執行的。
而根據Arm對AI處理器工作負載的研究,為達成更佳的應用效能和使用體驗,發揮AI和ML的優勢,未來智慧型裝置的AI運算核心,將以CPU為中心,再整合運用GPU、NPU (類神經網路處理器)、DPU (資料流處理器)、FPGA (現場可編程邏輯閘陣列)等運算資源。
從產業轉型方面來看,不論是自動駕駛、5G引爆的邊緣伺服器需求、AI型穿戴裝置和虛擬實境 (VR)、擴增實境 (AR)、高畫質遊戲體驗、5G 智慧手機等,都帶來超高的運算效能與智慧功能要求。此外,安全也是一項極大的考驗,前述各種市場領域的設備與裝置,都儲存了大量的個人資訊,沒有人希望竊取個人機密資料的事件再次發生。
Rene指出,這些大規模運算流程、跨處理元件的運用、安全保護要求,以及特定領域運算 vs 通用運算等,都將讓應用開發變得越來越困難且成本越來越高,市面上太多不同軟體的選擇,造成開發人員/生態系統碎片化的擴大,增加了推動裝置AI化的困難。
針對上述的AI運算與體驗挑戰,Arm提供從系統整體出發,結合硬體IP (矽智財)、軟體架構和最佳化工具,一次解決未來運算複雜性的「全面運算」(Total Compute)解決方案。
一方面,Total Compute解決方案能以CPU為任務控制核心,再透過System IP確保AI運算的工作負載能達到最佳分配。例如影像搜尋作業由NPU執行,將比CPU更快、更有效率。再加上 Arm 的GPU、ML 處理器、顯示處理器、Arm NN 架構等,將能協助開發人員全面釋放AI效能。
另一方面,Total Compute為開發人員提供了一個更容易運用的未來生態系統。碎片化的軟體和開發人員生態系統,除面臨需提升各種裝置的存取效能以推展AI應用的挑戰外,複雜的運算又進一步提升效能的需求,因此為了能讓AI應用能輕鬆擴展到不同的環境中,Arm藉由快速、簡單、成本更低的Total Compute解決方案。提供一個統一的開發途徑。Arm所開發的軟體架構,充分運用了Arm IP以及Arm NN、Arm Compute Library、 Arm Development Studios和Arm Mobile Studios,能有效加速產品開發的上市時程。
Rene總結未來新的工作負載是以使用案例為設計基礎的,要解決未來的複雜性挑戰,必須從根本上最佳化硬體、軟體、平台安全性和工具。整個AI產業面臨著極大的挑戰,而CPU軟體生態系統將有助於開發人員拓展邊緣的AI體驗,Arm是業界中兼具安全、效能和效率的領導者,能夠透過Total Compute策略涵蓋的軟硬體和生態系統,幫助開發者跨越各個市場領域,加速提供5G時代的全新體驗。