人工智慧(AI)公司耐能日前發布KL730晶片,KL730整合了車規級NPU和影像訊號處理器(ISP),並將安全而低耗能的 AI,賦能到邊緣伺服器、智慧家居及汽車輔助駕駛系統等各類應用場景中。針對大型語言模型帶來的耗能挑戰,KL730可以大幅節省AI運算的功耗。
耐能創辦人兼執行長劉峻誠說明,包含OpenAI、Google等科技大廠的碳排量急劇攀升,但這些廠商也訂下減碳目標,期望在發展大型語言模型技術的同時,兼顧環境議題。而採用NPU晶片取代GPU,即是大量減少功耗的有效策略。台灣建立自己的ChatGPT的目標,也能透過NPU晶片實現。
KL730從設計之初就以實現 AI 功能為目的,並更新了多項節能及安全的技術創新。該晶片具備多通道介面,可無縫接入圖像、影片、聲音和毫米波等各種數位訊號,支援各產業的人工智慧應用開發。
該晶片還解決了目前人工智慧的廣泛瓶頸之一,普遍的低效能硬體導致的系統高成本。在這個晶片的開發工作中,KL730在效能方面取得了極大的進步,效能比相較於過往耐能的晶片提升了三至四倍,且比主要產業同等產品提高了150~200%。
耐能長期專注於邊緣AI,並研發了一系列輕量且可擴展的AI晶片,以安全地推動AI能力的發展。2021年,耐能發布首款支援Transformer神經網路架構的邊緣AI片KL530。而Transformer 神經網路架構是所有GPT(Generative Pre-trained Transformer)模型的基礎。KL730晶片進一步豐富該產品系列,提供每秒0.35~4 tera有效計算能力,擴展了支援先進的輕量級GPT大型語言模型(如nanoGPT)的能力。
KL730具有獨特的定位,可以改變AIoT領域的安全性,進而使用戶能夠部分或完全離線地在終端運行GPT模型。該晶片配合耐能的私有安全邊緣AI網路KNEO,讓AI在用戶的邊緣設備上執行,強化保護資料隱私。這些功能擴及不同領域的應用,從企業伺服器解決方案到智慧駕駛車輛再到以 AI 驅動的醫療設備,所增加的安全性允許設備之間進行更大的協作,同時保護資料的安全。例如,工程師可以設計新的半導體晶片,而無需與大型雲端公司營運的資料中心共用機密數據。