Arduino最初只用於電子興趣創作,但因易懂易學的特性其用戶群不斷擴大(宣稱已達3,300萬人),且各產業的IoT實務應用開發需求日益增多,在專業電子開發人員有限下,讓本已熟悉Arduino開發的人平順轉向產業實務開發,是最便捷的作法。因此2020年1月CES展期間Arduino正式提出Arduino Pro,加上Pro(專業、職業)字樣以與過往區別,並以Pro之名推出各種新板卡,完全針對產業實務應用而設計。
而在2022年11月ChatGPT爆紅後,各界對大語言模型(Large Language Model, LLM)、生成式人工智慧(Generative AI, GenAI)等應用抱有極大期許,這股熱潮也吹向創客領域,此前AI風潮就已經帶動Edge AI、TinyML等話題,LLM/GenAI則把熱潮再向上推升。
為了順應時勢,創客領域的樹莓派(Raspberry Pi)已與以色列晶片商Hailo合作,推出Raspberry Pi AI HAT/HAT+,讓其單板電腦透過加裝方式擁有硬體AI硬體加速能力,或與Sony合作推出具AI硬體加速能力的攝影機等。
樹莓派出招後,現在Arduino也跟進,2025年1月CES期間宣布與荷蘭新創晶片商Axelera合作,該公司的晶片與軟體將用於Arduino Pro系列中,Axelera公司的晶片為Metis,將與Arduino Pro系列中的Portenta X8板(有時也稱為SOM,即System on a Module系統模組之意)搭配使用。
與多數新創晶片商相同的,現在喜歡用xPU來給自己的晶片拉抬聲勢,過去Intel用CPU(中央處理單元)拉抬,NVIDIA於1999年提出GPU(繪圖處理單元)一詞來拉抬,近年來則有所謂的NPU(神經網路處理單元)或英國新創商Graphcore主張的IPU(智慧處理單元)等,其他如新創晶片商Syntiant提出的NDP(Neural Decision Processors,網路決策處理器)、Google的TPU(張量處理單元)也是。
所以Axelera把自己的AI硬體加速晶片稱為AIPU(人工智慧處理單元),同樣著眼於「快速吸引大眾對xPU字眼的關注目光」。
效能規格初探
在效能方面,依據Axelera目前的官方揭露,Metis晶片在精度為8位元整數(INT8)下最高有214TOPS的推論效能,且強調低功耗,每瓦能有15TOPS效能。這有可能比Hailo好,Hailo的典型AI加速晶片Hailo-8最高26TOPS、2.5瓦,每瓦約10.4TOPS。
不過,Metis可能是在邊緣系統上才會發揮到全效,在Arduino Pro上約為39.3TOPS,提升運作時脈則可以到48.16TOPS。降效能的原因目前未有直接說明,筆者推測與連接介面、記憶體容量、功耗等因素有關。
值得注意的是,Metis晶片內用及RISC-V核心,事實上樹莓派第二代微控制器RP2350也開始引入RISC-V核心。另一點是:雖然雙方宣布合作,不過似乎未見到Metis晶片將透過何種方式與Portenta X8板連接。
進一步的,Metis晶片真的是為了讓Arduino Pro具備LLM應用能力,而非一般的Edge AI嗎?答案是肯定的,目前的作法是在Arduino Pro板上使用微軟(Microsoft)預先訓練好的大語言模型Phi-3,然後來進行各種產業數據的監控與預測,如溫度、濕度、空氣品質、二氧化碳等。
雖然確實用及LLM技術,但似乎不是用於人機對話的自然語言處理(NLP)或數位內容產生,依然是以資料科學(DS)為主的應用。除模型外,推測Arduino Pro也會用及與Metis晶片搭配的AI軟體開發套件(SDK),稱為Voyager。
結語
最後,目前不知道Metis晶片的板卡將為多少售價,更此前的2022年曾發布過相關新聞,提及M.2介面的板卡約為149美元,此可供基本參考。
且令人玩味的,Arduino、Raspberry Pi起步都是歐洲板卡並使用美國大廠晶片,如Atmel(今已屬Microchip)、Broadcom等,而今跨入AI領域都選擇非美國的新創晶片商,如以色列Hailo、荷蘭Axelera等,後續發展將如何且拭目以待。
(本文轉載自vMaker台灣自造者,原文連結:https://vmaker.tw/archives/72870)