產業級Arduino也擁抱LLM AI

作者: 陸向陽
2025 年 01 月 21 日

Arduino最初只用於電子興趣創作,但因易懂易學的特性其用戶群不斷擴大(宣稱已達3,300萬人),且各產業的IoT實務應用開發需求日益增多,在專業電子開發人員有限下,讓本已熟悉Arduino開發的人平順轉向產業實務開發,是最便捷的作法。因此2020年1月CES展期間Arduino正式提出Arduino Pro,加上Pro(專業、職業)字樣以與過往區別,並以Pro之名推出各種新板卡,完全針對產業實務應用而設計。

而在2022年11月ChatGPT爆紅後,各界對大語言模型(Large Language Model, LLM)、生成式人工智慧(Generative AI, GenAI)等應用抱有極大期許,這股熱潮也吹向創客領域,此前AI風潮就已經帶動Edge AI、TinyML等話題,LLM/GenAI則把熱潮再向上推升。

為了順應時勢,創客領域的樹莓派(Raspberry Pi)已與以色列晶片商Hailo合作,推出Raspberry Pi AI HAT/HAT+,讓其單板電腦透過加裝方式擁有硬體AI硬體加速能力,或與Sony合作推出具AI硬體加速能力的攝影機等。

樹莓派出招後,現在Arduino也跟進,2025年1月CES期間宣布與荷蘭新創晶片商Axelera合作,該公司的晶片與軟體將用於Arduino Pro系列中,Axelera公司的晶片為Metis,將與Arduino Pro系列中的Portenta X8板(有時也稱為SOM,即System on a Module系統模組之意)搭配使用。

圖1:Arduino Pro系列目前的三塊主要模組板,即Portenta系列,其中Portenta X8(圖中者)將可搭配Metis硬體AI加速晶片使用(圖片來源:Arduino官網)

 

與多數新創晶片商相同的,現在喜歡用xPU來給自己的晶片拉抬聲勢,過去Intel用CPU(中央處理單元)拉抬,NVIDIA於1999年提出GPU(繪圖處理單元)一詞來拉抬,近年來則有所謂的NPU(神經網路處理單元)或英國新創商Graphcore主張的IPU(智慧處理單元)等,其他如新創晶片商Syntiant提出的NDP(Neural Decision Processors,網路決策處理器)、Google的TPU(張量處理單元)也是。

所以Axelera把自己的AI硬體加速晶片稱為AIPU(人工智慧處理單元),同樣著眼於「快速吸引大眾對xPU字眼的關注目光」。

圖2:搭載Axelera Metis晶片,並以M.2介面與主控系統連接的加速子卡(圖片來源:Axelera官網)

 

效能規格初探

在效能方面,依據Axelera目前的官方揭露,Metis晶片在精度為8位元整數(INT8)下最高有214TOPS的推論效能,且強調低功耗,每瓦能有15TOPS效能。這有可能比Hailo好,Hailo的典型AI加速晶片Hailo-8最高26TOPS、2.5瓦,每瓦約10.4TOPS。

不過,Metis可能是在邊緣系統上才會發揮到全效,在Arduino Pro上約為39.3TOPS,提升運作時脈則可以到48.16TOPS。降效能的原因目前未有直接說明,筆者推測與連接介面、記憶體容量、功耗等因素有關。

值得注意的是,Metis晶片內用及RISC-V核心,事實上樹莓派第二代微控制器RP2350也開始引入RISC-V核心。另一點是:雖然雙方宣布合作,不過似乎未見到Metis晶片將透過何種方式與Portenta X8板連接。

進一步的,Metis晶片真的是為了讓Arduino Pro具備LLM應用能力,而非一般的Edge AI嗎?答案是肯定的,目前的作法是在Arduino Pro板上使用微軟(Microsoft)預先訓練好的大語言模型Phi-3,然後來進行各種產業數據的監控與預測,如溫度、濕度、空氣品質、二氧化碳等。

雖然確實用及LLM技術,但似乎不是用於人機對話的自然語言處理(NLP)或數位內容產生,依然是以資料科學(DS)為主的應用。除模型外,推測Arduino Pro也會用及與Metis晶片搭配的AI軟體開發套件(SDK),稱為Voyager。

圖3:Axelera的AI軟體開發套件Voyager的軟體堆疊圖(圖片來源:Axelera官方)

 

結語

最後,目前不知道Metis晶片的板卡將為多少售價,更此前的2022年曾發布過相關新聞,提及M.2介面的板卡約為149美元,此可供基本參考。

且令人玩味的,Arduino、Raspberry Pi起步都是歐洲板卡並使用美國大廠晶片,如Atmel(今已屬Microchip)、Broadcom等,而今跨入AI領域都選擇非美國的新創晶片商,如以色列Hailo、荷蘭Axelera等,後續發展將如何且拭目以待。

(本文轉載自vMaker台灣自造者,原文連結:https://vmaker.tw/archives/72870)

標籤
相關文章

專訪NI共同創辦人Jeff Kodosky LabVIEW強化行動與開放性

2013 年 09 月 29 日

大廠搶進又淡出 創客生態圈二次轉型

2021 年 06 月 24 日

iOS 8登台亮相 蘋果搶進穿戴式裝置市場

2014 年 07 月 07 日

強推影像/雷達方案 半導體廠搶食ADAS大餅

2014 年 12 月 15 日

升級MU-MIMO/LTE-A規格 家庭聯網裝置飆高速

2014 年 07 月 10 日

生態系統日漸完整 802.11ad商用全面啟動

2016 年 02 月 08 日
前一篇
新唐量產光輸出功率1.7W/波長420nm靛藍半導體雷射
下一篇
凌華科技推出「DLAP Supreme」邊緣生成式AI平台系列