各期雜誌

新電子 2024 年 6 月號 459 期

邊緣GAI成真

生成式人工智慧(AI)技術及大型語言模型(LLM)逐步往終端應用拓展,然而在邊緣端導入生成式AI技術,需要克服硬體效能、模型參數量及功耗帶來的挑戰。大型AI模型的訓練與推論仰賴大量的參數,以得出精準的結果。然而終端裝置的記憶體容量、處理器效能及能源有限。因此針對生成式AI在邊緣端應用的處理器設計,必須考量產品在效能、可處理的參數量及功耗方面,如何取得最佳平衡。

面對快速成長的邊緣AI應用市場,廠商推出的AI加速器、異質運算平台或MCU解決方案,持續為生成式AI走向終端鋪路。在終端設備資源有限的前提下,LLM需要透過量化(Quantization)等方式壓縮模型,並且確保推論維持一定的精準度。同時處理器廠商在CPU中導入AI引擎,也透過整合CPU、GPU與神經處理單元(NPU),提高AI裝置的效能,並且降低功耗。AI PC與AI手機陸續問世,也受到市場高度關注。

本期目錄