異質運算實現邊緣LLM　CPU/GPU/NPU各有所長

生成式人工智慧(AI)技術及大型語言模型(LLM)逐步往終端應用拓展，在邊緣端導入生成式AI的願景，成為處理器廠商的兵家必爭之地。面對市場上特定應用領域的AI推論需求，處理器廠商積極開發適用於終端裝置的解決方案，期望未來終端應用可以導入生成式AI。...
2024 年 06 月 06 日

生成式AI落地邊緣幹大事　突破模型瘦身/精準度瓶頸

生成式人工智慧(AI)從雲端走向邊緣，需要克服模型縮小，以及推論精準度的挑戰。在終端設備資源有限的前提下，大型語言模型(LLM)需要透過量化(Quantization)等方式壓縮模型，並且確保推論維持一定的精準度。...
2024 年 06 月 06 日

算力/記憶體容量/低功耗技術缺一不可　GAI導入邊緣開發大顯神通(1)

生成式AI啟動新一波的AI應用熱潮，將LLM導入邊緣端，需要足夠的記憶體容量，確保AI模型順利執行。將SSD用於AI運算，以及In-Memory Compute的技術進展，都讓邊緣端的算力更上層樓。 生成式人工智慧(AI)啟動新一波的AI應用熱潮，而邊緣AI高度安全、低延遲等優勢，也帶動大型語言模型(LLM)在終端裝置中的應用。將LLM導入邊緣端，需要足夠的記憶體容量，確保AI模型順利執行。將SSD用於AI運算，以及In-Memory...
2024 年 06 月 03 日

算力/記憶體容量/低功耗技術缺一不可　GAI導入邊緣開發大顯神通(2)

生成式AI啟動新一波的AI應用熱潮，將LLM導入邊緣端，需要足夠的記憶體容量，確保AI模型順利執行。將SSD用於AI運算，以及In-Memory Compute的技術進展，都讓邊緣端的算力更上層樓。 SSD支援AI運算空間...
2024 年 06 月 03 日

算力/記憶體容量/低功耗技術缺一不可　GAI導入邊緣開發大顯神通(3)

生成式AI啟動新一波的AI應用熱潮，將LLM導入邊緣端，需要足夠的記憶體容量，確保AI模型順利執行。將SSD用於AI運算，以及In-Memory Compute的技術進展，都讓邊緣端的算力更上層樓。 CXL加快裝置資料傳輸...
2024 年 06 月 03 日

AI機器學習潛力十足　智慧裝置邊緣運算MCU應用爆發

人工智慧(AI)受到機器學習在邊緣運算的發展帶動，在PC與手機等終端裝置的應用成長有目共睹。恩智浦半導體大中華區行銷總監黃健洲表示，隨著使用者更加重視資料安全與隱私，執行在邊緣端的機器學習功能越來越受市場重視。在物聯網(IoT)與工業領域中，包含健康照護、居家控制、工業自動化、電力控制等，都是機器學習在邊緣端的應用範圍。...
2024 年 06 月 03 日

突破AI資料傳輸瓶頸　CPO/LPO高速傳輸障礙迎刃解

過去半年到一年，人工智慧(AI)的技術成長超乎預期。是德科技資深技術專案經理林昭彥提及，AI市場的快速發展，從ChatGPT的用戶成長數據中可見一斑。過去Facebook在推出40週之後，用戶達到百萬，Instagram則在推出12週後累積百萬用戶。而ChatGPT在推出的一週之內，用戶數即達到百萬。AI已經成為時勢所趨，同時AI模型的參數量呈現倍數成長，除了帶動半導體的需求，也需要克服大數據傳輸的挑戰。...
2024 年 06 月 03 日

MCU運算效能不卡關　終端AI模型朝低算力/高精度邁進

生成式人工智慧(AI)的發酵在新興運算架構，以及先進製程的支援下，可說是水到渠成。新唐科技微控制器行銷應用處副處長沈子嵐說明，當大型語言模型(LLM)應用逐漸從雲端走向邊緣，產業對於邊緣運算技術的重視度隨之提升。高算力需求的AI應用集中在雲端，但未來端點AI的應用規模可望大幅超越雲端。端點AI的優勢之一是通常會配置豐富的感測器連結介面，具備多感測器融合的能力。感測器的資料在終端融合，可以減少資料量，進而降低邊緣端的算力需求。...
2024 年 06 月 03 日

搶食邊緣AI商機　小語言模型有大用(1)

大語言模型掀起生成式AI浪潮，但大語言模型會占用大量記憶體，對處理器的運算能力要求也不低，使得大語言模型要部署在智慧型手機、NB等用戶端裝置上，會遇到許多障礙。為克服此一挑戰，輕量化的小語言模型遂應運而生。...
2024 年 05 月 30 日

搶食邊緣AI商機　小語言模型有大用(2)

大語言模型掀起生成式AI浪潮，但大語言模型會占用大量記憶體，對處理器的運算能力要求也不低，使得大語言模型要部署在智慧型手機、NB等用戶端裝置上，會遇到許多障礙。為克服此一挑戰，輕量化的小語言模型遂應運而生。...
2024 年 05 月 30 日

聽覺體驗邁入全新境界　AI/LE Audio玩轉音訊新可能(1)

耳機、智慧音箱等音訊裝置正逐漸成為日常生活中的必需品，使用者對於音訊品質和多元功能的要求也隨之提高。音訊技術持續向前，除了優化既有聆聽體驗，也將透過新興技術找到全新應用，未來發展不可限量。 耳機已經成為生活中越來越不可分割的穿戴式裝置，而隨著音訊體驗的廣泛普及，使用者對於音訊品質的要求也越來越高。因此，嵌入式系統的音訊設計需要同步演進，以打造更沉浸式、更乾淨的音訊。此外，藍牙低功耗音訊(LE...
2024 年 05 月 28 日

聽覺體驗邁入全新境界　AI/LE Audio玩轉音訊新可能(2)

耳機、智慧音箱等音訊裝置正逐漸成為日常生活中的必需品，使用者對於音訊品質和多元功能的要求也隨之提高。音訊技術持續向前，除了優化既有聆聽體驗，也將透過新興技術找到全新應用，未來發展不可限量。 功耗/延遲同步降低　LE...
2024 年 05 月 28 日
近期研討會 More
白皮書

【工程師必備收藏】SiC引領能源新革命: 高效儲能與轉換系統設計指南

2024 年 10 月 14 日

【免費下載】解鎖未來智慧車關鍵議題！免費下載《AI智慧車與智慧座艙》白皮書

2024 年 09 月 18 日

【成功案例分享】即刻下載！ROHM使用Siemens Tanner提供一流的dual MOSFET元件

2024 年 05 月 07 日

【熱門白皮書】快來下載！類比混合訊號驗證方法論

2024 年 01 月 31 日

【重磅白皮書】立刻下載！實惠且全面的3D堆疊晶粒元件測試

2024 年 01 月 31 日
重磅專訪

MIPS執行長Sameer Wasson：微架構才是CPU的護城河

2024 年 12 月 18 日

XR產業協會理事長鄭育鎔：智慧頭戴裝置內容為王

2024 年 12 月 09 日

Synaptics總裁兼執行長Michael Hurlston：押寶Edge AI應用擴大台灣布局

2024 年 12 月 04 日

專訪ADI資深區域銷售經理陳曜桎　智慧解決方案賦能AI無極限

2024 年 12 月 03 日

神盾董事長羅森洲：Chiplet/IP擁抱AI轉型

2024 年 12 月 02 日
最新文章

TrendForce: Vision Pro重塑VR/MR戰局　應用領域全面展開

2024 年 12 月 23 日

英飛凌宣布正式成立高雄據點

2024 年 12 月 23 日

xMEMS Labs/美律CES 2025展示2-way耳罩式耳機

2024 年 12 月 23 日

凌華科技Edge AI平台支援NVIDIA JetPack 6.1

2024 年 12 月 23 日

達發科技深入布局無線藍牙跨場景AI音訊應用

2024 年 12 月 23 日
編輯推薦

在SoC中實現異質整合　CMOS 2.0開闢新道路(1)

2024 年 12 月 18 日

MIPS執行長Sameer Wasson：微架構才是CPU的護城河

2024 年 12 月 18 日

挑戰七埃米製程　imec提出雙列CFET結構

2024 年 12 月 09 日

光電交接拉開序幕　生成式AI驅動HPC I/O革命

2024 年 12 月 05 日

掌握技術特性　蕭特基二極體應用更上手(1)

2024 年 12 月 02 日
城邦文化事業股份有限公司版權所有、轉載必究．Copyright(c) 2004 - 2024 Cite Publishing Ltd.