算力/記憶體容量/低功耗技術缺一不可 GAI導入邊緣開發大顯神通(3)

生成式AI啟動新一波的AI應用熱潮,將LLM導入邊緣端,需要足夠的記憶體容量,確保AI模型順利執行。將SSD用於AI運算,以及In-Memory Compute的技術進展,都讓邊緣端的算力更上層樓。 CXL加快裝置資料傳輸...
2024 年 06 月 03 日

MCU運算效能不卡關 終端AI模型朝低算力/高精度邁進

生成式人工智慧(AI)的發酵在新興運算架構,以及先進製程的支援下,可說是水到渠成。新唐科技微控制器行銷應用處副處長沈子嵐說明,當大型語言模型(LLM)應用逐漸從雲端走向邊緣,產業對於邊緣運算技術的重視度隨之提升。高算力需求的AI應用集中在雲端,但未來端點AI的應用規模可望大幅超越雲端。端點AI的優勢之一是通常會配置豐富的感測器連結介面,具備多感測器融合的能力。感測器的資料在終端融合,可以減少資料量,進而降低邊緣端的算力需求。...
2024 年 06 月 03 日

搶攻AI商機 創鑫智慧打造端到端RAG方案

致力研發高能效AI ASIC的台灣IC設計公司創鑫智慧,將在2024台北國際電腦展(COMPUTEX 2024)中推出端對端的檢索增強生成(Retrieval-Augmented Generation,...
2024 年 05 月 29 日

國科會團隊打造本土LLM 百工百業擁抱生成式AI(2)

為避免繁體中文在大語言模型浪潮中消失,在國科會主導下,TAIDE團隊耗時一年,完成本土大語言模型的開發。TAIDE模型不僅將繁體中文所代表的文化保存在大語言模型中,也為使用繁體中文的台灣一般使用者與企業,奠定了導入生成式AI的基礎。...
2024 年 05 月 24 日

搶攻LLM市場 Ampere攜手高通推雲端AI加速器

針對生成式(AI)應用蓬勃發展,處理器廠商無法積極布局雲端運算與終端應用市場。瞄準大型語言模型(LLM)與AI伺服器的處理器,持續突破運算效能與散熱能力的瓶頸,快速攻掠AI應用市場。日前Ampere Computing宣布將推出即將推出的256核心AmpereOne...
2024 年 05 月 20 日

TAIDE團隊催落去 台灣大語言模型4天升級Llama 3

Meta在4月19日正式發表Llama 3大語言模型(LLM),原本基於Llama 2的TAIDE模型在正式發表後不到半個月時間,也快速升級到Llama 3。國科會於29日釋出基於Llama 3的Llama...
2024 年 04 月 29 日

台灣本土大語言模型TAIDE公開亮相

生成式AI浪潮席捲科技業,除了晶片業者聯發科也開始跨界布局大語言模型技術跟服務,推出達哥DaVinci平台服務外,國科會亦於15日正式推出利用台灣繁體中文文本訓練出來的TAIDE模型。與聯發科的達哥平台聚焦企業、學校等法人生態系建構不同,在國家預算挹注下而誕生的TAIDE,是所有人皆可下載使用、甚至進一步微調(Fine-tune)的LLM。...
2024 年 04 月 15 日

生成式AI元年啟動 NVIDIA全力支援企業AI

人工智慧(AI)與大型語言模型(LLM)的快速進展,模型的參數量呈現倍數成長,硬體設備亟需突破效能瓶頸。 面對龐大的算力需求,處理器供應商從CPU、GPU的運算效能、晶片內的資料傳輸頻寬等角度切入,盡可能滿足LLM在訓練與推論方面的效能需求。同時,企業導入生成式AI面臨諸多挑戰,包含模型更新速度飛快、數位分身(Digital...
2024 年 04 月 11 日

英特爾發表Gaudi 3 點名挑戰NVIDIA

英特爾在Vision 2024大會上,正式發表其Intel Gaudi 3 AI加速器。與前代產品相比,Gaudi 3為BF16提供4倍AI運算能力、1.5倍記憶體頻寬以及2倍網路頻寬,可擴充大規模系統,將有助大型語言模型(LLM)和多模態模型的AI訓練和推理,大幅提升效能和生產力。此外,英特爾亦強調,將透過開源社群軟體和符合業界標準的乙太網路,為客戶提供可靈活擴充系統的新選擇。從新推出的產品規格到生態系布局,可以很明顯看出,英特爾正急於抽乾NVIDIA在AI生態系領域所挖掘的護城河。...
2024 年 04 月 10 日

從機械按鍵到心領神會 人機介面演進催生科技金雞母

從最初的機械按鍵到觸控、語音、手勢,甚至眼神與意念的控制,人機介面的每一個階段都反映人們對於如何與機器進行互動的不斷探索與創新。更簡易、更直覺的人機溝通方式,沒有學習門檻的資訊產品,也許不久之後就會誕生。...
2024 年 04 月 09 日

Ansys攜手NVIDIA開創電腦輔助工程新世代

Ansys宣布與NVIDIA合作,共同開發由加速運算和生成式AI驅動的下一代模擬解決方案。擴大的合作將融合頂尖技術以推進6G技術,透過NVIDIA GPU增強Ansys求解器,將NVIDIA AI整合到Ansys軟體產品中,開發基於物理的數位分身,以及自訂使用NVIDIA...
2024 年 03 月 21 日

「AI+手機」問世 手機產業邁向新篇章(1)

為實現生成式AI在手機上的各類應用,並滿足手機直接處理LLM的運算需求,手機晶片算力的演進成為AI手機的發展關鍵。國際兩大行動處理器業者高通與聯發科皆於2023年第四季發表新一代的手機旗艦晶片,如高通Snapdragon...
2024 年 03 月 18 日