RAG整合工作流程 GAI走入嵌入式系統

近年來,與人工智慧(AI)相關的週期性熱點,幾乎都圍繞著大語言模型(LLM)和生成式AI模型。這樣的趨勢反映出這些話題的影響力,日益增強和普及。與大語言模型和生成式AI模型相關的應用涵蓋廣泛的領域,從開放式聊天機器人到任務型助手。雖然LLM主要聚焦基於雲端和伺服器端的應用,但人們對在嵌入式系統和邊緣設備中部署生成式A模型的興趣也不斷增加。...
2024 年 12 月 10 日

英特爾Xeon 6/Gaudi 3亮相 加速AI運算

英特爾(Intel)在台展示搭載效能核心(P-core)的Intel Xeon 6與Intel Gaudi 3 AI加速器的系統和解決方案,攜手智邦科技、安提國際、其陽科技、永擎電子、華碩電腦、仁寶電腦、鈺登科技、鴻海科技集團、技嘉科技、威強電、英業達、神雲科技、微星科技、和碩聯合科技、雲達科技(QCT)、神準科技、美超微、緯創資通、緯穎科技等合作夥伴共襄盛舉,共同推動資料中心發展與AI應用。英特爾也說明新一代產品如何協助企業讓資源運用最佳化,並透過開放平台有效率地運行大型語言模型(LLM)。現場亦展示了透過文字生成3D影像的LDM3D、檢索增強生成(RAG)、輔助醫生診斷及醫病問詢等AI應用,以及先進散熱解決方案,協助企業打造更永續的資料中心。...
2024 年 12 月 03 日

強化企業AI布局 英特爾發表Xeon 6/Gaudi 3

隨著AI持續顛覆各個產業,企業對於兼顧成本效益和可以快速開發並布署基礎設施的需求愈趨成長。因應需求攀升,英特爾(Intel)正式推出搭載效能核心(P-core)的Xeon 6和Gaudi 3 AI加速器,進一步落實該公司致力於提供具備每瓦最佳效能,且降低總持有成本(TCO)的AI系統的承諾。...
2024 年 09 月 25 日

加速百工百業導入生成式AI NVIDIA推出NIM Agent Blueprints

NVIDIA於28日宣布,將推出經過預先訓練、可客製的AI工作流程目錄NVIDIA Agent NIM Blueprints。數百萬企業開發人員將取得將一整套軟體,幫助他們建置和部署生成式AI應用的典型使用案例,例如虛擬客服人員、檢索增強生成和藥物探索虛擬篩選。...
2024 年 08 月 28 日

AI應用帶動市場需求 軟板產值重回成長軌道

根據台灣電路板協會與工研院產科所最新發布《2024全球軟板產業掃描與發展動態》,2024年全球軟板市場將從2023年的低迷中逐步復甦,市場規模(含軟硬結合板,以下同)有望達到197億美元,年增長7.3%。隨著AI應用在手機與電腦市場的逐漸普及,軟板需求有望持續升溫,預計2025年軟板市場將成長5.2%,達到207.2億美元,回復至2021年的水準。...
2024 年 08 月 19 日

TrendForce: 2024年AI SSD採購容量估破45EB

根據TrendForce最新的企業級SSD研究報告,由於AI需求大幅升溫,最近兩季AI伺服器相關客戶向供應商進一步追加企業級SSD訂單。上游供應商為了滿足SSD在AI應用上的供給,加速製程升級,開始規劃2YY產品,預期於2025年量產。...
2024 年 08 月 15 日

生成式AI落地邊緣幹大事 突破模型瘦身/精準度瓶頸

生成式人工智慧(AI)從雲端走向邊緣,需要克服模型縮小,以及推論精準度的挑戰。在終端設備資源有限的前提下,大型語言模型(LLM)需要透過量化(Quantization)等方式壓縮模型,並且確保推論維持一定的精準度。...
2024 年 06 月 06 日

搶食邊緣AI商機 小語言模型有大用(2)

大語言模型掀起生成式AI浪潮,但大語言模型會占用大量記憶體,對處理器的運算能力要求也不低,使得大語言模型要部署在智慧型手機、NB等用戶端裝置上,會遇到許多障礙。為克服此一挑戰,輕量化的小語言模型遂應運而生。...
2024 年 05 月 30 日

搶攻AI商機 創鑫智慧打造端到端RAG方案

致力研發高能效AI ASIC的台灣IC設計公司創鑫智慧,將在2024台北國際電腦展(COMPUTEX 2024)中推出端對端的檢索增強生成(Retrieval-Augmented Generation,...
2024 年 05 月 29 日