耐能AI晶片KL730驅動輕量級GPT應用

人工智慧(AI)公司耐能日前發布KL730晶片,KL730整合了車規級NPU和影像訊號處理器(ISP),並將安全而低耗能的 AI,賦能到邊緣伺服器、智慧家居及汽車輔助駕駛系統等各類應用場景中。針對大型語言模型帶來的耗能挑戰,KL730可以大幅節省AI運算的功耗。...
2023 年 08 月 17 日

資策會成立AI 133 Lab推進生成式AI應用

資策會軟體技術研究院(軟體院)於8月2日舉辦「生成式AI軟體開發新生態」研討會,邀請中華民國資訊軟體協會、中華智慧運輸協會及醫療等公協會,共同見證AI 133 Lab啟用儀式,透過串聯生成式AI資訊服務生態系統,助力企業推進生成式AI應用。...
2023 年 08 月 04 日

生成式AI創造大量需求 美光搶推第二代HBM3記憶體

基於大規模語言模型(LLM)的生成式AI,不僅考驗處理器的運算效能,也對高頻寬記憶體(HBM)的容量跟頻寬帶來更高的要求。為搶占生成式AI所帶來的巨大商機,美光(Micron)近日發表其第二代HBM 3產品,藉由堆疊8層與12層DRAM,搭配更小的TSV間距,美光第二代HBM...
2023 年 07 月 31 日

半導體產業先蹲後跳 AI撐起晶片市場V形反轉

全球半導體市場自2022下半年歷經市場低迷,2023下半年可望迎來半導體產業觸底反彈的趨勢。人工智慧(AI)半導體則在大環境衰退的局勢下持續成長,快速成長的AI運算需求,以及AI終端應用潛能爆發,接連帶動AI專用晶片的市場成長。...
2023 年 07 月 05 日

ChatGPT再掀新高潮 科技廠爭搶生成式AI商機

ChatGPT作為大獲成功的生成式AI應用,提高市場對於生成式AI的關注與信心。在這波生成式AI的熱潮下,不少企業投入大量資源,期望搶得AI商機。生成式AI技術的大幅進展,仰賴近年來資料量、算力與演算法的長足進步。在AI技術進展的基礎下,大型科技廠商與新創廠商都積極投入相關的服務/產品研發。針對生成式AI為台灣帶來的機會,專用模型是台灣廠商的優勢所在,可結合開源技術與產業知識,主攻產業應用的專用模型。...
2023 年 06 月 06 日

資策會MIC:生成式AI專用模型商機可期

ChatGPT帶起生成式AI的熱潮,產業無不關注切入此次AI商機的機會。日前資策會產業情報研究所(MIC)研討會中,產業分析師楊淳安提及,台灣資通訊業者可由三大模式,包含訓練大型語言模型、開發客製化的專用模型,以及串連國際廠商API來搶攻商機。台智雲總經理吳漢章博士指出,台灣已經部署台灣杉二號的超算資源,在專攻產業應用的生成式AI方面具有優勢。...
2023 年 05 月 15 日

NVIDIA開源軟體協助AI聊天機器人增加護欄

生成式人工智慧的安全是整個產業關注的重點,NVIDIA設計了NeMo Guardrails可適用於所有大型語言模型(LLMs)一起使用,像是Open AI的ChatGPT。該軟體可讓開發人員校準以大型語言模型驅動的應用程式,使其安全並維持在一個公司專業領域範圍內。...
2023 年 04 月 28 日

ChatGPT挺進AI 2.0 生成式AI攻克LLM天險

聊天機器人ChatGPT從2022年11月下旬開放用戶免費試用後,因其可以根據用戶輸入的要求,生成非常多文字、散文、笑話、詩歌甚至程式碼,使用者的使用體驗不但非常直覺,過程更有如在跟正常人類互動一般,馬上掀起一股使用熱潮。根據瑞士銀行集團的研究,ChatGPT在2023年1月活躍用戶就已達到1億,成為史上成長最快的消費者應用程式。...
2023 年 04 月 24 日

從ChatGPT透析國力競爭/中國AI發展(2)

ChatGPT為人工智慧(AI) 取得了階段式的勝利,甚至引爆了全社會對生成式AI和大模型技術的關注。AI大模型由於參數量大, 需要更大體量的資料和更高的算力支撐,因此對晶片用量的更大需求、晶片規格的更高要求,已經成為明顯趨勢。...
2023 年 03 月 28 日

從ChatGPT透析國力競爭/中國AI發展(1)

ChatGPT為人工智慧(AI) 取得了階段式的勝利,甚至引爆了全社會對生成式AI和大模型技術的關注。AI大模型由於參數量大, 需要更大體量的資料和更高的算力支撐,因此對晶片用量的更大需求、晶片規格的更高要求,已經成為明顯趨勢。...
2023 年 03 月 28 日

NVIDIA強化運算速度 AI推論/LLM加速簡化工作流程

NVIDIA近期於GTC發布人工智慧(AI)推論平台的更新,以及提供企業大型語言模型(LLM),簡化語言模型的部署。推論平台的更新包含NVIDIA Triton推論伺服器軟體的新功能,可在所有AI模型及框架上提供跨平台推論,以及可最佳化...
2021 年 11 月 11 日