搶食邊緣AI商機 小語言模型有大用(1)

大語言模型掀起生成式AI浪潮,但大語言模型會占用大量記憶體,對處理器的運算能力要求也不低,使得大語言模型要部署在智慧型手機、NB等用戶端裝置上,會遇到許多障礙。為克服此一挑戰,輕量化的小語言模型遂應運而生。...
2024 年 05 月 30 日

NVIDIA Hopper效能大幅提升 TensorRT-LLM簡化推論工作

生成式AI應用市場快速成長,亟需更強大的運算效能支援。NVIDIA在最新的MLPerf基準測試中,NVIDIA TensorRT-LLM軟體,可加速和簡化大型語言模型的複雜推論工作,將GPT-J LLM上的NVIDIA...
2024 年 04 月 01 日