NVIDIA Hopper效能大幅提升 TensorRT-LLM簡化推論工作

生成式AI應用市場快速成長,亟需更強大的運算效能支援。NVIDIA在最新的MLPerf基準測試中,NVIDIA TensorRT-LLM軟體,可加速和簡化大型語言模型的複雜推論工作,將GPT-J LLM上的NVIDIA...
2024 年 04 月 01 日