NVIDIA Hopper效能大幅提升 TensorRT-LLM簡化推論工作

生成式AI應用市場快速成長,亟需更強大的運算效能支援。NVIDIA在最新的MLPerf基準測試中,NVIDIA TensorRT-LLM軟體,可加速和簡化大型語言模型的複雜推論工作,將GPT-J LLM上的NVIDIA...
2024 年 04 月 01 日

NVIDIA MLPerf GPT-3 模型訓練效能大增

日前NVIDIA發布其 AI 平台在MLPerf 產業基準測試,中提高了人工智慧訓練和高效能運算的標準,尤其在生成式AI領域的紀錄較為亮眼。在該紀錄中,10,752個NVIDIA H100 Tensor...
2023 年 11 月 09 日

NVIDIA Orin亮相 邊緣運算效能再進化

NVIDIA針對人工智慧(AI)推論的效能需求,推出新的MLPerf基準NVIDIA Orin。NVIDIA Orin是基於NVIDIA Ampere架構的低功耗SoC,有助於提升邊緣運算加速器的效能。同時MLPerf推論2.0強化資料中心與邊緣運算應的多元應用,在邊緣端離線的情況下,支援多數據流(Multi...
2022 年 04 月 07 日

NVIDIA AI推論效能/能源效率均佳

人工智慧(AI)推論對於效能有重大影響,根據最新的MLPerf基準測試結果,NVIDIA在使用x86或Arm架構的CPU進行人工智慧(AI)推論方面取得最佳成績,此為NVIDIA連續第三度在MLCommons的推論測試中,創下效能及能源效率的紀錄。...
2021 年 09 月 30 日

NVIDIA人工智慧技術MLPerf測試大獲全勝

根據最新公布的MLPerf基準測試結果,輝達(NVIDIA)的合作夥伴目前提供用於訓練人工智慧(AI)的GPU加速系統,其速度較任何系統更快。七間公司在最新一輪的產業基準測試中,提交至少十多套市售系統進行測試,其中大多為NVIDIA認證系統。NVIDIA與戴爾(Dell)、富士通(Fujitsu)、技嘉(GIGABYTE)、浪潮(Inspur)、聯想(Lenovo)、寧暢(Nettrix)及美超微(Supermicro)共同展示了使用NVIDIA...
2021 年 07 月 05 日

NVIDIA企業伺服器A30/A10 GPU  效能領先MLPerf

NVIDIA(輝達)宣布旗下人工智慧(AI)推論平台加入用於主流伺服器的NVIDIA A30及A10 GPU以擴大產品陣容,並在最新發布的MLPerf基準測試各項類別中,皆取得效能佳績。MLPerf是業界公認的基準測試,用以衡量涵蓋電腦視覺、醫療影像、推薦系統、語音辨識和自然語言處理等各種作業負載的AI效能。...
2021 年 04 月 27 日