嵌入式處理器供應商若未有合適的工具和軟體,設計節能的邊緣人工智慧(AI)系統同時加快上市時間可能會變得窒礙難行。挑戰包括選擇正確的深度學習模型、訓練和優化模型以實現性能和準確度目標,以及學習用於在嵌入式邊緣處理器上部署模型的專有工具。因此,從模型選擇到處理器部署,德州儀器(TI)提供免費工具、軟體和服務,協助完成深度神經網路(DNN)開發工作流程的每一個步驟,藉以進行軟體加速推論。
這個模型庫是TensorFlow、PyTorch和MXNet框架常用開放原始碼深度學習模型的大型集合。這些模型在公共資料集上進行預先訓練,並經過優化,可在TI處理器上有效運作而實現邊緣AI。TI會定期使用來自開放原始碼社群的最新模型以及TI設計的模型更新模型庫,為您提供最多樣化的性能和精準的優化模型。
藉由模型庫中的數百個模型,TI模型選擇工具可以協助您快速檢視和比較推論處理量、延遲、準確度和雙倍資料速率頻寬,您完全不需要撰寫任何程式碼。選擇模型後,下一個步驟是訓練或優化模型,藉以在TI處理器上實現最佳性能和準確度。
從TI模型庫中選擇模型時,訓練腳本可以讓您根據特定任務的自訂資料集快速傳輸和訓練模型,完全不需要從頭開始進行長時間的訓練或手工製作模型。對於DNN模型,訓練腳本、框架擴展和量化感知訓練工具有助於優化模型。
使用Tensor Flow Lite、ONN XRun Time或TVM以及Sage Maker Neo with Neo AIDLR執行階段引擎的最常用業界標準Python或C++應用程式設計介面(API),只需要幾行程式碼,TI的彈性軟體架構和開發環境即可讓您隨處訓練您的模型,並且編譯模型再部署到TI硬體。
在編譯步驟中,訓練後量化工具可以將浮點模型自動轉換為定點模型。這組工具透過配置檔進行層級混合精度量化(8位元和16位元),達到調整模型編譯的彈性,藉以展現較佳性能和準確度。