熱門關鍵字:行動支付 | 自駕車 | 藍牙5 | NB-IoT | AI

訂閱電子報

立刻輸入Email,獲取最新的資訊:

收藏功能:
分享報新知:
其他功能:

INT8運算最佳化發功 嵌入視覺/深度學習效能大增

文‧Yao Fu/Ephrem Wu/Varun Santhaseelan/Kristof Denolf/Kamran Khan/Vinod Kathail 發布日期:2018/06/04 關鍵字:嵌入式視覺深度學習INT8嵌入式平台視覺運算演算法SIMD運算

嵌入式視覺是專業術語,指的是在嵌入式平台上執行用於真實世界用途的電腦視覺演算法。雖然電腦視覺演算法近年來有明顯改良,但要在降低功耗的條件下,將如此複雜且運算密集之演算法移植到嵌入式平台,仍是一大挑戰。無論是對濾波、邊角檢測等傳統電腦視覺演算法,或是對深度學習演算法,以更低功耗處理更多運算是亙古不變的需求。

深度神經網路已憑人類層級的人工智慧(AI)功能,推動演進並重新定義許多應用。有鑑於此類演算法提供的超高精確性,這些網路是嵌入式裝置中的主要工作負載,而隨著更精確的深度學習模型被開發出來,它們的複雜性也隨之帶來高運算強度與高記憶體頻寬方面的挑戰。省電效率的需求促使深度學習推論模型開發的創新,這些模型需要的運算密集度與記憶體頻寬較低,但絕非以犧牲精確性與傳輸效率為代價來達到。降低此傳輸負載最終將提升省電效率,並降低所需之總耗電量。

除了節省運算過程中的耗電,較低位寬的運算還能降低記憶體頻寬所需之耗電量,原因是在記憶體交易數量不變的情況下,傳輸的位元數變低了。研究顯示想要維持同樣層級之精確性,深度學習推論中毋須浮點運算,而且如影像分類等許多應用,只需要INT8或更低定點運算精度來保持可接受之推論精確性。表1列出經微調過的網路,以及其卷積層與完全相連層之動態定點參數及輸出。括弧內的數字,代表未微調的精確度。

》想看更多內容?快來【免費加入會員】【登入會員】,享受更多閱讀文章的權限喔!
研討會專區
熱門文章