在真實世界中，人耳所聽到的聲音，會隨著聆聽者與聲音來源的距離、相對角度而不斷改變，因此，為打造更逼真的虛擬實境(VR)用戶體驗，音訊處理晶片與演算法也必須能模擬這種物理現象。以色列音訊技術業者威富思(Waves Audio)與瑞昱半導體日前在台北國際電腦展上共同展示了WNX 7000音訊解決方案。該方案可利用頭戴式裝置上的感測器或內建在消費性電子產品上的攝影機進行頭部動作追蹤，提供音訊演算法必要的參考資料，進而調整音訊輸出，實現更貼近真實世界的聲音效果。
威富思亞太區行銷總監王家樂表示，在真實世界裡，人類對存在於空間裡聲音的認知，其實是一連串複雜現象的集合，包括了房間或空間與聲波的互動，頭部、耳朵與聲波的互動，我們中耳與內耳聽覺神經的反應，還有我們的大腦如何感知與解讀聲音場景。
然而，這一連串複雜作用所創造的聲音感知，都無法在現有的耳機設計下重現，因為耳機的驅動直接嵌在耳朵上方，聲音震動直接傳導到鼓膜，消除了左右聲道之間聲音的時間差, 也消除了頭部對聲音訊號在房間反彈回來的感知，最重要的是削弱了大腦利用頭部轉動的方向, 去推斷空間中聲音的方位所在。即使是一個輕微的移動，都會在反方向轉移我們頭部感知到的聲音場景。大腦對聲音場景的改變極其敏感，能夠記憶與頭部相對的聲音曾經所在的位置，與現在所在的位置，結合大腦對於聲源移動的感知，定位外在聲源靜止時的位置。
威富思的Waves Nx能重現這一切在耳機裡感知不到的聲音。威富思Waves Nx是一套數位訊號音訊演算法，可模擬使用者頭部轉動的方向與頭部在空間中感知聲音來源的物理特性，創造富有層次且逼真的3D身歷聲體驗。
威富思Waves Nx提供三種模式切換：頭部追蹤未啟用、內置攝像頭臉部追蹤、以慣性感測器為基礎的頭部追蹤器進行360⁰頭部追蹤。
在不啟用頭部追蹤的情況下，演算法會將音源固定在前方，就如同一般耳機的聆聽體驗。在以慣性感測器為基礎的頭部追蹤裝置輔助下，演算法可利用追蹤裝置收集到資料，讓音源的位置隨著使用者頭部的轉動變化，以創造更貼近真實的聲音體驗。該追蹤裝置可置於單一配件，或整合於耳機或VR頭戴式裝置，在360°立體三維象限裡建構最豐富且精準的頭部動向資訊。
以臉部辨識技術為基礎的追蹤模式，則適合應用在筆記型電腦、平板電腦、智慧型手機等內建前置鏡頭的消費性電子產品上。不過，當使用者臉部未正對鏡頭時，將影響其效果。
WNX 7000則是威富思與瑞昱合作研發的完整解決方案，該方案除了包含Wave NX演算法之外，還有對應的晶片硬體。瑞昱半導體專案經理鍾曉顗表示，該晶片內建Tensilica的HiFi3及HiFi Mini數位訊號處理器(DSP)核心，分別可提供300MIPS與50MIPS的運算效能。HiFi3 DSP是用來執行Wave NX演算法的主要引擎，HiFi mini則用來處理語音指令。該晶片是一顆完整的音訊SoC，除了大小核DSP之外，還包含耳機輸出、麥克風輸入、I2S等大量周邊與瑞昱專有的語音活動偵測技術。
