工研院資通所近期於資通訊科技日展出4K VR360視訊網路直播系統,該系統的研發主要聚焦在因應5G網路而來的場內直播需求。資通所藉由即時影像縫合技術,使系統可於大型場域直播360度全景影像,同時透過優化VR 360 Player及傳輸協定,讓場內直播實現小於0.4秒的低延遲。
工研院資通所視訊編碼核心技術部經理高榮揚表示,5G網路強調的是高頻寬、低延遲的特性,而VR360相當適合來實現這樣的網路應用。目前的VR360應用,是由HD 4K鏡頭構成,解析度不是太高,因此其畫質也不是非常好。但若要讓解析度提升到8K、16K、32K,資料量(Data Rate)便會非常龐大地增加,此時也就會需要到5G的高頻寬特性。
而在低延遲的部分,現行市場上的VR360,主要用於場外直播,也就是當現場在進行演唱會時,開發者將訊號拉到某處,讓處於異地的位置,可以看到現場的直播。但這樣的直播,至少會與現場存在相差10秒~30秒以上的延遲性,不過因為觀看者並不在現場,且直播影片本身是順暢的,這讓Live的效果還是很強,觀看者也就因而沒有察覺到延遲性的存在。
但若是開發者要在場內進行直播,情況便會大不相同。由於場內直播的應用情境,主要是設定在大場域的表演、運動比賽進行時,坐在後排的觀眾可透過VR360,直接觀賞到前排般的視覺體驗。此外,當表演者跑到遠處去時,也可以透過VR360,讓視覺角度跨越空間的障礙。
在這樣的應用情境中,若直播過程存在延遲,便會導致現實與虛擬無法串聯,舉例而言,就是當棒球投手投出球時,裝置中的影像卻還沒有投到,這勢必將讓觀賽體驗大打折扣,因而體現出了5G網路低延遲的重要性。
高榮揚指出,由於當人在超過100公尺的大場域時,0.4秒以上的延遲才會被人體感受到,因此在工研院此次展出的場內視訊直播,希望能達到0.4秒以下的延遲,如此一來,才能確保聲音與影像和現場的表演或比賽是同步的。
高榮揚進一步表示,由於5G技術還在發展階段,該場內直播解決方案目前是先運用Wi-Fi技術進行開發,在1~2個月後,將會加進4G技術,而當5G技術成熟時,便會換成5G。不過,無論是哪一項技術,該解決方案著重的都會是在低延遲的部分。為了讓延遲性得到很好的控制,方案中不少技術都是由工研院自行開發,這也是工研院得以完成目前全球市面上極少見的0.4秒超低延遲場內直播系統開發的主因。