斯坦福大學(xué)提出采用RGBD攝像頭的高幀率，低延遲AR頭顯系統(tǒng)

  1. 首頁(yè)
  2. 行業(yè)新聞
  3. 斯坦福大學(xué)提出采用RGBD攝像頭的高幀率，低延遲AR頭顯系統(tǒng)
由 Jyadmin 提交于 周三, 10/09/2019 - 14:56

?

日前，斯坦福大學(xué)的Hanseul Jun和Jeremy N. Bailenson等人發(fā)布了名為《An Easy-to-use Pipeline for an RGBD Camera and an AR Headset》的論文，并介紹了他們利用單個(gè)RGBD攝像頭來(lái)支持AR頭顯的實(shí)驗(yàn)。

團(tuán)隊(duì)表示，這一研究的貢獻(xiàn)在于為采用現(xiàn)成硬件的工作系統(tǒng)提供可用代碼，而非為計(jì)算機(jī)視覺(jué)或圖形學(xué)提供先進(jìn)的理論。當(dāng)前的研究用一個(gè)搭載RGBD攝像頭（微軟Kinect v2）的系統(tǒng)來(lái)捕獲人物，并通過(guò)AR頭顯（微軟HoloLens）來(lái)顯示場(chǎng)景。盡管保真度低于選擇多攝像頭的其他系統(tǒng)，但所述系統(tǒng)的幀率高，延遲低，且可移動(dòng)，因?yàn)樗恍枰慌_(tái)渲染計(jì)算機(jī)。

系統(tǒng)壓縮和解壓縮

圖片：系統(tǒng)壓縮和解壓縮概述。壓縮階段適用于連接到Kinect v2的筆記本電腦。壓縮之后，VP8幀和RVL幀將傳輸?shù)紿oloLens。解壓縮階段用于接收幀的HoloLens。

系統(tǒng)的硬件端由兩方面組成：配備Kinect v2的筆記本電腦和HoloLens。軟件端同時(shí)包括兩個(gè)方面：將像素從Kinect v2發(fā)送到HoloLens；以及由HoloLens渲染像素。所述過(guò)程面臨三個(gè)挑戰(zhàn)，而這三個(gè)挑戰(zhàn)來(lái)自于設(shè)備的三個(gè)特征:

  1. Kinect v2產(chǎn)生大量數(shù)據(jù)。

  2. HoloLens需要無(wú)線(xiàn)傳輸。

  3. HoloLens具有較低的計(jì)算能力。

面臨的挑戰(zhàn)是：
a. 由于（1）和（2），需要壓縮。
b. 由于（a）和（3），需要計(jì)算有效的解壓縮。
c. 由于（3），需要一種有效的渲染技術(shù)。

1. 壓縮與解壓縮

Kinect v2具有彩色像素和深度像素。對(duì)于彩色像素，團(tuán)隊(duì)采用VP8編解碼器，并通過(guò)libvpx和FFmpeg進(jìn)行編碼和解碼。盡管H.264至少表現(xiàn)出相同的性能，但團(tuán)隊(duì)選擇VP8的原因是libvpx基于修訂的BSD許可，而這與團(tuán)隊(duì)提供系統(tǒng)源代碼的目標(biāo)一致。對(duì)于深度像素，由于需要避免有損壓縮的不確定性，所以團(tuán)隊(duì)選擇RVL（Wilson，2017）進(jìn)行壓縮，因?yàn)樗挠?jì)算成本低且無(wú)損。圖1概述了團(tuán)隊(duì)系統(tǒng)的壓縮和解壓縮過(guò)程。

2. 壓縮階段

利用接到Kinect v2的筆記本，libvpx將彩色像素編碼為VP8幀，并將深度像素RVL壓縮為RVL幀。執(zhí)行這一功能時(shí)，由于彩色像素的分辨率（1920×1080）較于深度像素（512×424）過(guò)大，所以彩色像素的分辨率在寬度和高度減少一半，特別是對(duì)于團(tuán)隊(duì)的可視化技術(shù)而言（其將每個(gè)深度像素與顏色值配對(duì)）。兩種像素都通過(guò)無(wú)線(xiàn)網(wǎng)絡(luò)發(fā)送到HoloLens。

3. 解壓縮階段

團(tuán)隊(duì)的系統(tǒng)使用FFmpeg解碼編碼后的彩色像素，并將解碼后的像素轉(zhuǎn)換為三個(gè)8位單通道Direct3D紋理，其中每個(gè)紋理都屬于YUV的顏色通道。為了避免從YUV420（一種視頻流式傳輸?shù)闹饕伾臻g，因?yàn)樗试S在U通道和V通道進(jìn)行4倍壓縮）轉(zhuǎn)換到高計(jì)算量的RGB，團(tuán)隊(duì)選擇在YUV顏色空間中創(chuàng)建紋理。另外， 為避免將解碼后的像素重新排列為單個(gè)紋理，團(tuán)隊(duì)使用了三個(gè)紋理而非一個(gè)。接下來(lái)，用RVL壓縮的像素將解壓縮為16位單通道Direct3D紋理。

4. 渲染階段

借助YUV紋理和深度紋理，HoloLens可以將深度紋理的每個(gè)像素渲染為漂浮在空間上的四邊形，并使用YUV紋理中的顏色值對(duì)四邊形進(jìn)行著色。團(tuán)隊(duì)的渲染技術(shù)需要使用由Kinect v2的intrinsic variable預(yù)先計(jì)算的網(wǎng)格。在具有深度紋理的頂點(diǎn)著色器中，預(yù)先計(jì)算的網(wǎng)格變成反映深度紋理深度值的一組點(diǎn)。在幾何著色器中，所述點(diǎn)變?yōu)樗倪呅巍Ｋ倪呅蔚拇笮∵x擇為不影響相鄰四邊形的最大大小。最后，在片段著色器中，根據(jù)YUV紋理對(duì)四邊形進(jìn)行著色。圖2是團(tuán)隊(duì)的渲染技術(shù)示例。

團(tuán)隊(duì)發(fā)布系統(tǒng)代碼的目的是，支持大家將其用作AR頭顯應(yīng)用程序開(kāi)發(fā)的基礎(chǔ)，尤其是遠(yuǎn)程呈現(xiàn)系統(tǒng)。盡管渲染質(zhì)量遠(yuǎn)非完美，但團(tuán)隊(duì)希望這個(gè)系統(tǒng)能夠提供一種便攜的，支持現(xiàn)成硬件的經(jīng)驗(yàn)證方法（無(wú)需機(jī)器進(jìn)行渲染），從而為開(kāi)發(fā)者，研究人員和消費(fèi)者帶來(lái)幫助。

相關(guān)論文：

An Easy-to-use Pipeline for an RGBD Camera and an AR Headset

https://vhil.stanford.edu/mm/2019/10/jun-presence-pipeline.pdf

?

（文章轉(zhuǎn)載自映維網(wǎng)，原文鏈接：https://yivian.com/news/67247.html）?