斯坦福大學(xué)提出采用RGBD攝像頭的高幀率,低延遲AR頭顯系統(tǒng)

Jyadmin 提交于 周三, 10/09/2019 - 14:56

?

日前,斯坦福大學(xué)的Hanseul Jun和Jeremy N. Bailenson等人發(fā)布了名為《An Easy-to-use Pipeline for an RGBD Camera and an AR Headset》的論文,并介紹了他們利用單個(gè)RGBD攝像頭來(lái)支持AR頭顯的實(shí)驗(yàn)。

團(tuán)隊(duì)表示,這一研究的貢獻(xiàn)在于為采用現(xiàn)成硬件的工作系統(tǒng)提供可用代碼,而非為計(jì)算機(jī)視覺(jué)或圖形學(xué)提供先進(jìn)的理論。當(dāng)前的研究用一個(gè)搭載RGBD攝像頭(微軟Kinect v2)的系統(tǒng)來(lái)捕獲人物,并通過(guò)AR頭顯(微軟HoloLens)來(lái)顯示場(chǎng)景。盡管保真度低于選擇多攝像頭的其他系統(tǒng),但所述系統(tǒng)的幀率高,延遲低,且可移動(dòng),因?yàn)樗恍枰慌_(tái)渲染計(jì)算機(jī)。

系統(tǒng)壓縮和解壓縮

圖片:系統(tǒng)壓縮和解壓縮概述。壓縮階段適用于連接到Kinect v2的筆記本電腦。壓縮之后,VP8幀和RVL幀將傳輸?shù)紿oloLens。解壓縮階段用于接收幀的HoloLens。

系統(tǒng)的硬件端由兩方面組成:配備Kinect v2的筆記本電腦和HoloLens。軟件端同時(shí)包括兩個(gè)方面:將像素從Kinect v2發(fā)送到HoloLens;以及由HoloLens渲染像素。所述過(guò)程面臨三個(gè)挑戰(zhàn),而這三個(gè)挑戰(zhàn)來(lái)自于設(shè)備的三個(gè)特征:

  1. Kinect v2產(chǎn)生大量數(shù)據(jù)。

  2. HoloLens需要無(wú)線(xiàn)傳輸。

  3. HoloLens具有較低的計(jì)算能力。

面臨的挑戰(zhàn)是:
a. 由于(1)和(2),需要壓縮。
b. 由于(a)和(3),需要計(jì)算有效的解壓縮。
c. 由于(3),需要一種有效的渲染技術(shù)。

1. 壓縮與解壓縮

Kinect v2具有彩色像素和深度像素。對(duì)于彩色像素,團(tuán)隊(duì)采用VP8編解碼器,并通過(guò)libvpx和FFmpeg進(jìn)行編碼和解碼。盡管H.264至少表現(xiàn)出相同的性能,但團(tuán)隊(duì)選擇VP8的原因是libvpx基于修訂的BSD許可,而這與團(tuán)隊(duì)提供系統(tǒng)源代碼的目標(biāo)一致。對(duì)于深度像素,由于需要避免有損壓縮的不確定性,所以團(tuán)隊(duì)選擇RVL(Wilson,2017)進(jìn)行壓縮,因?yàn)樗挠?jì)算成本低且無(wú)損。圖1概述了團(tuán)隊(duì)系統(tǒng)的壓縮和解壓縮過(guò)程。

2. 壓縮階段

利用接到Kinect v2的筆記本,libvpx將彩色像素編碼為VP8幀,并將深度像素RVL壓縮為RVL幀。執(zhí)行這一功能時(shí),由于彩色像素的分辨率(1920×1080)較于深度像素(512×424)過(guò)大,所以彩色像素的分辨率在寬度和高度減少一半,特別是對(duì)于團(tuán)隊(duì)的可視化技術(shù)而言(其將每個(gè)深度像素與顏色值配對(duì))。兩種像素都通過(guò)無(wú)線(xiàn)網(wǎng)絡(luò)發(fā)送到HoloLens。

3. 解壓縮階段

團(tuán)隊(duì)的系統(tǒng)使用FFmpeg解碼編碼后的彩色像素,并將解碼后的像素轉(zhuǎn)換為三個(gè)8位單通道Direct3D紋理,其中每個(gè)紋理都屬于YUV的顏色通道。為了避免從YUV420(一種視頻流式傳輸?shù)闹饕伾臻g,因?yàn)樗试S在U通道和V通道進(jìn)行4倍壓縮)轉(zhuǎn)換到高計(jì)算量的RGB,團(tuán)隊(duì)選擇在YUV顏色空間中創(chuàng)建紋理。另外, 為避免將解碼后的像素重新排列為單個(gè)紋理,團(tuán)隊(duì)使用了三個(gè)紋理而非一個(gè)。接下來(lái),用RVL壓縮的像素將解壓縮為16位單通道Direct3D紋理。

4. 渲染階段

借助YUV紋理和深度紋理,HoloLens可以將深度紋理的每個(gè)像素渲染為漂浮在空間上的四邊形,并使用YUV紋理中的顏色值對(duì)四邊形進(jìn)行著色。團(tuán)隊(duì)的渲染技術(shù)需要使用由Kinect v2的intrinsic variable預(yù)先計(jì)算的網(wǎng)格。在具有深度紋理的頂點(diǎn)著色器中,預(yù)先計(jì)算的網(wǎng)格變成反映深度紋理深度值的一組點(diǎn)。在幾何著色器中,所述點(diǎn)變?yōu)樗倪呅巍K倪呅蔚拇笮∵x擇為不影響相鄰四邊形的最大大小。最后,在片段著色器中,根據(jù)YUV紋理對(duì)四邊形進(jìn)行著色。圖2是團(tuán)隊(duì)的渲染技術(shù)示例。

團(tuán)隊(duì)發(fā)布系統(tǒng)代碼的目的是,支持大家將其用作AR頭顯應(yīng)用程序開(kāi)發(fā)的基礎(chǔ),尤其是遠(yuǎn)程呈現(xiàn)系統(tǒng)。盡管渲染質(zhì)量遠(yuǎn)非完美,但團(tuán)隊(duì)希望這個(gè)系統(tǒng)能夠提供一種便攜的,支持現(xiàn)成硬件的經(jīng)驗(yàn)證方法(無(wú)需機(jī)器進(jìn)行渲染),從而為開(kāi)發(fā)者,研究人員和消費(fèi)者帶來(lái)幫助。

相關(guān)論文

An Easy-to-use Pipeline for an RGBD Camera and an AR Headset

https://vhil.stanford.edu/mm/2019/10/jun-presence-pipeline.pdf

?

(文章轉(zhuǎn)載自映維網(wǎng),原文鏈接:https://yivian.com/news/67247.html)?