?

跟蹤、標(biāo)定和注冊(cè)是AR系統(tǒng)研究的三個(gè)核心問(wèn)題。

1 攝像機(jī)標(biāo)定

（1）標(biāo)定內(nèi)參數(shù)

攝像頭是基于視覺(jué)的AR系統(tǒng)的重要組件。所以在使用中必須先標(biāo)定攝像頭的內(nèi)參數(shù)。對(duì)于普通的攝像頭，可以采用matlab自帶的攝像頭標(biāo)定工具箱來(lái)標(biāo)定。不僅可以標(biāo)定出攝像頭的內(nèi)參數(shù)，還能標(biāo)定出鏡頭畸變。該工具箱采用的是棋盤(pán)格標(biāo)定法。

?

（2）校正鏡頭畸變

鏡頭畸變可以分為徑向畸變和切向畸變兩種。它們也都可以通過(guò)標(biāo)定來(lái)確定畸變參數(shù)。鏡頭畸變是普遍存在的，所以在使用之前要記得先進(jìn)行標(biāo)定。

2 顯示器標(biāo)定

（1）單點(diǎn)主動(dòng)對(duì)準(zhǔn)法

對(duì)于光學(xué)透射式頭盔顯示器，要進(jìn)行AR開(kāi)發(fā)的話(huà)，必須加上一個(gè)攝像頭。攝像頭與頭盔顯示器之間的位置關(guān)系需要標(biāo)定。最常用的一種方法是單點(diǎn)主動(dòng)對(duì)準(zhǔn)法（SPAAM）。這個(gè)方法要求用戶(hù)佩戴頭盔顯示器，并且將屏幕上的一些十字光標(biāo)與真實(shí)世界中的物體進(jìn)行多次對(duì)齊，多次對(duì)齊需要通過(guò)頭部轉(zhuǎn)動(dòng)完成。數(shù)據(jù)獲取后，通過(guò)DLT方法構(gòu)建方程組求解投影矩陣。

（2）使用瞄準(zhǔn)轉(zhuǎn)置

該方法需要將瞄準(zhǔn)裝置與顯示器上的十字叉絲對(duì)準(zhǔn)，而不是使用在SPAAM中用到的靜止標(biāo)定點(diǎn)。這種瞄準(zhǔn)裝置經(jīng)常是作為AR設(shè)備的一部分，并且包括一個(gè)觸發(fā)器來(lái)確認(rèn)對(duì)準(zhǔn)完成。瞄準(zhǔn)裝置有一個(gè)優(yōu)勢(shì)，用戶(hù)不必再移動(dòng)頭部來(lái)完成對(duì)準(zhǔn)，取而代之的是，可以通過(guò)移動(dòng)手臂來(lái)完成。

3 注冊(cè)

跟蹤系統(tǒng)在進(jìn)行測(cè)量的時(shí)候，會(huì)存在測(cè)量誤差，導(dǎo)致位置估計(jì)不準(zhǔn)。這種誤差會(huì)導(dǎo)致注冊(cè)的虛擬物體與真實(shí)物體之間會(huì)存在不匹配的情況。所以，在每一個(gè)步驟要嚴(yán)格控制誤差，不要讓誤差在后面的環(huán)節(jié)中傳播。

對(duì)于光學(xué)透射式增強(qiáng)現(xiàn)實(shí)來(lái)說(shuō)，還有另一個(gè)非常重要的問(wèn)題，那就是延遲。由于真實(shí)的環(huán)境背景是直接透射進(jìn)人眼的，可以認(rèn)為是零延遲的。但是虛擬信息是通過(guò)攝像頭捕捉環(huán)境，建立跟蹤注冊(cè)信息，然后渲染輸出到頭盔顯示器上。這個(gè)回路的處理時(shí)間導(dǎo)致虛擬信息的渲染比頭部轉(zhuǎn)動(dòng)會(huì)有延遲。一個(gè)比較有效的方法是在視覺(jué)跟蹤的基礎(chǔ)上，加入高反應(yīng)速度的IMU，對(duì)這種延遲進(jìn)行補(bǔ)償。頭部的快速運(yùn)動(dòng)可以根據(jù)IMU的反饋來(lái)渲染圖像。

攝像頭標(biāo)定本身已經(jīng)是一個(gè)很成熟的領(lǐng)域了，除非有什么新的攝像頭類(lèi)型推出。光學(xué)透射式頭盔顯示器的標(biāo)定也比較成熟，但是還是存在問(wèn)題。比如標(biāo)定程序復(fù)雜，不同用戶(hù)之間通用性低。所以可以根據(jù)人眼與HMD之間的特殊性，研究提升標(biāo)定效果的方法。另外，還可以考慮減小延遲，比如考慮視覺(jué)-IMU融合。這種方法已經(jīng)在Hololens上獲得成功應(yīng)用。減小延遲的方法除了使用視覺(jué)-IMU融合，應(yīng)當(dāng)還有別的途徑，這些都是值得研究的地方。