每一個 AR 產(chǎn)品背后都有值得深入探究的技術(shù)，當(dāng)我們參與討論 AR 時，層出不窮的技術(shù)語言令小白望而卻步。

今天，Rokid R-Lab 研究科學(xué)家霍志宇博士就 AR 中的 6DoF 追蹤方案展開討論，他從成本和性能角度出發(fā)，對目前流行的四種 6DoF 追蹤解決方案進行了比較。希望每個人都能讀得懂，并形成自己對 AR 的認識和看法。

6DoF 追蹤帶給 AR眼鏡怎樣的體驗飛躍？如何在設(shè)計一款 AR 眼鏡時，實現(xiàn)六自由度追蹤？以下，enjoy！

1

6DOF 追蹤的進化：從標(biāo)識追蹤到 SLAM 定位，帶給 AR 體驗質(zhì)的飛越

好的增強現(xiàn)實體驗首先要是一種互動體驗，實現(xiàn)現(xiàn)實環(huán)境和虛擬世界的結(jié)合，而這種體驗離不開 6DoF 追蹤（Six degrees of freedom tracking）的加入。

6DoF 追蹤為用戶提供了前所未有的互動體驗和對虛擬世界的控制，可以說，6DoF 追蹤是虛擬世界與現(xiàn)實世界建立聯(lián)系的基礎(chǔ)，是 AR 實現(xiàn)顛覆式體驗的前提。

近年來，隨著技術(shù)的指數(shù)級的增長，這種新型的 AR 互動體驗正在以超出我們想象的態(tài)勢發(fā)展。

AR 領(lǐng)域六自由度（6DoF）追蹤的應(yīng)用，最早可以追溯到 2003 年, 由 ARToolKit 所支持的首個移動端 AR 應(yīng)用就出現(xiàn)在了 WinCE 平臺上，但早期運體驗并沒有那么優(yōu)秀。

早期 ARToolKit 應(yīng)用程序在 Android 手機上運行

早期的 AR 利用標(biāo)識圖來跟蹤攝像機的位置和姿態(tài)，實現(xiàn) 6DoF 追蹤。使用者必須將標(biāo)識圖保留在視野范圍內(nèi)，虛擬內(nèi)容也只能覆蓋在標(biāo)識圖上，使用者稍微移動便會失去對標(biāo)識物的追蹤，虛擬內(nèi)容便無法對現(xiàn)實進行覆蓋，虛擬與現(xiàn)實的融合停留在比較淺層的階段，無法給予使用者沉浸式的體驗。

3DoF 與 6DoF 技術(shù)對比圖

隨著 SLAM (simultaneous localization and mapping)技術(shù)的普遍應(yīng)用，6DoF 追蹤與 SLAM 相結(jié)合，沉浸式的 AR 體驗時代終于來臨了。使用者可以擺脫標(biāo)識圖的束縛，進行實時定位與地圖構(gòu)建，從而在虛擬內(nèi)容上產(chǎn)生更加沉浸和逼真的體驗。

微軟 HoloLens 設(shè)備的 SLAM 功能演示

早期的 AR 眼鏡，為了在任意場景下都能提供最為精確和可靠的追蹤體驗，需要裝備由多個魚眼攝像頭、深度攝像頭和其他傳感器驅(qū)動的高性能追蹤系統(tǒng)。

不過這會讓設(shè)備變得沉重且昂貴。即便是功能最為豐富且擁用商用前景的 AR 眼鏡,也會因為其高昂的成本和糟糕的佩戴體驗而遭到市場拒絕。

2016 年面世的 Meta 2 AR 眼鏡

因此，想在輕量級 AR 設(shè)備領(lǐng)域取得成功，產(chǎn)品需要結(jié)合舒適性、經(jīng)濟性和技術(shù)可行性來進行研發(fā)。包括 Rokid 在內(nèi)的很多 AR 眼鏡研發(fā)公司，正在嘗試通過有限的視覺設(shè)備和更少的算力來實現(xiàn) 6DoF 追蹤。

2

在AR眼鏡上實現(xiàn)6DoF追蹤，這4種流行方案到底誰更好？

讓我們從成本和性能出發(fā)，比較以下四種流行的 6DoF 追蹤解決方案：

1、單攝像頭

● 硬件成本低

● 易于集成到多種眼鏡設(shè)計中

● 需要更專業(yè)的優(yōu)化和定制

● 適用于偏靜態(tài)場景

單攝像頭

視頻攝像頭是 AR 眼鏡的常用組件，主要用于拍攝高分辨率的照片和視頻。在外觀和可用性方面，將單個相機安裝在眼鏡上相對簡單。

但是，視頻攝像機通常以低頻率（<60fps，大多數(shù)<30fps）運行，無法在運動中捕捉的高質(zhì)量圖像。 “果凍效應(yīng)”和其他扭曲使得位置追蹤失敗。

2、單眼魚眼攝像頭

● 為 6DoF 追蹤所預(yù)留的傳感器

● 持續(xù)高頻刷新 6DoF 追蹤結(jié)果

● 會出現(xiàn)尺度漂移，使得虛擬物體會在場景中意外移動

單魚眼攝像頭

一些 AR 眼鏡會配備用于 6DoF 追蹤的單個魚眼鏡頭。此解決方案會產(chǎn)生一些額外的功耗，但通常會為設(shè)備提供更好的 6DoF 追蹤效果。魚眼攝像頭的高相機幀更新率（> 90fps）和全局快門功能，可以使得 SLAM 系統(tǒng)在運動場景中保持可靠的追蹤位置。但單個魚眼攝像機應(yīng)放置在眼鏡前面，這會產(chǎn)生一些設(shè)計限制。

單魚眼攝像頭比較不足的的地方在于它所支持的場景規(guī)模有限。一旦移動范圍過大，SLAM 系統(tǒng)就容易產(chǎn)生尺度漂移，導(dǎo)致虛擬對象在場景中意外移動。

3、雙目魚眼攝像頭

● 高功耗

● 追蹤、尺度估算準(zhǔn)確

● 眼鏡的工業(yè)設(shè)計會面臨挑戰(zhàn)

基于雙目魚眼的 6DoF 追蹤系統(tǒng)已被不同的 AR / VR 頭戴式設(shè)備制造商證明是一種可以量產(chǎn)的解決方案，高通已經(jīng)使用雙目魚眼視覺在其 VR 頭盔上展示了高質(zhì)量的 6DoF 位置追蹤功能。

雙目魚眼攝像頭模組

由于它提供實時的地圖初始化、強大的追蹤和對環(huán)境尺度的準(zhǔn)確測量，因此額外增加攝像機所產(chǎn)生的功耗和成本是值得的。

與單眼解決方案相比，雙目魚眼攝像頭可以更快地擴展場景，并能更準(zhǔn)確的測量環(huán)境尺度從而防止漂移。即使傳感器數(shù)量加倍，計算復(fù)雜度也不比單眼視覺系統(tǒng)高很多。但該方案的實現(xiàn)需要高質(zhì)量優(yōu)化和定制工作，并且功耗高、發(fā)熱大，需要更強的系統(tǒng)和硬件支持。

4、運用邊緣計算

● 成本高昂

● 能實現(xiàn)高質(zhì)量的 6DoF 追蹤

● 穩(wěn)定性高，可兼容不同平臺

英特爾推的定位追蹤實感攝像頭T265 可在邊緣執(zhí)行計算任務(wù)

邊緣計算在 AR 設(shè)備中變得越來越流行，例如，HoloLens 已經(jīng)通過邊緣計算來運行其 SLAM 功能，使 CPU 和 OS 在用戶應(yīng)用程序上更高效地工作。對于輕量級 AR 眼鏡，通過邊緣計算來運行 SLAM 不僅可以減少計算負荷，還可以使 AR 眼鏡兼容不同類型的主機平臺。

這個解決方案的最優(yōu)之處就在于，它可以在任何主機平臺上均衡性能，無需定制優(yōu)化算法。

然而，輕量級 AR 眼鏡通過邊緣計算運行 6DoF 并不容易。這些類型的 AR 眼鏡上的芯片通常僅設(shè)計用于驅(qū)動顯示器并傳輸傳感器數(shù)據(jù)而無剩余資源用于其他計算工作。因此可行的解決方案是將成熟的 6DoF 追蹤模塊集成到 AR 眼鏡板上。

目前還沒有關(guān)于哪種解決方案對于輕型眼鏡“完美”的結(jié)論。設(shè)計人員需要根據(jù) AR 眼鏡的應(yīng)用場景，來定義其產(chǎn)品的功能和預(yù)期用途，以便做出最佳的軟硬件選擇。

Rokid AR 團隊致力于研究最自然的人機交互體驗，并通過 Rokid Glass 和 Rokid Vision（即將在 5 月的美國 AWE 上發(fā)布） 一系列產(chǎn)品來實現(xiàn)。研究一個技術(shù)如何應(yīng)用，是我們每天都需要反復(fù)思考的問題。

隨著輕量級 AR 眼鏡的逐漸普及，具有 6DoF 追蹤功能的產(chǎn)品是能夠給消費者帶去優(yōu)質(zhì)體驗的基礎(chǔ)，也是 AR 產(chǎn)品走向千家萬戶的關(guān)鍵技術(shù)之一。