一、摘要

本文介紹了一種基于深度學(xué)習(xí)的三維點(diǎn)云配準(zhǔn)新方法。該架構(gòu)由三個(gè)部分組成:

(1)編碼器由基于卷積圖的描述符組成，該描述符對(duì)每個(gè)點(diǎn)的近鄰進(jìn)行編碼，并采用注意機(jī)制對(duì)表面法線的變化進(jìn)行編碼，突出同一集合的點(diǎn)之間以及兩個(gè)集合的點(diǎn)之間的注意力；

(2)使用Sinkhorn算法估計(jì)對(duì)應(yīng)矩陣的匹配過(guò)程；

(3)通過(guò)對(duì)應(yīng)矩陣中的最佳分?jǐn)?shù)Kc，利用RANSAC計(jì)算兩個(gè)點(diǎn)云之間的剛性變換。

最后，在ModelNet40數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，提出的架構(gòu)在大多數(shù)模擬配置中優(yōu)于最先進(jìn)的方法，包括部分重疊和高斯噪聲的數(shù)據(jù)增強(qiáng)。

二、網(wǎng)絡(luò)結(jié)構(gòu)

提出的RoCNet網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，主要包含三個(gè)部分：1)由卷積圖網(wǎng)絡(luò)組成的描述符算子，進(jìn)行編碼每個(gè)點(diǎn)的近鄰和一個(gè)編碼表面法線變化的注意機(jī)制；2) 使用Sinkhorn算法估計(jì)對(duì)應(yīng)矩陣的匹配模塊；3) 利用RANSAC模塊中Kc來(lái)計(jì)算剛性變換，得到最佳匹配結(jié)果

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

三、方法

3.1 點(diǎn)云描述子

定義點(diǎn)云X和點(diǎn)云Y，存在部分重疊，故至少存在K(K<=min(M,N))對(duì)匹配點(diǎn)。令X中匹配點(diǎn)集為?,Y中匹配點(diǎn)集為數(shù)?。由于點(diǎn)云配準(zhǔn)的精度取決于編碼描述子的質(zhì)量。

因此，提出了一個(gè)新的描述符，通過(guò)將X和Y的初始集合投影到一個(gè)更高維度的新基中，比初始空間表示更具判別性且盡可能不受旋轉(zhuǎn)和平移的影響，主要結(jié)合了一個(gè)基于幾何的描述符、一個(gè)基于法向量的描述符和一個(gè)注意機(jī)制。

(1)基于幾何的描述符

這里選擇將DGCNN作為描述符的一部分，因?yàn)樗梢愿玫夭东@點(diǎn)云的局部幾何特征，同時(shí)保持排列不變性。DGCNN主要由EdgeConv卷積層組成，其中點(diǎn)代表以圓弧連接到編碼空間中最近的k個(gè)近鄰節(jié)點(diǎn)，以構(gòu)建表示每個(gè)點(diǎn)周?chē)木植繋缀谓Y(jié)構(gòu)的圖，然后在更高級(jí)別(全局編碼)動(dòng)態(tài)傳播信息。以fXi為點(diǎn)xi提取到的d維特征向量。

(2)基于法向量的描述符

描述符的主要思想是利用鄰近點(diǎn)的法線變化來(lái)編碼每個(gè)點(diǎn)周?chē)谋砻嫘畔?，因?yàn)槠教贡砻嫔系姆ň€不會(huì)變化，沿著脊的法線只在一個(gè)方向上變化，而頂點(diǎn)上的法線在所有方向上變化。因此，根據(jù)鄰域法線角度的變化可以得出曲面類(lèi)型的信息。

利用主成分分析法來(lái)計(jì)算法線信息，每個(gè)點(diǎn)，定義為局部鄰域子集，令表示劃分集合點(diǎn)的大小，是以 為中心的球體的半徑，是 集合中包含的最大點(diǎn)數(shù)。協(xié)方差矩陣Cov(Si)的特征值分解允許將法向量定義為與最小特征值相關(guān)的向量，Cov(Si)表示為：

其中，表示為的點(diǎn)數(shù)。由于PCA可指向任一個(gè)方向的法向量，因此使用新的向量 ( 共線)來(lái)解決其模糊性。定義為

由于PCA可指向任一個(gè)方向的法向量，因此使用新的向量 (與 共線)來(lái)解決其模糊性。定義 為

最后，使用不同頻率的正弦函數(shù)構(gòu)建最終編碼。已知兩點(diǎn)和 的法線夾角為，則編碼法線向量為:

其中，為 當(dāng)前值指數(shù)， 為歸一化系數(shù)， 是描述符數(shù)學(xué)公式: 的維數(shù)，將其固定為與基于幾何的描述符DGCNN相同的大小，然后對(duì) 用全連接層以獲得最終嵌入

其中，是學(xué)習(xí)投影矩陣

(3)注意力機(jī)制

本文方法采用在每個(gè)集合X和Y中使用四個(gè)具有幾何自我注意的注意頭，分別對(duì)相關(guān)的法線嵌入 和 進(jìn)行積分，然后在兩組點(diǎn)之間進(jìn)行交叉注意，交替執(zhí)行L次

(4)自注意力

自注意力層為點(diǎn)云的每個(gè)點(diǎn)預(yù)測(cè)一個(gè)基于注意力的特征。對(duì)點(diǎn)云X和Y中的所有點(diǎn)都使用相同的算法，即可得到每個(gè)query/key對(duì)應(yīng)的注意力權(quán)重:

其中，是學(xué)習(xí)投影矩陣

(3)注意力機(jī)制

本文方法采用在每個(gè)集合X和Y中使用四個(gè)具有幾何自我注意的注意頭，分別對(duì)相關(guān)的法線嵌入和進(jìn)行積分，然后在兩組點(diǎn)之間進(jìn)行交叉注意，交替執(zhí)行L次

(4)自注意力

自注意力層為點(diǎn)云的每個(gè)點(diǎn)預(yù)測(cè)一個(gè)基于注意力的特征。對(duì)點(diǎn)云X和Y中的所有點(diǎn)都使用相同的算法，即可得到每個(gè)query/key對(duì)應(yīng)的注意力權(quán)重:

是學(xué)習(xí)到的用于query、key和基于法向量的嵌入投影矩陣，d是特征的維數(shù)和 。權(quán)重用于評(píng)估注意的一些元素，并獲得最終的基于自注意的特征 :

是交叉注意層中學(xué)習(xí)到的query、key和value的投影矩陣。

3.2 點(diǎn)匹配

在每個(gè)點(diǎn)數(shù)學(xué)公式: 之間估計(jì)一個(gè)分?jǐn)?shù)矩陣C:

其中, 和是定義點(diǎn)和 的最終編碼。然后將C的維度分別增加到M+1和N+1，從而建立一個(gè)對(duì)應(yīng)概率 的矩陣，再使用可微的Sinkhorn算法。

由于前面所有步驟都是可微的，因此可以通過(guò)引入損失函數(shù)來(lái)學(xué)習(xí)網(wǎng)絡(luò)的權(quán)重。為此，采用gap損失函數(shù),表示為

其中， 是一個(gè)值為0.5的正標(biāo)量，和分別是點(diǎn)和的基本匹配分?jǐn)?shù)。

3.3 位姿估計(jì)

在求值階段，通過(guò)以下算法構(gòu)建一個(gè)硬賦值二進(jìn)制矩陣a:

矩陣A分別用非零值的行向量和列向量重新索引原始點(diǎn)云X和Y，得到了兩個(gè)最終匹配點(diǎn)和的集合，匹配執(zhí)行如圖3所示。建立了匹配點(diǎn)集后，本文使用基于預(yù)測(cè)對(duì)應(yīng)的RANSAC來(lái)減少計(jì)算成本。此外，不考慮所有K個(gè)匹配點(diǎn)，只使用個(gè)最相關(guān)的點(diǎn)，同時(shí)在第一次迭代之前過(guò)濾異常值。

(a) (b) (c)

圖2 3D匹配示例((a)干凈數(shù)據(jù);(b)部分重疊;(c)噪聲數(shù)據(jù)和部分重疊)

四、實(shí)驗(yàn)結(jié)果

以下所有的對(duì)比結(jié)果均基于VRNet論文中的結(jié)果。首先在干凈的數(shù)據(jù)上進(jìn)行性能對(duì)比，如表1所示。

可以發(fā)現(xiàn)，本文方法在RMSE和MAE方面的性能優(yōu)于其他方法。然而，VRNet在旋轉(zhuǎn)性方面仍然是最好的，盡管與RoCNet相比差異很小，特別是在MAE(t)中，RoCNet排名第二。

可視化實(shí)例如圖3所示，第一行顯示待對(duì)齊點(diǎn)云X和Y的初始位置，第二行顯示已執(zhí)行的配準(zhǔn)，第三行顯示地面真值

表1 使用無(wú)噪聲和遮擋的所有網(wǎng)絡(luò)性能對(duì)比

圖3干凈且無(wú)遮擋的情況下，RoCNet配準(zhǔn)實(shí)例

在帶有噪聲數(shù)據(jù)和部分遮擋的所有類(lèi)別上訓(xùn)練的模型結(jié)果如表2所示，RoCNet在所有指標(biāo)上都優(yōu)于其他方法，包括旋轉(zhuǎn)和平移。RoCNet允許顯著增強(qiáng)的配準(zhǔn)誤差，從三分之二到四分之一不等，與WsDesc、VRNet相比，擁有對(duì)部分遮擋或噪聲或兩者同時(shí)的魯棒性。

表2 使用噪聲和部分遮擋的所有網(wǎng)絡(luò)性能對(duì)比

此外，為了直觀地評(píng)估所提出方法的魯棒性，通過(guò)逐步降低(從95%到50%)X和Y之間共享點(diǎn)的比率來(lái)進(jìn)行不同的配準(zhǔn)，如圖4所示。

可以看到，RoCNet即使只使用50%的數(shù)據(jù)也可以很容易地配準(zhǔn)點(diǎn)云。但另一方面，對(duì)于完全對(duì)稱(chēng)的物體，當(dāng)重疊度較低時(shí)，該方法顯示出其局限性。

圖4 RoCNet魯棒性證明

五、結(jié)論

本文提出了一種基于深度學(xué)習(xí)的三維點(diǎn)云配準(zhǔn)和姿態(tài)估計(jì)方法。所提出的體系結(jié)構(gòu)由三個(gè)主要部分組成:1)新設(shè)計(jì)的描述符編碼每個(gè)點(diǎn)的鄰域和編碼表面法線變化的注意機(jī)制；2)使用Sinkhorn算法估計(jì)對(duì)應(yīng)矩陣的匹配方法；3)使用RANSAC應(yīng)用于對(duì)應(yīng)矩陣的K^c最佳匹配來(lái)估計(jì)剛性變換。使用ModelNet40數(shù)據(jù)集在不同的配置下對(duì)所提出的架構(gòu)進(jìn)行了評(píng)估。

實(shí)驗(yàn)證明，本文方法優(yōu)于相關(guān)的最先進(jìn)的算法，特別是在噪聲的數(shù)據(jù)和部分遮擋的條件下。

未來(lái)，打算將這項(xiàng)工作擴(kuò)展到一種新的方法，在這種方法中，描述符將在頻率范圍內(nèi)表示。這當(dāng)然會(huì)提高我們架構(gòu)的準(zhǔn)確性，但也提高了它對(duì)噪聲和部分遮擋的魯棒性。

六、感悟

這是一篇十分標(biāo)準(zhǔn)的基于深度學(xué)習(xí)的點(diǎn)云配準(zhǔn)的論文，整體結(jié)構(gòu)可以作為借鑒學(xué)習(xí)，所提出的編碼算法的性能很好，最終也在ModelNet40數(shù)據(jù)集上進(jìn)行測(cè)試所提算法的有效性。同時(shí)，該方法可以擴(kuò)展接入其余點(diǎn)云配準(zhǔn)的方法，希望源碼早日公開(kāi)，進(jìn)行學(xué)習(xí)。
責(zé)任編輯：彭菁