近日，Yann LeCun 等人發(fā)表了一篇針對未來實(shí)例分割預(yù)測的論文。該論文提出了一種預(yù)測模型，可通過預(yù)測卷積特征來對未來實(shí)例分割進(jìn)行預(yù)測。該算法有以下幾大優(yōu)勢：

可以處理模型輸出大小不固定的情況，如對象檢測和實(shí)例分割；

不需要使用帶有標(biāo)記的視頻序列進(jìn)行訓(xùn)練，可以直接從未標(biāo)記的數(shù)據(jù)中計(jì)算出中間的 CNN 特征映射圖；

支持可生成多個場景解釋的模型，如曲面法線、對象邊界框和人體部分標(biāo)簽，而不需要針對這些任務(wù)設(shè)計(jì)合適的編碼器和損失函數(shù)。

▌簡介

預(yù)測未來事件是實(shí)現(xiàn)智能行為的一個重要的先決條件，而視頻預(yù)測就是其中一項(xiàng)任務(wù)。最近的研究表明，在對未來幀進(jìn)行語義分割時，在語義層面上的預(yù)測，比先預(yù)測 RGB 幀，然后將其分段更加有效。本文考慮了未來實(shí)例分割中更具挑戰(zhàn)性的一個問題——將單個對象進(jìn)行細(xì)分。為了處理各圖像中不同數(shù)量的輸出標(biāo)簽，我們在 Mask R-CNN 實(shí)例分割模型的固定尺寸卷積特征空間中開發(fā)了一個預(yù)測模型。

我們將 Mask R-CNN 框架的“探測頭（detection head）”應(yīng)用于預(yù)測特征，以產(chǎn)生未來幀的實(shí)例分割。實(shí)驗(yàn)表明，與基于光流（optical flow）的基線相比，該算法在性能上有顯著提升。

圖 1：預(yù)測未來 0.5 秒。 光流基線 （a） 和本文算法 （b） 的實(shí)例分割比較。來自文獻(xiàn) [8] 的算法 （c） 和本文的實(shí)例語義分割算法 （d） 的語義分割比較。實(shí)例建模顯著提高了單個行人的分割精度。

我們的貢獻(xiàn)如下：

引入未來實(shí)例預(yù)測這一新任務(wù)，在語義上比之前研究的預(yù)期識別任務(wù)更為豐富。

基于預(yù)測未來幀的高維卷積神經(jīng)網(wǎng)絡(luò)特征的自監(jiān)督算法，支持多種預(yù)期識別任務(wù)。

實(shí)驗(yàn)結(jié)果表明我們的特征學(xué)習(xí)算法相對于強(qiáng)光流基線有所改進(jìn)。

預(yù)測未來實(shí)例分割的特征

本節(jié)簡要回顧了 Mask R-CNN 框架實(shí)例分割框架，然后介紹了如何通過預(yù)測未來幀的內(nèi)部 CNN 特征，將該框架用于預(yù)期識別（anticipated recognition）。

使用 Mask R-CNN 進(jìn)行實(shí)例分割

Mask R-CNN 模型主要由三個主要階段組成。首先，使用一個 CNN 主干框架結(jié)構(gòu)提取高層特征映射圖。其次，候選區(qū)域生成網(wǎng)絡(luò) （RPN） 利用這些特征以包含實(shí)例邊界框坐標(biāo)的形式產(chǎn)生興趣區(qū)域（ROI）。候選邊界框用作興趣區(qū)域?qū)拥妮斎?，通過在每個邊界框中插入高級特征，為每個邊界框獲取固定大小的表示（不管大?。?將每個興趣區(qū)域的特征輸入到檢測分支，并產(chǎn)生精確的邊界框坐標(biāo)、類別預(yù)測以及用于預(yù)測類別的固定二進(jìn)制掩碼。最后，在預(yù)測的邊界框內(nèi)將掩碼插入到圖像分辨率中，并報(bào)告為預(yù)測類的一個實(shí)例分割。

圖2 ：左，自上而下的特征采樣結(jié)合相同分辨率吧的自下而上的特征，從而獲得的 FPN（feature pyramid network） 算法主干框架中的特征。右，為了得到未來實(shí)例分割，我們從 t-τ 到 t 幀提取 FPN 特征，并預(yù)測 t + 1 幀的 FPN 特征。

預(yù)測卷積特征

對處于不同 FPN 層級的特征進(jìn)行訓(xùn)練，并將其作為共享“探測頭（detection head）”的輸入。然而，由于分辨率在不同層級上會發(fā)生改變，每層上的“空間-時間”動態(tài)特性也會不同。 因此，我們提出了一種多尺度算法，對每一級采用單獨(dú)的網(wǎng)絡(luò)進(jìn)行預(yù)測。每級網(wǎng)絡(luò)都經(jīng)過訓(xùn)練，彼此完全獨(dú)立地工作。對于每一級，我們關(guān)注的是特征維度輸入序列的特征。

實(shí)驗(yàn)評估

我們使用的是 Cityscapes 數(shù)據(jù)集，數(shù)據(jù)來自于汽車在駕駛過程中錄制的城市環(huán)境視頻，每個視頻片段時長 1.8 秒，一共分為 2,975 個訓(xùn)練集，500 個驗(yàn)證集和 1,525 個測試集。

我們使用在 MS-COCO 數(shù)據(jù)集上預(yù)先訓(xùn)練好的的 Mask R-CNN 模型，并在 Cityscapes 數(shù)據(jù)集上以端到端的形式對其進(jìn)行微調(diào)。

未來實(shí)例分割：表1為未來特征預(yù)測算法 （F2F） 的實(shí)例分割結(jié)果，并將其與 Oracle、Copy 和光流基線的性能做比較。由表可知，F(xiàn)2F 算法效果最好，比最佳的中期基線提高了 74％ 以上。

表1：Cityscapes val.數(shù)據(jù)集上實(shí)例分割的精確度

未來語義分割：我們發(fā)現(xiàn)，F(xiàn)2F 算法在 IoU 方面比所有的短期分割方法都有明顯的改進(jìn)，以61.2 %的成績排名第一。

表2： 不同算法在 Cityscapes val. 數(shù)據(jù)集上的移動對象（ 8 類）短期和中期語義分割表現(xiàn)。

圖4顯示，與 Warp 基線相比， F2F 算法能夠與對象的實(shí)際布局更好地對齊，這表明該算法已經(jīng)學(xué)會了對場景和對象的動態(tài)建模，且效果比基線好。如預(yù)期所示，預(yù)測的掩碼也比那些 S2S 算法更加精確。

圖4：對三個序列的中期預(yù)測(未來 0.5 秒)。

通過圖5展示的示例，我們可以更好地理解，為什么在語義分割度量標(biāo)準(zhǔn)方面，F(xiàn)2F 和 Warp 基線之間的差異比實(shí)例分割度量標(biāo)準(zhǔn)要小很多。

圖5：用 Warp 基線和 F2F 模型獲得的中期預(yù)測的實(shí)例和語義分割。不準(zhǔn)確的實(shí)例分割會導(dǎo)致精確的語義分割區(qū)域，請看圖中的橙色矩形高光部分。

失敗案例討論

在圖6(a) 的第一個例子中，由于前面的所有模型認(rèn)為白色轎車完全被另一輛車遮擋，因此沒有檢測到。這是不可避免的一種情況，除非對象在較早的幀中可見，在這種情況下，長期記憶機(jī)制可能會避免不必要的錯誤。

在圖 6(b) 中，卡車和行人的預(yù)測掩碼在形狀和位置上都不連貫。用明確建模遮擋機(jī)制或許可以獲得更一致的預(yù)測。

最后，由于對象本身比較模糊，某些運(yùn)動和形狀轉(zhuǎn)換很難得到準(zhǔn)確的預(yù)測，如圖 6(c)中的行人的腿部，對于這種情況，確切的姿勢存在高度的不確定性。