顯著性檢測的主要任務(wù)是檢測出圖像中具有最獨特視覺特征的目標(biāo)區(qū)域，它在視覺內(nèi)容編輯、目標(biāo)檢測、渲染、分割等領(lǐng)域有著重要的應(yīng)用。深度學(xué)習(xí)特別是全卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展極大地促進(jìn)了顯著性檢測的進(jìn)步，但目前的方法對于目標(biāo)邊緣的處理還比較粗糙。 為了獲取更為精確的顯著性目標(biāo)區(qū)域，來自南開大學(xué)的研究人員利用顯著性邊緣和顯著性目標(biāo)間的互補性提出了一種邊緣引導(dǎo)的顯著性目標(biāo)檢測網(wǎng)絡(luò)EGNet，大幅度改進(jìn)了顯著性檢驗的邊緣效果和定位效果，并在多個數(shù)據(jù)集上取得了優(yōu)異的結(jié)果。

EGNet

對于顯著性目標(biāo)檢測來說，先前的方法都沒有重視顯著性邊緣檢測與顯著性目標(biāo)檢測間的互補性。一個優(yōu)異的顯著性邊緣檢測算法將有效地在定位和分割方面促進(jìn)顯著性目標(biāo)檢測算法，反之亦然。在這種思想的指導(dǎo)下，研究人員開始探索利用單個網(wǎng)絡(luò)融合顯著性邊緣信息與顯著性目標(biāo)信息來實現(xiàn)更好的端到端顯著性檢測。

這一網(wǎng)絡(luò)的主要任務(wù)在于對互補信息建模，并利用兩種顯著性信息來提升檢測的性能。網(wǎng)絡(luò)的框架如下圖所示，包含了主干網(wǎng)絡(luò)和用于互補信息融合顯著性檢測的多個模塊。

研究人員首先使用VGG作為相對獨立的主干網(wǎng)絡(luò)對圖像進(jìn)行不同層級的信息抽取，并將這五路不同層級的旁支特征送入后續(xù)的融合與檢測模塊中。其中Conv1-2感受野太小沒有被采用，而Conv2-2則主要包含邊緣信息，用于后續(xù)的邊緣顯著性檢測和顯著性目標(biāo)檢測。

隨后需要分別對圖像中的顯著性目標(biāo)特征和邊緣特征進(jìn)行有效抽取和融合。研究人員采用了漸進(jìn)式的屬性目標(biāo)特征抽取(PSFEM部分)和非局域的顯著性邊緣特征抽取(NLSEM)。

研究人員使用了U-Net架構(gòu)來抽取多分辨率特征，以便獲取更豐富的紋理信息。在原始U-Net的基礎(chǔ)上，在旁支上添加了三個卷積層以獲取更為魯棒的顯著性信息。最終每一層級輸出mask并與GT值進(jìn)行比較以獲取目標(biāo)特征損失。

為了構(gòu)建并抽取邊緣特征，研究人員使用了VGG中的Conv2-2輸出特征來進(jìn)行處理。然而局域信息不足以獲取完整的顯著性邊緣特征，所有還需要結(jié)合頂部的語義信息。此外最頂層的層感受野最大定位也最為準(zhǔn)確，于是研究人員設(shè)計了一種自定向下的定位信息傳輸機制，將Conv6-3經(jīng)過卷積后的特征與Conv2-2進(jìn)行結(jié)合，最后利用GT的顯著性邊緣來獲取邊緣損失。

在獲取互補的顯著性邊緣及目標(biāo)特征后，就可以利用邊緣信息來引導(dǎo)顯著性特征信息實現(xiàn)更好的檢測。研究人員將不同層級目標(biāo)特征的結(jié)果與邊緣特征FE進(jìn)行融合實現(xiàn)特征提升。隨后得到不同層級特征下獲取的掩膜結(jié)果，同時在每個結(jié)果上添加監(jiān)督信號。最終將多尺度的掩膜融合起來得到最終的融合結(jié)果。

優(yōu)異結(jié)果

由于需要對算法性能進(jìn)行測試，研究人員首先在DUST數(shù)據(jù)集上進(jìn)行了訓(xùn)練，并在ECSSD,PASCAL-S,DUT-OMRON,SOD,HKUIS,DUTS,ECSSD等六個數(shù)據(jù)集上進(jìn)行了測評。測評的指標(biāo)主要是描述平均精度和召回率的F值，描述預(yù)測結(jié)果準(zhǔn)確性的MAE和描述結(jié)構(gòu)信息的S值。

在與15種現(xiàn)有算法的比較后表明，本文提出的方法在各個數(shù)據(jù)集上都能獲得優(yōu)秀的檢測結(jié)果。在比較中分別使用了restnet和vgg作為主干網(wǎng)抽取特征，其中箭頭的上或下表示結(jié)果相較于之前取得大幅或小幅進(jìn)展：

在消融性分析中研究人員還發(fā)現(xiàn)邊緣信息對于顯著性預(yù)測十分有效，同時將頂層語義信息傳到底層可以得到更為精確的定位信息。邊緣信息的融合也有助于最終顯著性檢測結(jié)果?；パa信息可以同時提高分割和定位的效果。下表有效說明了各個模塊帶來的性能提升。

顯著性邊緣檢測的效果也因為互補信息的輔助而得到了提升：

與多種先進(jìn)的顯著性檢測模型相比，EGNet在各種指標(biāo)和視覺效果上都有了明顯的提升：