ORB特征是一種圖像識別、追蹤和匹配中常用的特征，大名鼎鼎的ORB-SLAM就是使用的這一特征。它提取FAST特征點，并通過特征點附近的窗口矩計算特征點的方向，含方向的FAST特征也被稱為oFAST特征。對提取到的oFAST特征，進(jìn)一步計算BRIEF描述子。ORB特征包含了兩部分，一是特征點位置，二是它的BRIEF 256位描述子。

ORB特征計算的流程

本項目實現(xiàn)了ORB_FPGA單層圖像金字塔的ORB特征提取，利用FPGA的并行計算能力，使這一過程比起純CPU執(zhí)行加速了5.6倍。

加速器結(jié)構(gòu)，輸入輸出都是AXI-Stream接口

上圖為圖像加速部分的工程示意圖。這里同樣使用了HLS編寫的加速IP采用AXI-Stream數(shù)據(jù)接口，數(shù)據(jù)接口與DMA首尾相連，只要控制DMA就可以驅(qū)動它。

總體工程

本項目的例子輸入是SD卡中保存好的圖片，當(dāng)然也可以自己從攝像頭讀取圖片。

快速開始

運行下面這條命令即可快速安裝：

sudo pip3 install git+https://github.com/Siudya/ORB_FPGA.git

項目演示

安裝好以后打開ORB_FPGA/ORB_FPGA..ipynb

首先是初始化軟硬件，并且讀取圖片。注意讀取進(jìn)來的圖片要拷貝到xlnk分配的內(nèi)存才可以使用DMA傳輸。

將圖片從兩個輸入DMA寫到加速器中再從輸出DMA讀回。統(tǒng)計收到的字節(jié)數(shù)可以得知1914個特征點被檢測到了。

這里可以打印前兩個特征點的內(nèi)容?？梢钥吹角?個32位數(shù)是描述子，后兩個是坐標(biāo)。

把特征點畫在原來的圖像上，可以看到檢測出的特征點大部分是角點和邊緣點。這實際上和FAST特征是一致的，但是FAST特征不包含描述子。

接下來讀取更多圖片來看看吞吐量如何。這里讀取了20張圖片，統(tǒng)統(tǒng)送入加速器加速，可以看到幀數(shù)可以達(dá)到56幀。

項目中也提供了純軟件測試的可執(zhí)行程序，可以直接運行。

可以看到在O2優(yōu)化的條件下，PS端運行相同算法僅僅只有10.2幀，使用硬件加速器加速達(dá)到了5.6倍之多。

編輯：hfy