天域苍穹,欢乐颂第一季,已完本玄幻小说排行榜

HED算法介紹

圖像邊緣檢測是圖像處理與計算機視覺領域最基礎也是最重要的任務之一，早期的Canny邊緣檢測到現(xiàn)在還在使用，但是Canny邊緣檢測過于依賴人工閾值的設定，無法在通用場景下工作，如何找到一個在自然場景下可以正確工作的邊緣檢測器，答案是使用CNN。2015年的時候有人提出了基于卷積神經(jīng)網(wǎng)絡的邊緣檢測算法HED全稱為《Holistically-Nested Edge Detection》，先看一下HED與Canny的效果對比：

作者提出HED算法是受到了全卷積網(wǎng)絡與深度監(jiān)督網(wǎng)絡的啟發(fā)與影響，作者以VGGNet與FCN作為基礎網(wǎng)絡進行改進，對VGG網(wǎng)絡進行conv1_2, conv2_2, conv3_3, conv4_3, conv5_3多個特征層的輸出，借助FCN全卷積網(wǎng)絡的設計，通過權重融合層實現(xiàn)各個層相連接，去掉了VGG網(wǎng)絡的后半部分，大大減少了網(wǎng)絡浮點數(shù)計算次數(shù)，網(wǎng)絡架構示意圖如下：

代碼演示

OpenCV DNN本身是不支持該網(wǎng)絡直接加載與執(zhí)行的，必須通過OpenCV4中支持的自定義層方法，首先解析HED網(wǎng)絡的自定義多層輸出，然后重載它的forward方法之后，才可以正確執(zhí)行。

自定義層解析的代碼如下：

#自定義層
classCropLayer(object):
def__init__(self,params,blobs):
self.xstart=0
self.xend=0
self.ystart=0
self.yend=0

defgetMemoryShapes(self,inputs):
inputShape,targetShape=inputs[0],inputs[1]
batchSize,numChannels=inputShape[0],inputShape[1]
height,width=targetShape[2],targetShape[3]

self.ystart=(inputShape[2]-targetShape[2])//2
self.xstart=(inputShape[3]-targetShape[3])//2
self.yend=self.ystart+height
self.xend=self.xstart+width
return[[batchSize,numChannels,height,width]]

defforward(self,inputs):
return[inputs[0][:,:,self.ystart:self.yend,self.xstart:self.xend]]

加載網(wǎng)絡，進行多全層次的邊緣檢測：

#自定義層
#注冊自定義層
cv.dnn_registerLayer('Crop',CropLayer)

#Loadthemodel.
net=cv.dnn.readNet("D:/projects/models/hed/deploy.prototxt","D:/projects/models/hed/hed_pretrained_bsds.caffemodel")

kWinName='Holistically-NestedEdgeDetection'
cv.namedWindow('Input',cv.WINDOW_AUTOSIZE)
cv.namedWindow(kWinName,cv.WINDOW_AUTOSIZE)

cap=cv.VideoCapture(0)
whilecv.waitKey(1)0:
hasFrame,frame=cap.read()
frame=cv.flip(frame,1)
ifnothasFrame:
cv.waitKey()
break
cv.imshow('Input',frame)

inp=cv.dnn.blobFromImage(frame,scalefactor=1.0,size=(500,500),
mean=(104.00698793,116.66876762,122.67891434),
swapRB=False,crop=False)
net.setInput(inp)
out=net.forward()
out=out[0,0]
out=cv.resize(out,(frame.shape[1],frame.shape[0]))
cv.imshow(kWinName,out)