在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

全卷積網絡也可以實現E2E檢測

工程師鄧生 ? 來源:機器之心Pro ? 作者:王劍鋒 ? 2020-12-09 16:36 ? 次閱讀

目標檢測計算機視覺領域的一個基礎研究主題,它利用每張圖像的預定義類標簽來預測邊界框。大多數主流檢測器使用的是基于錨的標簽分配和非極大值抑制(NMS)等手動設計。近來,很多研究者提出方法通過距離感知和基于分布的標簽分類來消除預定義的錨框集。盡管這些方法取得了顯著的進展和優越的性能,但拋棄手動設計的 NMS 后處理可能阻礙完全的端到端訓練。

基于這些問題,研究人員相繼提出了 Learnable NMS、Soft NMS 和 CenterNet 等,它們能夠提升重復刪除效果,但依然無法提供有效的端到端訓練策略。之后,Facebook AI 研究者提出的 DETR 將 Transformer 用到了目標檢測任務中,還取得了可以媲美 Faster R-CNN 的效果。但是,DETR 的訓練時間卻大大延長,在小目標上的性能也相對較低。

所以,在本文中,來自曠視科技和西安交通大學的研究者提出了一個新穎問題:全卷積網絡是否可以實現良好的端到端目標檢測效果?并從標簽分配和網絡架構兩個方面回答并驗證了這一問題。

論文鏈接:https://arxiv.org/pdf/2012.03544.pdf

項目代碼:https://github.com/Megvii-BaseDetection/DeFCN (內部代碼遷移 + 審查中,后續放出)

具體而言,研究者基于 FCOS,首次在 dense prediction 上利用全卷積結構做到 E2E,即無 NMS 后處理。研究者首先分析了常見的 dense prediction 方法(如 RetinaNet、FCOS、ATSS 等),并且認為 one-to-many 的 label assignment 是依賴 NMS 的關鍵。受到 DETR 的啟發,研究者設計了一種 prediction-aware one-to-one assignment 方法。

此外,研究者還提出了 3D Max Filtering 以增強 feature 在 local 區域的表征能力,并提出用 one-to-many auxiliary loss 加速收斂。本文方法基本不修改模型結構,不需要更長的訓練時間,可以基于現有 dense prediction 方法平滑過渡。本文方法在無 NMS 的情況下,在 COCO 數據集上達到了與有 NMS 的 FCOS 相當的性能;在代表了密集場景的 CrowdHuman 數據集上,本文方法的 recall 超越了依賴 NMS 方法的理論上限。

整體方法流程如下圖所示:

58435d70f13d4b55a7a25b9abb0d4ecf.png

One-to-many vs. one-to-one

自 anchor-free 方法出現以來,NMS 作為網絡中最后一個 heuristic 環節,一直是實現 E2E dense prediction 的最大阻礙。但其實可以發現,從 RPN、SSD、RetinaNet 等開始,大家一直遵循著這樣一個流程:先對每個目標生成多個預測(one-to-many),再將多個預測去重(many-to-one)。所以,如果不對前一步 label assignment 動刀,就必須要保留去重的環節,即便去重的方法不是 NMS,也會是 NMS 的替代物(如 RelationNet,如 CenterNet 的 max pooling)。

3a8fafac2e164ab58d8783826bf0d1c8.png

那直接做 one-to-one assignment 的方法是否存在呢?其實是有的。上古時代有一個方法叫 MultiBox,對每個目標和每個預測做了 bipartite matching,DETR 其實就是將該方法的網絡換成了 Transformer。此外還有一個大家熟知的方法:YOLO,YOLO 也是對每個目標只匹配一個 grid[1] ,只不過它是采用中心點做的匹配,而且有 ignore 區域。

Prediction-aware one-to-one

于是接下來的問題就是,在 dense prediction 上能不能只依賴 one-to-one label assignment,比較完美地去掉 NMS?研究者首先基于去掉 centerness 分支的 FCOS,統一網絡結構和訓練方法,用 Focal Loss + GIoU Loss,做了如下分析實驗:

fa8012f59c394bfa839079e104466d43.png

研究者設計了兩種 hand-crafted one-to-one assignment 方法,分別模仿 RetinaNet(基于 anchor box)和 FCOS(基于 center 點),盡可能做最小改動,發現已經可以將有無 NMS 的 mAP 差距縮小到 4 個點以內。

但研究者認為手工設計的 label assignment 規則會較大地影響 one-to-one 的性能,比方說 center 規則對于一個偏心的物體就不夠友好,而且在這種情況下 one-to-one 規則會比 one-to-many 規則的魯棒性更差。所以認為規則應該是 prediction-aware 的。研究者首先嘗試了 DETR 的思路,直接采用 loss 做 bipartite matching 的 cost[2] ,發現無論是絕對性能還是有無 NMS 的差距,都得到了進一步的改善。

但他們知道,loss 和 metrics 往往并不一致,它常常要為優化問題做一些妥協(比如做一些加權等等)。也就是說,loss 并不一定是 bipartite matching 的最佳 cost。因而研究者提出了一個非常簡單的 cost:

190a2ef8f8264f3793efc8105be7b978.png

看起來稍微有點復雜,但其實就是用網絡輸出的 prob 代表分類,網絡輸出和 gt 的 IoU 代表回歸,做了加權幾何平均,再加一個類似于 inside gt box 的空間先驗。加權幾何平均和空間先驗在后面都分別做了 ablation。

這就是研究者提出的 POTO 策略,它進一步地提升了無 NMS 下的性能,也側面驗證了 loss 并不一定是最好的 cost[3]。但從 Table 1 中也發現了,POTO 的性能依舊不能匹敵 one-to-many+NMS 組合。研究者認為問題出在兩個方面:

one-to-one 需要網絡輸出的 feature 非常 sharp,這對 CNN 提出了較嚴苛的要求(這也是 Transformer 的優勢);

one-to-many 帶來了更強的監督和更快的收斂速度。

于是分別用 3D Max Filtering 和 one-to-many auxiliary loss 緩解如上問題。

3D Max Filtering

f0ddb745d5af443eb3a226ff591ada8e.png

如 Figure 3 所示,這個模塊只采用了卷積、插值、max pooling 3d,速度非常快,也不需要寫 cuda kernel。

One-to-many auxiliary loss

針對第二點監督不夠強、收斂速度慢,研究者依舊采用 one-to-many assignment 設計了 auxiliary loss 做監督,該 loss 只包含分類 loss,沒有回歸 loss。assignment 本身沒什么可說的,appendix 的實驗也表明多種做法都可以 work。這里想提醒大家的是注意看 Figure 2 的乘法,它是 auxiliary loss 可以 work 的關鍵。在乘法前的一路加上 one-to-many auxiliary loss,乘法后是 one-to-one 的常規 loss。由于 1*0=0,1*1=1,所以只需要大致保證 one-to-one assignment 的正樣本在 one-to-many 中依然是正樣本即可。

實驗

最主要的實驗結果已經在 Table 1 中呈現了,此外還有一些 ablation 實驗。

80c704d7ae0b4f93b1b7e79538c2bedc.png

這里 highlight 幾點:

α越低,分類權重越大,有無 NMS 的差距越小,但絕對性能也會降低 [4];α太高也不好,后續所有實驗用α=0.8;

在α合理的情況下,空間先驗不是必須的,但空間先驗能夠在匹配過程中幫助排除不好的區域,提升絕對性能;研究者在 COCO 實驗中采用 center sampling radius=1.5,在 CrowdHuman 實驗中采用 inside gt box[5];

加權幾何平均數(Mul)[6]比加權算術平均數(Add)[7]更好。

去掉 NMS 的最大收益其實是 crowd 場景,這在 COCO 上并不能很好地體現出來。所以又在 CrowdHuman 上做了實驗如下:

17ec52d698d8427c98f0f6dc7b38221a.png

請注意 CrowdHuman 的 ground-truth 做 NMS threshold=0.6,只有 95.1% 的 Recall,這也是 NMS 方法的理論上限。而本文方法沒有采用 NMS,于是輕易超越了這一上限。

研究者還做了其它一些實驗和分析,歡迎看原文。

可視化

經過以上改進,研究者成功把 one-to-one 的性能提升到了與 one-to-many+NMS 方法 comparable 的水平。此外還可視化了 score map,可以發現 FCN 是有能力學出非常 sharp 的表示的,這也是很讓研究者驚奇的一點。

結果圖中比較明顯的改善出現在多峰 case 上。比如兩個物體有一定的 overlap(但又沒有特別重合),這個時候 one-to-many+NMS 方法經常出現的情況是,除了兩個物體分別出了一個框之外,在兩個物體中間也出了一個框,這個框與前兩個框的 IoU 不足以達到 NMS threshold,但置信度又比較高。這類典型的多峰問題在 POTO 中得到了較大的緩解。

Others

有些人可能比較關心訓練時間,因為潛意識里在 dense prediction 上做 bipartite matching 應該是很慢的。然而實際上依賴于 scipy 對 linear_sum_assignment 的優化,實際訓練時間僅僅下降了 10% 左右。

如果對這一時間依然敏感,可以用 topk(k=1)代替 bipartite matching;在 dense prediction 里 top1 實際上是 bipartite matching 的近似解 [8] 。相似地,k》1 的情況對應了 one-to-many 的一種新做法,研究者也對此做了一些工作,后續可能會放出來。

責任編輯:PSY

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 檢測
    +關注

    關注

    5

    文章

    4511

    瀏覽量

    91686
  • 計算機視覺
    +關注

    關注

    8

    文章

    1700

    瀏覽量

    46085
  • 全卷積網絡
    +關注

    關注

    0

    文章

    7

    瀏覽量

    2036
收藏 0人收藏

    評論

    相關推薦

    關于卷積神經網絡,這些概念你厘清了么~

    隨著人工智能(AI)技術的快速發展,AI可以越來越多地支持以前無法實現或者難以實現的應用。本文基于此解釋了 卷積神經網絡 (CNN)及其對
    發表于 10-24 13:56

    神經網絡中的卷積層、池化層與連接層

    在深度學習中,卷積神經網絡(Convolutional Neural Network, CNN)是一種特別適用于處理圖像數據的神經網絡結構。它通過卷積層、池化層和
    的頭像 發表于 07-11 14:18 ?6798次閱讀

    卷積神經網絡的工作原理和應用

    卷積神經網絡(FCN)是深度學習領域中的一種特殊類型的神經網絡結構,尤其在計算機視覺領域表現出色。它通過全局平均池化或轉置卷積處理任意尺寸
    的頭像 發表于 07-11 11:50 ?1263次閱讀

    卷積神經網絡實現示例

    卷積神經網絡(Convolutional Neural Network,簡稱CNN)是一種深度學習模型,主要用于處理具有網格結構的數據,如圖像。CNN通過卷積層自動提取圖像特征,然后通過
    的頭像 發表于 07-03 10:51 ?498次閱讀

    卷積神經網絡實現原理

    卷積神經網絡(Convolutional Neural Networks,簡稱CNN)是一種深度學習模型,廣泛應用于圖像識別、視頻分析、自然語言處理等領域。本文將詳細介紹卷積神經網絡
    的頭像 發表于 07-03 10:49 ?616次閱讀

    卷積神經網絡分類方法有哪些

    卷積神經網絡(Convolutional Neural Networks,CNN)是一種深度學習模型,廣泛應用于圖像分類、目標檢測、語義分割等計算機視覺任務。本文將詳細介紹卷積神經
    的頭像 發表于 07-03 09:40 ?532次閱讀

    卷積神經網絡的基本結構和工作原理

    和工作原理。 1. 引言 在深度學習領域,卷積神經網絡是一種非常重要的模型。它通過模擬人類視覺系統,能夠自動學習圖像中的特征,從而實現對圖像的識別和分類。與傳統的機器學習方法相比,CNN具有更強的特征提取能力,能夠處理更復雜的數
    的頭像 發表于 07-03 09:38 ?842次閱讀

    cnn卷積神經網絡分類有哪些

    卷積神經網絡概述 卷積神經網絡(Convolutional Neural Network,簡稱CNN)是一種深度學習模型,由多層卷積層和池
    的頭像 發表于 07-03 09:28 ?708次閱讀

    卷積神經網絡可以通過輸出反推到輸入嗎

    卷積神經網絡(Convolutional Neural Networks,簡稱CNN)是一種深度學習模型,廣泛應用于圖像識別、視頻分析、自然語言處理等領域。CNN通過卷積層、池化層和
    的頭像 發表于 07-03 09:17 ?763次閱讀

    卷積神經網絡訓練的是什么

    、訓練過程以及應用場景。 1. 卷積神經網絡的基本概念 1.1 卷積神經網絡的定義 卷積神經網絡
    的頭像 發表于 07-03 09:15 ?487次閱讀

    卷積神經網絡的原理與實現

    1.卷積神經網絡(Convolutional Neural Networks,簡稱CNN)是一種深度學習模型,廣泛應用于圖像識別、視頻分析、自然語言處理等領域。 卷積神經網絡是一種前饋
    的頭像 發表于 07-02 16:47 ?690次閱讀

    卷積神經網絡的基本結構及其功能

    。 引言 深度學習是機器學習的一個分支,它通過模擬人腦神經網絡的結構和功能,實現對數據的自動學習和特征提取。卷積神經網絡是深度學習中的一種重要模型,它通過
    的頭像 發表于 07-02 14:45 ?2517次閱讀

    詳解TSMaster CAN 與 CANFD 的 CRC E2E 校驗方法

    面對切換工具鏈的用戶來說,在TSMaster上完成總線通訊中的CRC/E2E校驗處理不是特別熟悉,該文章可以協助客戶快速使用TSMaster完成CAN/CANFD總線通訊的CRC/E2E校驗。本文
    的頭像 發表于 05-25 08:21 ?2637次閱讀
    詳解TSMaster CAN 與 CANFD 的 CRC <b class='flag-5'>E2E</b> 校驗方法

    小鵬汽車與大眾汽車宣布簽署E/E架構技術合作框架協議

    是其垂直集成的棧軟硬件技術的核心。它支持ADAS和Connectivity OS等軟件與底層硬件和車輛平臺解耦,實現跨平臺軟件的快速迭代。小鵬汽車最新一代E/E架構采用基于中央計算和
    的頭像 發表于 04-23 14:49 ?548次閱讀
    小鵬汽車與大眾汽車宣布簽署<b class='flag-5'>E</b>/<b class='flag-5'>E</b>架構技術合作框架協議

    verilog實現卷積運算

    在Verilog中實現卷積運算,你可以使用以下示例代碼。這里假設輸入數據是有符號8位數,輸出數據也是有符號8位數。卷積在數字信號處理中通常指的是兩個序列的逐元素乘積的和,也就是點乘。
    發表于 03-26 07:51
    主站蜘蛛池模板: 三级理论在线播放大全 | 日韩加勒比在线 | 影音先锋ady69色资源网站 | 日韩免费在线视频 | 欧美一级在线观看 | 欧美精品黑人性xxxx | 久久精品免视看国产成人2021 | 国产网站在线免费观看 | 欧美一级高清免费a | 在线网站黄 | 美女视频黄又黄又免费高清 | 久久婷婷久久一区二区三区 | 亚洲三级免费观看 | 欧美一区二区三区不卡视频 | 亚洲视频一区网站 | 天天射夜夜操 | 国产福利2021最新在线观看 | 亚洲天堂资源网 | 在线天堂中文字幕 | 美女大黄三级视频在线观看 | 性色视频在线 | 色综合网址| 天天干天天草天天 | 大片毛片女女女女女女女 | 日本三级2018亚洲视频 | 久久青草精品一区二区三区 | 午夜爽爽性刺激一区二区视频 | 毛片你懂的 | www.狠狠艹| 四虎免费影院在线播放 | 天天爽夜夜爽人人爽免费 | 日本三级免费网站 | 福利一区在线观看 | 婷婷五月花 | eee在线播放成人免费 | 天天狠天天透 | ww欧洲ww在线视频免费观看 | 欧美精品久久天天躁 | 亚洲男同tv | 夜夜骑夜夜操 | 亚洲综合一区二区三区 |

    電子發燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品