檢測(cè)如何做到「不重訓(xùn)就能認(rèn)萬(wàn)物」？)
一文讀懂UniDetectorCVPR 2023通用目標(biāo)檢測(cè)如何做到「不重訓(xùn)就能認(rèn)萬(wàn)物」【免費(fèi)下載鏈接】UniDetectorCode release for our CVPR 2023 paper Detecting Everything in the Open World: Towards Universal Object Detection.項(xiàng)目地址: https://gitcode.com/gh_mirrors/un/UniDetectorUniDetector 是 CVPR 2023 論文《Detecting Everything in the Open World: Towards Universal Object Detection》的官方開(kāi)源實(shí)現(xiàn)它借助 CLIP 的圖文對(duì)齊能力讓通用目標(biāo)檢測(cè)器無(wú)需針對(duì)新類別重新訓(xùn)練就能在開(kāi)放世界Open World中識(shí)別從「滑板護(hù)膝」到「手風(fēng)琴」的萬(wàn)物目標(biāo)。本文帶你快速看懂它的核心原理與上手方法。一、什么是通用目標(biāo)檢測(cè)傳統(tǒng)檢測(cè)器如 Faster R-CNN只能識(shí)別「訓(xùn)練時(shí)見(jiàn)過(guò)」的固定類別比如 COCO 的 80 類。一旦想檢測(cè)新類別就得重新標(biāo)注、重新訓(xùn)練。UniDetector 要解決的問(wèn)題是用一個(gè)模型同時(shí)學(xué)會(huì)多個(gè)數(shù)據(jù)源的標(biāo)簽空間并泛化到訓(xùn)練中從未見(jiàn)過(guò)的類別與場(chǎng)景。上圖中它把 COCO、Objects365、OpenImages 等標(biāo)簽空間各不相同的數(shù)據(jù)源融合訓(xùn)練推理時(shí)就能檢測(cè)「魚(yú)、船塢、西蘭花、暖氣片」等開(kāi)放世界目標(biāo)。二、「不重訓(xùn)就能認(rèn)萬(wàn)物」的 3 個(gè)核心技巧1?? 用 CLIP 替代普通 ResNet 作骨干網(wǎng)絡(luò)UniDetector 把 Faster R-CNN 的 ResNet 骨干換成了在圖文數(shù)據(jù)上預(yù)訓(xùn)練的CLIPResNet見(jiàn) clipresnet.py特征天生就「懂」語(yǔ)言語(yǔ)義這是它能識(shí)別未見(jiàn)類別的根本原因。2?? 零樣本分類用語(yǔ)言嵌入當(dāng)「類別詞典」這是最關(guān)鍵的一步。普通分類頭輸出固定 80 個(gè)分?jǐn)?shù)而 UniDetector 的BBoxHeadCLIP見(jiàn) bbox_head_clip.py直接取消了固定分類頭改為把目標(biāo)框特征與預(yù)計(jì)算的 CLIP 語(yǔ)言嵌入做相似度匹配——每個(gè)類別只是一句文本描述如 a photo of a bus換類別 換文本完全不用重訓(xùn)。項(xiàng)目已附帶各數(shù)據(jù)集的預(yù)計(jì)算語(yǔ)言嵌入存放在 clip_embeddings/ 目錄也可通過(guò) scripts/dump_clip_features_manyprompt.py 自行生成。3?? 兩階段「解耦訓(xùn)練」 概率校準(zhǔn)第一階段提案只訓(xùn)練區(qū)域提案網(wǎng)絡(luò)CLN產(chǎn)出候選框第二階段分類凍結(jié)提案用 CLIP 嵌入訓(xùn)練 RoI 分類CLM概率校準(zhǔn)推理時(shí)結(jié)合「提案置信度」與「類別先驗(yàn)概率」修正最終分?jǐn)?shù)進(jìn)一步提升開(kāi)放世界精度。對(duì)應(yīng)配置可直接參考階段配置文件端到端訓(xùn)練clip_end2end_faster_rcnn_r50_c4_1x_coco.py解耦訓(xùn)練·第一階段clip_decouple_faster_rcnn_r50_c4_1x_coco_1ststage.py解耦訓(xùn)練·第二階段clip_decouple_faster_rcnn_r50_c4_1x_coco_2ndstage.py開(kāi)放世界推理clip_end2end_faster_rcnn_r50_c4_1x_lvis_v0.5.py帶概率校準(zhǔn)推理clip_decouple_faster_rcnn_r50_c4_1x_lvis_v0.5_2ndstage_withcalibration.py多數(shù)據(jù)集COCO Objects365、 OpenImages訓(xùn)練配置也在 configs/multidataset/ 下思路與單數(shù)據(jù)集一致。三、實(shí)際檢測(cè)效果長(zhǎng)什么樣這是項(xiàng)目 demo 使用的公園街景原圖同一張圖片經(jīng) UniDetector 通用目標(biāo)檢測(cè)后的輸出長(zhǎng)椅、汽車(chē)等目標(biāo)都被框出并打上類別標(biāo)簽想在自己的圖片上體驗(yàn)可以直接運(yùn)行 image_demo.py配合 demo.jpg 快速跑通一次推理。四、新手快速上手 4 步安裝環(huán)境代碼基于 mmdetection v2.18.0另需安裝 CLIP 庫(kù)準(zhǔn)備數(shù)據(jù)集把 COCO、LVIS、Objects365、OpenImages 按 docs/datasets.md 的結(jié)構(gòu)放到data/目錄只需子集無(wú)需下載全量準(zhǔn)備語(yǔ)言嵌入直接使用 clip_embeddings/ 中已發(fā)布的嵌入文件即可跑通推理參考上表的 inference 配置執(zhí)行tools/dist_test.sh即可得到 LVIS v0.5 上的開(kāi)放世界檢測(cè)結(jié)果。訓(xùn)練流程bash tools/dist_train.sh 配置文件 8與標(biāo)準(zhǔn) mmdetection 完全一致詳見(jiàn)項(xiàng)目根目錄 README.md。五、項(xiàng)目結(jié)構(gòu)速覽 目錄作用mmdet/models/backbones/clipresnet.pyCLIP 版 ResNet 骨干mmdet/models/roi_heads/bbox_heads/bbox_head_clip.py零樣本 CLIP 分類頭核心創(chuàng)新configs/單數(shù)據(jù)集、多數(shù)據(jù)集、推理三套配置clip_embeddings/各數(shù)據(jù)集預(yù)計(jì)算 CLIP 語(yǔ)言嵌入scripts/dump_clip_features_manyprompt.py自定義語(yǔ)言嵌入生成腳本demo/圖片/視頻/攝像頭推理演示總結(jié)UniDetector 的思路可以概括為一句話把「分類器」變成「圖文相似度匹配器」。通過(guò) CLIP 骨干 語(yǔ)言嵌入零樣本分類 兩階段解耦訓(xùn)練與概率校準(zhǔn)它讓目標(biāo)檢測(cè)第一次真正走向開(kāi)放世界的「萬(wàn)物識(shí)別」。如果你想研究開(kāi)放世界檢測(cè)這個(gè)項(xiàng)目值得一讀。?【免費(fèi)下載鏈接】UniDetectorCode release for our CVPR 2023 paper Detecting Everything in the Open World: Towards Universal Object Detection.項(xiàng)目地址: https://gitcode.com/gh_mirrors/un/UniDetector創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 一文讀懂UniDetector：CVPR 2023通用目標(biāo)檢測(cè)如何做到「不重訓(xùn)就能認(rèn)萬(wàn)物」？
一文讀懂UniDetectorCVPR 2023通用目標(biāo)檢測(cè)如何做到「不重訓(xùn)就能認(rèn)萬(wàn)物」【免費(fèi)下載鏈接】UniDetectorCode release for our CVPR 2023 paper Detecting Everything in the Open World: Towards Universal Object Detection.項(xiàng)目地址: https://gitcode.com/gh_mirrors/un/UniDetectorUniDetector 是 CVPR 2023 論文《Detecting Everything in the Open World: Towards Universal Object Detection》的官方開(kāi)源實(shí)現(xiàn)它借助 CLIP 的圖文對(duì)齊能力讓通用目標(biāo)檢測(cè)器無(wú)需針對(duì)新類別重新訓(xùn)練就能在開(kāi)放世界Open World中識(shí)別從「滑板護(hù)膝」到「手風(fēng)琴」的萬(wàn)物目標(biāo)。本文帶你快速看懂它的核心原理與上手方法。一、什么是通用目標(biāo)檢測(cè)傳統(tǒng)檢測(cè)器如 Faster R-CNN只能識(shí)別「訓(xùn)練時(shí)見(jiàn)過(guò)」的固定類別比如 COCO 的 80 類。一旦想檢測(cè)新類別就得重新標(biāo)注、重新訓(xùn)練。UniDetector 要解決的問(wèn)題是用一個(gè)模型同時(shí)學(xué)會(huì)多個(gè)數(shù)據(jù)源的標(biāo)簽空間并泛化到訓(xùn)練中從未見(jiàn)過(guò)的類別與場(chǎng)景。上圖中它把 COCO、Objects365、OpenImages 等標(biāo)簽空間各不相同的數(shù)據(jù)源融合訓(xùn)練推理時(shí)就能檢測(cè)「魚(yú)、船塢、西蘭花、暖氣片」等開(kāi)放世界目標(biāo)。二、「不重訓(xùn)就能認(rèn)萬(wàn)物」的 3 個(gè)核心技巧1?? 用 CLIP 替代普通 ResNet 作骨干網(wǎng)絡(luò)UniDetector 把 Faster R-CNN 的 ResNet 骨干換成了在圖文數(shù)據(jù)上預(yù)訓(xùn)練的CLIPResNet見(jiàn) clipresnet.py特征天生就「懂」語(yǔ)言語(yǔ)義這是它能識(shí)別未見(jiàn)類別的根本原因。2?? 零樣本分類用語(yǔ)言嵌入當(dāng)「類別詞典」這是最關(guān)鍵的一步。普通分類頭輸出固定 80 個(gè)分?jǐn)?shù)而 UniDetector 的BBoxHeadCLIP見(jiàn) bbox_head_clip.py直接取消了固定分類頭改為把目標(biāo)框特征與預(yù)計(jì)算的 CLIP 語(yǔ)言嵌入做相似度匹配——每個(gè)類別只是一句文本描述如 a photo of a bus換類別 換文本完全不用重訓(xùn)。項(xiàng)目已附帶各數(shù)據(jù)集的預(yù)計(jì)算語(yǔ)言嵌入存放在 clip_embeddings/ 目錄也可通過(guò) scripts/dump_clip_features_manyprompt.py 自行生成。3?? 兩階段「解耦訓(xùn)練」 概率校準(zhǔn)第一階段提案只訓(xùn)練區(qū)域提案網(wǎng)絡(luò)CLN產(chǎn)出候選框第二階段分類凍結(jié)提案用 CLIP 嵌入訓(xùn)練 RoI 分類CLM概率校準(zhǔn)推理時(shí)結(jié)合「提案置信度」與「類別先驗(yàn)概率」修正最終分?jǐn)?shù)進(jìn)一步提升開(kāi)放世界精度。對(duì)應(yīng)配置可直接參考階段配置文件端到端訓(xùn)練clip_end2end_faster_rcnn_r50_c4_1x_coco.py解耦訓(xùn)練·第一階段clip_decouple_faster_rcnn_r50_c4_1x_coco_1ststage.py解耦訓(xùn)練·第二階段clip_decouple_faster_rcnn_r50_c4_1x_coco_2ndstage.py開(kāi)放世界推理clip_end2end_faster_rcnn_r50_c4_1x_lvis_v0.5.py帶概率校準(zhǔn)推理clip_decouple_faster_rcnn_r50_c4_1x_lvis_v0.5_2ndstage_withcalibration.py多數(shù)據(jù)集COCO Objects365、 OpenImages訓(xùn)練配置也在 configs/multidataset/ 下思路與單數(shù)據(jù)集一致。三、實(shí)際檢測(cè)效果長(zhǎng)什么樣這是項(xiàng)目 demo 使用的公園街景原圖同一張圖片經(jīng) UniDetector 通用目標(biāo)檢測(cè)后的輸出長(zhǎng)椅、汽車(chē)等目標(biāo)都被框出并打上類別標(biāo)簽想在自己的圖片上體驗(yàn)可以直接運(yùn)行 image_demo.py配合 demo.jpg 快速跑通一次推理。四、新手快速上手 4 步安裝環(huán)境代碼基于 mmdetection v2.18.0另需安裝 CLIP 庫(kù)準(zhǔn)備數(shù)據(jù)集把 COCO、LVIS、Objects365、OpenImages 按 docs/datasets.md 的結(jié)構(gòu)放到data/目錄只需子集無(wú)需下載全量準(zhǔn)備語(yǔ)言嵌入直接使用 clip_embeddings/ 中已發(fā)布的嵌入文件即可跑通推理參考上表的 inference 配置執(zhí)行tools/dist_test.sh即可得到 LVIS v0.5 上的開(kāi)放世界檢測(cè)結(jié)果。訓(xùn)練流程bash tools/dist_train.sh 配置文件 8與標(biāo)準(zhǔn) mmdetection 完全一致詳見(jiàn)項(xiàng)目根目錄 README.md。五、項(xiàng)目結(jié)構(gòu)速覽 目錄作用mmdet/models/backbones/clipresnet.pyCLIP 版 ResNet 骨干mmdet/models/roi_heads/bbox_heads/bbox_head_clip.py零樣本 CLIP 分類頭核心創(chuàng)新configs/單數(shù)據(jù)集、多數(shù)據(jù)集、推理三套配置clip_embeddings/各數(shù)據(jù)集預(yù)計(jì)算 CLIP 語(yǔ)言嵌入scripts/dump_clip_features_manyprompt.py自定義語(yǔ)言嵌入生成腳本demo/圖片/視頻/攝像頭推理演示總結(jié)UniDetector 的思路可以概括為一句話把「分類器」變成「圖文相似度匹配器」。通過(guò) CLIP 骨干 語(yǔ)言嵌入零樣本分類 兩階段解耦訓(xùn)練與概率校準(zhǔn)它讓目標(biāo)檢測(cè)第一次真正走向開(kāi)放世界的「萬(wàn)物識(shí)別」。如果你想研究開(kāi)放世界檢測(cè)這個(gè)項(xiàng)目值得一讀。?【免費(fèi)下載鏈接】UniDetectorCode release for our CVPR 2023 paper Detecting Everything in the Open World: Towards Universal Object Detection.項(xiàng)目地址: https://gitcode.com/gh_mirrors/un/UniDetector創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考