1. 項(xiàng)目概述當(dāng)RGB圖像遇上深度圖如何讓AI“看”得更準(zhǔn)在計(jì)算機(jī)視覺領(lǐng)域讓機(jī)器像人一樣快速、準(zhǔn)確地“看到”并“鎖定”圖像中最吸引人的物體這個(gè)任務(wù)被稱為顯著目標(biāo)檢測。它就像是給AI裝上了一雙能自動(dòng)對焦的眼睛是圖像分割、目標(biāo)跟蹤、圖像編輯等眾多下游任務(wù)的基石。傳統(tǒng)的SOD方法大多只依賴彩色圖像也就是我們常說的RGB圖像。但現(xiàn)實(shí)世界是三維的僅憑顏色和紋理信息AI在面對復(fù)雜背景、低對比度或者陰影遮擋時(shí)常常會“看走眼”。這就引出了我們今天要拆解的核心RGB-D顯著目標(biāo)檢測。這里的“D”代表深度信息它記錄了場景中每個(gè)像素點(diǎn)到相機(jī)的距離。想象一下你蒙上一只眼睛看世界單目RGB和睜開雙眼看世界RGB-D后者能立刻感知物體的遠(yuǎn)近和空間層次。深度圖提供了至關(guān)重要的幾何和空間線索理論上能極大提升檢測的魯棒性。然而現(xiàn)實(shí)很骨感如何將顏色模態(tài)和深度模態(tài)的信息高效、精準(zhǔn)地融合在一起而不是簡單地把兩張圖疊在一起成了這個(gè)領(lǐng)域最大的“攔路虎”。我接觸過不少RGB-D SOD的項(xiàng)目一個(gè)普遍痛點(diǎn)就是模態(tài)間的“信息鴻溝”。RGB信息豐富但易受干擾深度信息結(jié)構(gòu)清晰但可能噪聲大、邊界模糊。粗暴的早期融合或后期融合往往導(dǎo)致信息冗余或沖突效果甚至不如單模態(tài)。而ICNet的出現(xiàn)正是為了解決這個(gè)核心矛盾。它不叫“融合網(wǎng)絡(luò)”而叫“信息轉(zhuǎn)換網(wǎng)絡(luò)”這個(gè)名字本身就點(diǎn)明了其設(shè)計(jì)哲學(xué)不是簡單地把兩個(gè)信息源拼在一起而是建立一個(gè)機(jī)制讓兩種模態(tài)的信息能夠互相理解、互相補(bǔ)充、互相增強(qiáng)。簡單來說ICNet試圖教會網(wǎng)絡(luò)如何根據(jù)深度圖提供的空間結(jié)構(gòu)去重新理解和加權(quán)RGB圖中的顏色與紋理信息同時(shí)又如何利用RGB圖的豐富細(xì)節(jié)去修正和細(xì)化深度圖中可能存在的噪聲與不準(zhǔn)確邊界。最終讓網(wǎng)絡(luò)輸出一個(gè)既符合人類視覺注意力又契合真實(shí)三維空間結(jié)構(gòu)的顯著圖。這對于自動(dòng)駕駛中的障礙物感知、機(jī)器人抓取中的目標(biāo)定位、手機(jī)攝影中的人像虛化等實(shí)際應(yīng)用價(jià)值不言而喻。接下來我們就深入ICNet的內(nèi)部看看它是如何搭建這座跨模態(tài)信息溝通的“橋梁”的。2. 核心思路拆解從“特征融合”到“信息轉(zhuǎn)換”的范式轉(zhuǎn)變要理解ICNet首先要跳出“特征融合”的慣性思維。過去很多方法無論是早期融合把RGB和深度圖在輸入層拼接、中期融合在各層網(wǎng)絡(luò)特征上做操作還是后期融合分別處理兩個(gè)模態(tài)后合并結(jié)果本質(zhì)上都是一種“物理混合”。而ICNet提出的“信息轉(zhuǎn)換”更像是一種“化學(xué)反應(yīng)”旨在激發(fā)模態(tài)間更深層次的協(xié)同效應(yīng)。2.1 雙流編碼器與多尺度特征提取ICNet的骨架通常是一個(gè)雙流編碼器一路處理RGB圖像另一路處理深度圖。這里第一個(gè)關(guān)鍵點(diǎn)就出現(xiàn)了深度圖的預(yù)處理。原始的深度圖可能來自Kinect、RealSense等傳感器通常包含大量噪聲、缺失值以及非均勻的尺度。直接喂給網(wǎng)絡(luò)效果會很差。常見的處理方式是將其歸一化到[0,1]區(qū)間并復(fù)制為三通道以適配預(yù)訓(xùn)練好的RGB骨干網(wǎng)絡(luò)如ResNet、VGG的輸入。但更精細(xì)的做法是進(jìn)行空洞填充、雙邊濾波等去噪平滑處理或者使用HHA編碼將深度轉(zhuǎn)換為水平視差、地面以上高度和法向量角度三個(gè)通道以更豐富的幾何形式輸入網(wǎng)絡(luò)。雙流編碼器的每一層都會輸出不同尺度的特征圖。RGB流捕捉顏色、紋理、語義信息深度流則專注于幾何輪廓、空間布局和相對距離。ICNet的核心創(chuàng)新就在于它如何處理這些來自不同層次、不同模態(tài)的特征。2.2 信息轉(zhuǎn)換模塊的設(shè)計(jì)哲學(xué)ICNet的靈魂在于其信息轉(zhuǎn)換模塊。這個(gè)模塊通常被插入到編碼器的不同階段。它的核心任務(wù)不是將兩個(gè)特征圖相加或拼接而是實(shí)現(xiàn)有導(dǎo)向的信息流動(dòng)與重塑。其設(shè)計(jì)通常包含以下幾個(gè)關(guān)鍵操作跨模態(tài)注意力機(jī)制這是實(shí)現(xiàn)“轉(zhuǎn)換”的關(guān)鍵。例如可以設(shè)計(jì)一個(gè)注意力圖生成分支以深度特征為引導(dǎo)去重新校準(zhǔn)RGB特征的權(quán)重。具體來說深度圖能清晰指示前景和背景的大致分離通常前景物體距離更近網(wǎng)絡(luò)可以學(xué)習(xí)生成一個(gè)注意力掩膜強(qiáng)調(diào)RGB特征中對應(yīng)前景區(qū)域的響應(yīng)抑制背景區(qū)域。反之亦然RGB的紋理信息可以幫助判斷深度圖中哪些邊緣是真實(shí)的物體邊界哪些是噪聲或陰影造成的偽影從而引導(dǎo)深度特征的細(xì)化。選擇性信息傳遞并非所有層次、所有位置的信息都需要轉(zhuǎn)換。ITM會學(xué)習(xí)一個(gè)“門控”機(jī)制動(dòng)態(tài)決定從源模態(tài)向目標(biāo)模態(tài)傳遞多少信息以及傳遞哪些類型的信息。在淺層網(wǎng)絡(luò)可能更注重傳遞邊緣、輪廓等低級幾何信息在深層網(wǎng)絡(luò)則可能更注重傳遞語義上下文信息。這種自適應(yīng)的選擇能力避免了無效信息的干擾。轉(zhuǎn)換后的特征重整經(jīng)過注意力加權(quán)和選擇性傳遞后來自另一模態(tài)的信息會被整合進(jìn)當(dāng)前模態(tài)的特征中。這個(gè)過程往往通過卷積或全連接層來實(shí)現(xiàn)確保融合后的特征在通道維度和空間維度上都保持和諧不會引入沖突。通過堆疊多個(gè)這樣的ITM在不同層級ICNet構(gòu)建了一個(gè)密集的跨模態(tài)對話網(wǎng)絡(luò)使得RGB和深度信息從低層到高層都在持續(xù)地進(jìn)行雙向、有選擇的交流與互補(bǔ)。2.3 解碼器與顯著圖生成經(jīng)過充分“信息轉(zhuǎn)換”后的多尺度特征會被送入解碼器進(jìn)行上采樣和逐步融合。解碼器的設(shè)計(jì)同樣重要它需要將深層的高級語義信息與淺層的精細(xì)細(xì)節(jié)信息結(jié)合起來。常見的策略是使用跳躍連接將編碼器中對應(yīng)層級的、已經(jīng)過ITM增強(qiáng)的特征直接傳遞到解碼器對應(yīng)層再通過一系列卷積和上采樣操作逐步恢復(fù)分辨率。最終解碼器輸出一個(gè)與輸入圖像同尺寸的單通道顯著圖每個(gè)像素的值在0到1之間表示該像素屬于顯著目標(biāo)的概率。通過設(shè)定一個(gè)閾值如0.5就可以得到二值化的分割掩膜。注意很多初學(xué)者會過于關(guān)注網(wǎng)絡(luò)結(jié)構(gòu)的花哨而忽略了數(shù)據(jù)本身的質(zhì)量。在RGB-D SOD中深度圖的質(zhì)量往往決定了性能的上限。務(wù)必在訓(xùn)練前花時(shí)間檢查和預(yù)處理你的深度數(shù)據(jù)不干凈的深度信息會讓再精巧的網(wǎng)絡(luò)設(shè)計(jì)也事倍功半。3. 實(shí)操要點(diǎn)從零構(gòu)建與訓(xùn)練你自己的ICNet理解了原理我們動(dòng)手實(shí)現(xiàn)一個(gè)簡化版的ICNet核心流程。這里以PyTorch框架為例我們會聚焦于關(guān)鍵組件的實(shí)現(xiàn)。3.1 環(huán)境搭建與數(shù)據(jù)準(zhǔn)備首先你需要一個(gè)包含RGB圖像、深度圖和真值顯著圖的數(shù)據(jù)集。常用的有NLPR、SIP、STERE等。數(shù)據(jù)加載器的編寫需要注意RGB和深度圖的同步讀取與預(yù)處理。import torch import torch.nn as nn import torch.nn.functional as F from torch.utils.data import Dataset, DataLoader from PIL import Image import os import numpy as np class RGBDDataset(Dataset): def __init__(self, rgb_dir, depth_dir, gt_dir, transformNone): self.rgb_paths sorted([os.path.join(rgb_dir, f) for f in os.listdir(rgb_dir)]) self.depth_paths sorted([os.path.join(depth_dir, f) for f in os.listdir(depth_dir)]) self.gt_paths sorted([os.path.join(gt_dir, f) for f in os.listdir(gt_dir)]) self.transform transform def __len__(self): return len(self.rgb_paths) def __getitem__(self, idx): rgb_img Image.open(self.rgb_paths[idx]).convert(RGB) depth_img Image.open(self.depth_paths[idx]).convert(L) # 深度圖通常為單通道 gt_img Image.open(self.gt_paths[idx]).convert(L) # 基礎(chǔ)預(yù)處理轉(zhuǎn)為Tensor并歸一化 rgb_img F.to_tensor(rgb_img) depth_img F.to_tensor(depth_img) # 深度圖歸一化處理假設(shè)深度值在有效范圍內(nèi)進(jìn)行min-max歸一化到[0,1] depth_img (depth_img - depth_img.min()) / (depth_img.max() - depth_img.min() 1e-8) gt_img F.to_tensor(gt_img) # 將深度圖復(fù)制為三通道以便使用預(yù)訓(xùn)練的RGB骨干網(wǎng)絡(luò) depth_img depth_img.repeat(3, 1, 1) return rgb_img, depth_img, gt_img3.2 核心組件信息轉(zhuǎn)換模塊的實(shí)現(xiàn)下面實(shí)現(xiàn)一個(gè)簡化的信息轉(zhuǎn)換模塊。這里我們設(shè)計(jì)一個(gè)以深度特征為引導(dǎo)對RGB特征進(jìn)行空間注意力加權(quán)的ITM。class InformationConversionModule(nn.Module): def __init__(self, in_channels): super().__init__() # 生成注意力圖 self.attention nn.Sequential( nn.Conv2d(in_channels, in_channels // 4, kernel_size3, padding1), nn.BatchNorm2d(in_channels // 4), nn.ReLU(inplaceTrue), nn.Conv2d(in_channels // 4, 1, kernel_size3, padding1), nn.Sigmoid() # 輸出0-1的注意力權(quán)重 ) # 轉(zhuǎn)換后的特征融合卷積 self.conv nn.Conv2d(in_channels * 2, in_channels, kernel_size3, padding1) def forward(self, rgb_feat, depth_feat): rgb_feat: RGB模態(tài)的特征圖 [B, C, H, W] depth_feat: 深度模態(tài)的特征圖 [B, C, H, W] 返回經(jīng)過深度信息轉(zhuǎn)換增強(qiáng)后的RGB特征 # 將兩個(gè)特征拼接后生成空間注意力圖 concat_feat torch.cat([rgb_feat, depth_feat], dim1) attention_map self.attention(concat_feat) # [B, 1, H, W] # 用注意力圖加權(quán)RGB特征 weighted_rgb_feat rgb_feat * attention_map # 將加權(quán)后的RGB特征與原始深度特征進(jìn)一步融合 fused_feat torch.cat([weighted_rgb_feat, depth_feat], dim1) output_feat self.conv(fused_feat) return output_feat這個(gè)模塊的工作流程是首先它將當(dāng)前層的RGB和深度特征拼接起來通過一個(gè)小型網(wǎng)絡(luò)學(xué)習(xí)出一個(gè)空間注意力圖。這個(gè)圖的值在0到1之間它由深度特征參與計(jì)算因此能夠反映出“哪些空間位置根據(jù)深度信息來看更應(yīng)該被關(guān)注”。然后用這個(gè)圖去調(diào)制加權(quán)RGB特征增強(qiáng)前景區(qū)域抑制背景區(qū)域。最后將調(diào)制后的RGB特征與原始的深度特征再次融合通過一個(gè)卷積層生成最終增強(qiáng)后的特征。3.3 網(wǎng)絡(luò)主干與訓(xùn)練流程我們可以選擇一個(gè)預(yù)訓(xùn)練的ResNet作為雙流編碼器的基礎(chǔ)在其不同階段插入我們定義的ITM。class SimpleICNet(nn.Module): def __init__(self, backboneresnet50): super().__init__() # 此處省略骨干網(wǎng)絡(luò)加載代碼假設(shè)我們獲取了resnet的layer1, layer2, layer3, layer4的輸出 self.rgb_encoder ... # 加載預(yù)訓(xùn)練ResNet并提取多級特征 self.depth_encoder ... # 結(jié)構(gòu)同RGB編碼器權(quán)重可從RGB初始化或獨(dú)立訓(xùn)練 # 在多個(gè)層級插入ITM self.itm1 InformationConversionModule(in_channels256) # 對應(yīng)layer2輸出通道 self.itm2 InformationConversionModule(in_channels512) # 對應(yīng)layer3輸出通道 self.itm3 InformationConversionModule(in_channels1024) # 對應(yīng)layer4輸出通道 # 解碼器部分簡化示例 self.decoder nn.Sequential( nn.Conv2d(1024, 512, 3, padding1), nn.Upsample(scale_factor2, modebilinear, align_cornersTrue), nn.Conv2d(512, 256, 3, padding1), nn.Upsample(scale_factor2, modebilinear, align_cornersTrue), nn.Conv2d(256, 64, 3, padding1), nn.Conv2d(64, 1, 1), nn.Sigmoid() ) def forward(self, rgb, depth): # 編碼階段 rgb_feat1, rgb_feat2, rgb_feat3, rgb_feat4 self.rgb_encoder(rgb) depth_feat1, depth_feat2, depth_feat3, depth_feat4 self.depth_encoder(depth) # 信息轉(zhuǎn)換階段以高層特征為例 enhanced_feat3 self.itm3(rgb_feat3, depth_feat3) # ... 類似地處理其他層級的特征 # 解碼階段這里簡單使用最高層增強(qiáng)特征 saliency_map self.decoder(enhanced_feat3) return saliency_map訓(xùn)練時(shí)損失函數(shù)通常結(jié)合二值交叉熵?fù)p失和IoU損失以同時(shí)優(yōu)化像素級分類和區(qū)域級重疊。def hybrid_loss(pred, target): bce_loss F.binary_cross_entropy(pred, target) # 簡化版IoU Loss intersection (pred * target).sum() union pred.sum() target.sum() - intersection iou_loss 1 - (intersection 1e-6) / (union 1e-6) return bce_loss iou_loss實(shí)操心得在訓(xùn)練初期可以先將深度編碼器的權(quán)重凍結(jié)只訓(xùn)練RGB編碼器和ITM部分讓網(wǎng)絡(luò)先學(xué)會利用深度信息。幾個(gè)epoch后再解凍深度編碼器進(jìn)行端到端微調(diào)。這樣訓(xùn)練更穩(wěn)定能防止深度模態(tài)的噪聲在初期帶偏整個(gè)模型。4. 效果調(diào)優(yōu)與高級技巧實(shí)現(xiàn)基礎(chǔ)網(wǎng)絡(luò)只是第一步要讓ICNet真正發(fā)揮威力還需要在細(xì)節(jié)上下功夫。4.1 深度信息的多形式利用除了直接使用原始深度圖或HHA編碼還有一些更精細(xì)的利用方式深度邊緣圖對深度圖進(jìn)行邊緣檢測如Sobel算子將清晰的幾何邊界作為額外輸入或監(jiān)督信號。深度置信度許多深度傳感器能提供每個(gè)像素的置信度?？梢詫⑵渥鳛樽⒁饬C(jī)制的另一個(gè)輸入讓網(wǎng)絡(luò)知道該相信深度圖的哪些部分。三維點(diǎn)云轉(zhuǎn)換將深度圖轉(zhuǎn)換為點(diǎn)云利用PointNet等結(jié)構(gòu)提取更純粹的三維幾何特征再投影回二維與RGB特征融合。這種方法計(jì)算量大但幾何表征能力更強(qiáng)。4.2 更復(fù)雜的信息轉(zhuǎn)換結(jié)構(gòu)基礎(chǔ)的注意力ITM可以擴(kuò)展雙向遞歸ITM不僅讓深度引導(dǎo)RGB也讓RGB引導(dǎo)深度形成雙向、迭代的轉(zhuǎn)換過程在多個(gè)步驟中逐步細(xì)化兩種模態(tài)的特征。非局部式ITM引入非局部注意力機(jī)制不僅考慮局部區(qū)域還能建立長距離的跨模態(tài)依賴關(guān)系對于大尺寸顯著物體或復(fù)雜場景更有效。門控融合單元在ITM中顯式地學(xué)習(xí)“遺忘門”和“輸入門”像LSTM一樣控制信息的流動(dòng)與保留實(shí)現(xiàn)更動(dòng)態(tài)的融合。4.3 多尺度與邊緣優(yōu)化顯著目標(biāo)檢測對邊緣精度要求很高。除了在解碼器中使用跳躍連接還可以引入邊緣輔助損失在訓(xùn)練時(shí)不僅預(yù)測顯著圖還并行預(yù)測一個(gè)邊緣圖。用真值顯著圖計(jì)算出的邊緣作為監(jiān)督讓網(wǎng)絡(luò) explicitly 學(xué)習(xí)保持物體邊界的銳利。多尺度預(yù)測與融合讓網(wǎng)絡(luò)在解碼的不同階段都輸出顯著圖深層的粗糙但語義準(zhǔn)確淺層的精細(xì)但噪聲大在訓(xùn)練時(shí)對多個(gè)尺度的輸出都計(jì)算損失在測試時(shí)將它們上采樣到原尺寸后加權(quán)融合。4.4 數(shù)據(jù)增強(qiáng)策略針對RGB-D數(shù)據(jù)的特點(diǎn)需要設(shè)計(jì)特定的數(shù)據(jù)增強(qiáng)幾何一致性增強(qiáng)對RGB圖像進(jìn)行旋轉(zhuǎn)、裁剪時(shí)必須對深度圖進(jìn)行完全相同的空間變換以保持兩種模態(tài)間的幾何對齊。這一點(diǎn)至關(guān)重要錯(cuò)位的增強(qiáng)數(shù)據(jù)會嚴(yán)重誤導(dǎo)網(wǎng)絡(luò)。深度噪聲模擬在訓(xùn)練時(shí)有意識地為深度圖添加不同種類和強(qiáng)度的噪聲如高斯噪聲、脈沖噪聲、空洞提升模型對真實(shí)場景中不完美深度數(shù)據(jù)的魯棒性?？缒B(tài)顏色擾動(dòng)僅對RGB圖像進(jìn)行顏色抖動(dòng)、亮度對比度調(diào)整而不改變深度圖模擬光照變化下深度信息相對穩(wěn)定的特性。5. 常見問題排查與性能分析在實(shí)際復(fù)現(xiàn)和訓(xùn)練ICNet類模型時(shí)你肯定會遇到各種問題。下面是一些典型問題及其解決思路。問題現(xiàn)象可能原因排查與解決思路訓(xùn)練損失不下降或震蕩1. 學(xué)習(xí)率設(shè)置過高。2. 深度圖預(yù)處理不當(dāng)存在異常值如無窮大或NaN。3. 雙流編碼器權(quán)重初始化差異過大導(dǎo)致梯度爆炸或消失。4. ITM模塊初始化不當(dāng)導(dǎo)致注意力圖過早飽和全0或全1。1. 使用學(xué)習(xí)率預(yù)熱Warmup并嘗試更小的初始學(xué)習(xí)率如1e-4。2. 檢查數(shù)據(jù)加載器確保深度圖歸一化前已過濾或填充無效值。打印深度圖的min/max值查看范圍。3. 嘗試先凍結(jié)深度編碼器訓(xùn)練或使用Kaiming初始化等更穩(wěn)定的方法。4. 在ITM的Sigmoid層前檢查其輸入值的范圍可考慮在之前加入BatchNorm層穩(wěn)定分布。模型預(yù)測的顯著圖模糊邊界不清1. 解碼器上采樣過程信息丟失嚴(yán)重。2. 跳躍連接的特征未對齊通道數(shù)或空間尺寸。3. 缺乏對邊緣的顯式監(jiān)督。4. 使用的損失函數(shù)過于強(qiáng)調(diào)區(qū)域整體如Dice Loss忽略邊界像素。1. 將簡單的雙線性上采樣改為轉(zhuǎn)置卷積或亞像素卷積增加可學(xué)習(xí)參數(shù)。2. 確保跳躍連接前編碼器特征通過1x1卷積調(diào)整通道數(shù)并與解碼器對應(yīng)層特征精確相加或拼接。3. 增加邊緣輔助損失如前文所述。4. 在損失函數(shù)中增加對邊界區(qū)域的權(quán)重或結(jié)合使用BCE Loss和SSIM Loss等能感知結(jié)構(gòu)相似性的損失。深度信息似乎沒起作用與純RGB模型效果接近1. ITM設(shè)計(jì)失效注意力圖學(xué)習(xí)失敗例如輸出近乎均勻的圖。2. 深度圖質(zhì)量極差與RGB內(nèi)容完全不相關(guān)。3. 數(shù)據(jù)集本身深度線索作用不大例如所有物體基本在同一平面。1. 可視化訓(xùn)練過程中的注意力圖看其是否隨物體位置變化。如果不變需簡化ITM結(jié)構(gòu)或加強(qiáng)其訓(xùn)練信號如用GT顯著圖作為弱監(jiān)督。2. 檢查或更換深度傳感器或嘗試使用算法生成的偽深度圖如MiDaS。3. 在模型評估時(shí)選擇深度信息有效的基準(zhǔn)數(shù)據(jù)集如SIP NLPR。訓(xùn)練速度慢顯存占用高1. 輸入圖像分辨率過高。2. 雙流編碼器參數(shù)量大如兩個(gè)ResNet-101。3. ITM或解碼器結(jié)構(gòu)過于復(fù)雜。1. 在訓(xùn)練時(shí)使用隨機(jī)裁剪如384x384測試時(shí)再使用原圖或滑動(dòng)窗口。2. 使用輕量級骨干網(wǎng)絡(luò)如MobileNetV2, EfficientNet或共享部分編碼器權(quán)重。3. 對ITM進(jìn)行通道剪枝或使用深度可分離卷積降低計(jì)算量。性能分析技巧評估時(shí)不要只看平均指標(biāo)如平均絕對誤差MAE、最大F-measure。一定要進(jìn)行案例分析。把預(yù)測結(jié)果可視化分成幾類看深度信息幫助巨大的案例復(fù)雜背景、透明物體、陰影遮擋等情況。看看你的模型在這些case上是否比純RGB模型有顯著提升。深度信息引入噪聲的案例深度圖本身有嚴(yán)重錯(cuò)誤或缺失的情況?？纯茨愕哪Ｐ褪欠癖群唵稳诤系哪Ｐ透敯裟芊褚种棋e(cuò)誤深度信息帶來的負(fù)面影響。失敗案例分析模型在哪些場景下仍然失效是物體太小還是與背景顏色、深度都太接近這能為下一步改進(jìn)提供最直接的靈感。我個(gè)人在調(diào)優(yōu)這類模型時(shí)有一個(gè)習(xí)慣一定會單獨(dú)跑一個(gè)消融實(shí)驗(yàn)。即訓(xùn)練四個(gè)模型純RGB模型、純Depth模型、早期融合模型RGB-D拼接輸入、以及完整的ICNet模型。在驗(yàn)證集上對比它們的性能。這個(gè)實(shí)驗(yàn)?zāi)茏钪庇^地告訴你1深度信息在這個(gè)數(shù)據(jù)集上是否有用2你的信息轉(zhuǎn)換機(jī)制是否比簡單融合更有效。如果ICNet相比早期融合提升不明顯那就需要回頭審視你的ITM設(shè)計(jì)是否真的學(xué)到了有效的跨模態(tài)交互。最后別忘了社區(qū)的力量。像Pytorch-Encoding、MMSegmentation等開源工具箱里通常會有RGB-D SOD的基準(zhǔn)實(shí)現(xiàn)和模型庫多讀別人的代碼尤其是數(shù)據(jù)預(yù)處理和訓(xùn)練技巧的細(xì)節(jié)往往能幫你省去大量踩坑的時(shí)間。RGB-D顯著目標(biāo)檢測是一個(gè)既有理論深度又有實(shí)踐趣味的領(lǐng)域ICNet提出的“信息轉(zhuǎn)換”思想為我們打開了一扇新窗。它不是終點(diǎn)而是一個(gè)起點(diǎn)如何設(shè)計(jì)更高效、更輕量、更通用的跨模態(tài)理解模塊依然是值得不斷探索的方向。