簡(jiǎn)介NEU-DET 鋼材表面缺陷檢測(cè)數(shù)據(jù)集是一份面向工業(yè)視覺(jué)檢測(cè)與深度學(xué)習(xí)目標(biāo)檢測(cè)任務(wù)的標(biāo)準(zhǔn)資源適合入門至進(jìn)階的算法工程師、科研人員及競(jìng)賽選手用于模型訓(xùn)練與評(píng)估。資源包含 1799 張 JPEG 原圖并提供 Pascal VOC 格式 XML 與 YOLO 格式 TXT 兩套標(biāo)注文件覆蓋 crazing、inclusion、patches、pitted_surface、rolled-in_scale、scratches 共 6 個(gè)典型缺陷類別總標(biāo)注框數(shù)達(dá) 4186 個(gè)各類別框數(shù)分布清晰可直接用于 YOLO、Faster R-CNN、SSD 等常見(jiàn)檢測(cè)框架。數(shù)據(jù)均采用 labelImg 工具以矩形框精細(xì)標(biāo)注便于用戶快速開(kāi)展缺陷識(shí)別、數(shù)據(jù)增強(qiáng)或預(yù)訓(xùn)練微調(diào)實(shí)驗(yàn)。壓縮包共 2000 個(gè)文件主要包括 1799 個(gè) xml 標(biāo)注文件與 201 個(gè) txt 標(biāo)注及說(shuō)明文件整體大小 63.1MB體積精簡(jiǎn)、解壓即用目錄組織簡(jiǎn)潔能大幅節(jié)省數(shù)據(jù)預(yù)處理時(shí)間。目前已有 1157 人學(xué)習(xí)使用是一份經(jīng)過(guò)驗(yàn)證的高質(zhì)量工業(yè)缺陷檢測(cè)入門數(shù)據(jù)集。1. NEU-DET鋼材表面缺陷檢測(cè)數(shù)據(jù)集1799 張圖到底夠不夠用做鋼材表面缺陷檢測(cè)的人大概率繞不開(kāi) NEU-DET鋼材表面缺陷檢測(cè)數(shù)據(jù)集。它用 1799 張帶標(biāo)注圖像覆蓋了六類最常見(jiàn)的鋼板表面缺陷同時(shí)給出 VOC 和 YOLO 兩種格式是驗(yàn)證檢測(cè)算法、演練訓(xùn)練流程、練習(xí)格式轉(zhuǎn)換時(shí)最順手的起點(diǎn)。很多人第一眼嫌它小真正用起來(lái)才發(fā)現(xiàn)標(biāo)注規(guī)范、類別清晰、解壓后不用做太多清洗就能喂給訓(xùn)練腳本。這個(gè)數(shù)據(jù)集的定位不是生產(chǎn)級(jí)數(shù)據(jù)而是“讓檢測(cè)模型先跑起來(lái)”的種子數(shù)據(jù)。想驗(yàn)證 YOLO 系列在工業(yè)缺陷上的效果、想跑通一套從標(biāo)注到訓(xùn)練的完整鏈路、想把自己的數(shù)據(jù)集整理成 VOC/YOLO 格式拿它做對(duì)照最合適。我最初在模擬項(xiàng)目X里接觸目標(biāo)檢測(cè)靠的就是這條鏈路入門。下面從格式拆解開(kāi)始講到訓(xùn)練配置和踩坑盡量讓你拿到壓縮包后一個(gè)晚上就能跑通第一個(gè)模型。2. 拆開(kāi) NEU-DETVOC 與 YOLO 雙格式的目錄結(jié)構(gòu)和六類缺陷網(wǎng)上流傳的 NEU-DET 轉(zhuǎn)存包很多解壓后布局可能不太一樣但核心就兩塊VOC 風(fēng)格的圖像加 XML 標(biāo)注以及 YOLO 風(fēng)格的 images/labels 目錄。先把這兩種格式各自長(zhǎng)什么樣搞清楚后面轉(zhuǎn)換和訓(xùn)練時(shí)才不會(huì)看錯(cuò)文件。2.1 六類缺陷的形態(tài)與檢測(cè)難點(diǎn)數(shù)據(jù)集里的六類缺陷分別是 crazing、inclusion、patches、pitted_surface、rolled_in_scale、scratches常見(jiàn)版本里圖像尺寸基本在 200×200 左右內(nèi)容以灰度紋理為主。先記下每類的視覺(jué)特征因?yàn)楹竺嬖u(píng)估結(jié)果時(shí)你會(huì)發(fā)現(xiàn)模型在哪一類上翻車往往從圖像形態(tài)上就能預(yù)判。XML 中的 name常見(jiàn)叫法視覺(jué)特征檢測(cè)難點(diǎn)crazing裂紋/網(wǎng)狀裂紋細(xì)密紋路灰度對(duì)比弱像背景紋理邊界不清inclusion夾雜物塊狀或條狀暗區(qū)與基材灰度接近patches斑塊片狀灰度異常邊緣不規(guī)則面積大但特征模糊pitted_surface麻點(diǎn)/凹坑密集小點(diǎn)狀凹陷目標(biāo)小且密集rolled_in_scale氧化皮鱗片狀亮/暗區(qū)域形狀多變反光干擾scratches劃痕細(xì)長(zhǎng)三角形狀條紋長(zhǎng)寬比極大容易漏斷這六類不是隨便拍的基本覆蓋了熱軋、冷軋產(chǎn)線上最常引起客訴的缺陷類型。所以在做工業(yè)質(zhì)檢項(xiàng)目原型驗(yàn)證時(shí)它比很多通用目標(biāo)檢測(cè)數(shù)據(jù)集更貼近真實(shí)場(chǎng)景。另一個(gè)實(shí)際好處是類別少訓(xùn)練迭代周期短適合用來(lái)調(diào)參。2.2 VOC 格式XML 標(biāo)注里哪些字段真正決定訓(xùn)練VOC 格式的核心是 JPEGImages 里的原始圖像加 Annotations 里同名 XML。典型目錄布局如下解壓后根目錄/ ├── VOCdevkit/ │ └── NEU-DET/ │ ├── Annotations/ # 每張圖對(duì)應(yīng)一個(gè) .xml │ ├── JPEGImages/ # 原始圖像jpg/png 常見(jiàn) │ └── ... └── labels/ # 常見(jiàn) YOLO 布局之一 ├── images/ └── labels/打開(kāi)任意一個(gè) XML結(jié)構(gòu)基本是這種風(fēng)格annotation folderNEU-DET/folder filenamexxx.jpg/filename size width200/width height200/height depth3/depth /size object namecrazing/name bndbox xmin10/xmin ymin20/ymin xmax180/xmax ymax190/ymax /bndbox difficult0/difficult /object /annotation對(duì)訓(xùn)練真正有用的字段只有 filename、size 和 object 里的 name、bndbox。folder、difficult 這些在大多數(shù)檢測(cè)框架里都會(huì)被忽略。size 里的寬度和高度最容易被忽略但 VOC 轉(zhuǎn) YOLO 時(shí)坐標(biāo)換算要靠它后面會(huì)專門講。檢查數(shù)據(jù)集時(shí)我會(huì)隨手確認(rèn)兩件事每張圖是否都有同名 XML每個(gè) XML 里 bndbox 四個(gè)值是否為整數(shù)且沒(méi)超出 0 到 200 的范圍。超出范圍的框基本是標(biāo)注誤操作訓(xùn)練時(shí)輕則警示重則讓 loss 變成 NaN。很多轉(zhuǎn)存包的問(wèn)題不在數(shù)量而在個(gè)別標(biāo)注文件被轉(zhuǎn)存工具截?cái)唷?.3 YOLO 格式歸一化 txt 的換算邏輯與類別 idYOLO 格式的標(biāo)注不是 XML而是一個(gè)和圖像同名的 txt 文件。每一行代表一個(gè)目標(biāo)框格式是 class_id cx cy width height全部歸一化到 0~1 之間。舉個(gè)直觀例子2 0.4750 0.5250 0.8500 0.4250這行表示該圖像里有一個(gè)類別 id 為 2 的目標(biāo)中心點(diǎn)在圖像的 (0.475, 0.525) 處寬度約 0.85高度約 0.425。歸一化的好處是訓(xùn)練時(shí)和圖像實(shí)際尺寸無(wú)關(guān)無(wú)論輸入是 320 還是 640標(biāo)注都不會(huì)因?yàn)檫@個(gè)盒子被縮放而需要重算。類別 id 完全依賴你定義的順序。NEU-DET 在 YOLO 格式包里最常用的映射是0 crazing 1 inclusion 2 patches 3 pitted_surface 4 rolled_in_scale 5 scratches這個(gè)順序不是 XML 里的 name 排字典序而是打包者自己定的。拿到包后先打開(kāi)兩個(gè) txt 和對(duì)應(yīng) XML 對(duì)照一遍確認(rèn) cats 順序再動(dòng)手否則模型訓(xùn)練到一半你會(huì)發(fā)現(xiàn)預(yù)測(cè)框的標(biāo)簽和圖像內(nèi)容對(duì)不上那時(shí)候改映射表等于重訓(xùn)一次。VOC 和 YOLO 雙格式同時(shí)存在時(shí)我習(xí)慣以 XML 內(nèi)容為基準(zhǔn)去校驗(yàn) txt而不是反過(guò)來(lái)。3. 動(dòng)手前先做三件事完整性校驗(yàn)、VOC 轉(zhuǎn) YOLO 與分層劃分拿到壓縮包先別急著訓(xùn)練。NEU-DET 因?yàn)楸欢啻无D(zhuǎn)存常見(jiàn)問(wèn)題是標(biāo)簽文件缺失、類別名大小寫不一致、YOLO 標(biāo)注和 VOC 標(biāo)注對(duì)不上。我一般先做三件事總共不到十分鐘能避免后面浪費(fèi)幾小時(shí)。3.1 用一段腳本查清 1799 張圖與標(biāo)注的缺口先寫個(gè)腳本統(tǒng)計(jì)圖像和標(biāo)注數(shù)量并檢查每張圖是否有對(duì)應(yīng)標(biāo)注。路徑按自己解壓的實(shí)際目錄改import xml.etree.ElementTree as ET from collections import Counter from pathlib import Path img_dir Path(JPEGImages) xml_dir Path(Annotations) imgs {p.stem for p in img_dir.glob(*.jpg)} xmls {p.stem for p in xml_dir.glob(*.xml)} print(圖片數(shù)量:, len(imgs)) print(標(biāo)注數(shù)量:, len(xmls)) print(缺失標(biāo)注的圖:, len(imgs - xmls)) print(缺失圖片的標(biāo)注:, len(xmls - imgs)) class_counter Counter() for xml_file in xml_dir.glob(*.xml): root ET.parse(xml_file).getroot() for obj in root.iter(object): name obj.findtext(name) if name: class_counter[name.strip().lower()] 1 print(class_counter.most_common())這段腳本用 stem 去掉擴(kuò)展名后做集合差能同時(shí)找出“有圖沒(méi)標(biāo)注”和“有標(biāo)注沒(méi)圖”兩種情況。類別統(tǒng)計(jì)里把 name 轉(zhuǎn)成小寫再計(jì)數(shù)是因?yàn)椴煌D(zhuǎn)存包里的類別名可能出現(xiàn) Crazing 與 crazing 混用的情況。如果發(fā)現(xiàn) 1799 張圖但有 1798 個(gè) XML別覺(jué)得差一張無(wú)所謂直接找到那個(gè)沒(méi)有 XML 的圖名后面轉(zhuǎn)換和訓(xùn)練時(shí)它一定是第一個(gè)報(bào)錯(cuò)的文件。如果包里帶的是 YOLO 格式就把上面邏輯換成 images 目錄和 labels 目錄對(duì)比并用 txt 里第一列統(tǒng)計(jì)類別。沒(méi)有對(duì)應(yīng) txt 的圖像在 YOLO 訓(xùn)練時(shí)會(huì)被靜默跳過(guò)可能整個(gè)類別都被跳過(guò)而你完全沒(méi)察覺(jué)。3.2 VOC 轉(zhuǎn) YOLO坐標(biāo)歸一化腳本與幾個(gè)邊界坑即使壓縮包里已經(jīng)給了 YOLO 格式我仍建議自己做一遍轉(zhuǎn)換。原因很現(xiàn)實(shí)轉(zhuǎn)存包的 labels 可能和 images 不匹配也可能類別順序和你準(zhǔn)備用的訓(xùn)練框架不一致。自己轉(zhuǎn)換能確保標(biāo)注鏈路是可控的。import xml.etree.ElementTree as ET from pathlib import Path from PIL import Image ANNO_DIR Path(Annotations) IMG_DIR Path(JPEGImages) LABEL_DIR Path(labels) LABEL_DIR.mkdir(exist_okTrue) CLASS_NAMES [crazing, inclusion, patches, pitted_surface, rolled_in_scale, scratches] def convert_one(xml_file): root ET.parse(xml_file).getroot() lines [] for obj in root.iter(object): name obj.findtext(name).strip().lower() if name not in CLASS_NAMES: continue cls_id CLASS_NAMES.index(name) box obj.find(bndbox) xmin float(box.findtext(xmin)) ymin float(box.findtext(ymin)) xmax float(box.findtext(xmax)) ymax float(box.findtext(ymax)) cx ((xmin xmax) / 2) / img_w cy ((ymin ymax) / 2) / img_h bw (xmax - xmin) / img_w bh (ymax - ymin) / img_h cx, cy, bw, bh [max(0.0, min(v, 1.0)) for v in (cx, cy, bw, bh)] lines.append(f{cls_id} {cx:.6f} {cy:.6f} {bw:.6f} {bh:.6f}) return lines for xml_file in ANNO_DIR.glob(*.xml): with Image.open(IMG_DIR / (xml_file.stem .jpg)) as im: img_w, img_h im.size lines convert_one(xml_file) (LABEL_DIR / (xml_file.stem .txt)).write_text(\n.join(lines), encodingutf-8)這里最關(guān)鍵的是 img_w、img_h 用 PIL 從圖像本身讀取而不是直接信任 XML 里的 size。轉(zhuǎn)存過(guò)程中圖像經(jīng)常被重新保存或縮放一旦實(shí)際尺寸和 XML 不一致按錯(cuò)誤尺寸歸一化出的坐標(biāo)全是偏的但這種偏移在視覺(jué)上又不太容易發(fā)現(xiàn)。clip 到 0~1 是雙刃劍。bndbox 越界時(shí)把它截?cái)嗟竭吔缒鼙Ｗ∮?xùn)練不報(bào)錯(cuò)但也掩蓋了標(biāo)注問(wèn)題。我建議先不 clip 跑一遍如果 txt 里出現(xiàn)小于 0 或大于 1 的值把對(duì)應(yīng)的 XML 文件名打出來(lái)逐個(gè)檢查是標(biāo)注確實(shí)越界還是圖像被壓縮過(guò)。3.3 按類別分層劃分 train/val防止驗(yàn)證集缺類1799 張圖聽(tīng)起來(lái)不少但如果隨機(jī)劃分六個(gè)類別里數(shù)量少的類可能被分到驗(yàn)證集只有幾張導(dǎo)致那一類在訓(xùn)練集里完全沒(méi)被充分學(xué)習(xí)。正確做法是按類別分層采樣確保每個(gè)類別在訓(xùn)練集和驗(yàn)證集的比例基本一致。import random from pathlib import Path from collections import defaultdict random.seed(42) img_files list(Path(images).glob(*.jpg)) label_dir Path(labels) def classes_of(img_path): label_path label_dir / (img_path.stem .txt) if not label_path.exists(): return [] with open(label_path) as f: return sorted({line.split()[0] for line in f if line.strip()}) strata defaultdict(list) for img_path in img_files: cls_list classes_of(img_path) key cls_list[0] if cls_list else empty strata[key].append(img_path) train_ratio 0.8 train_files, val_files [], [] for key, paths in strata.items(): random.shuffle(paths) split int(len(paths) * train_ratio) train_files.extend(paths[:split]) val_files.extend(paths[split:]) print(train:, len(train_files), val:, len(val_files))這段腳本把同一圖像里的多個(gè)類別去重后取第一個(gè)作為分層鍵。單張圖只有一個(gè)缺陷的 NEU-DET 里足夠用。如果發(fā)現(xiàn) empty 分組里有文件說(shuō)明標(biāo)注缺失回到 3.1 去查原因。劃分完成后把 train_files 和 val_files 分別按 YOLO 目錄結(jié)構(gòu)放好下一章直接用。4. 用 YOLO 在 NEU-DET 上完成訓(xùn)練配置文件、命令與評(píng)估要點(diǎn)數(shù)據(jù)準(zhǔn)備好之后訓(xùn)練本身反而最順利。用公開(kāi)的 YOLO 系列框架只要目錄結(jié)構(gòu)和 yaml 沒(méi)問(wèn)題一條命令就能跑起來(lái)。重點(diǎn)在于配置文件怎么寫、超參數(shù)怎么選、結(jié)果到底看什么指標(biāo)。4.1 搭建標(biāo)準(zhǔn)目錄結(jié)構(gòu)和 data.yaml按 YOLO 約定數(shù)據(jù)集目錄長(zhǎng)這樣dataset/ ├── images/ │ ├── train/ │ └── val/ └── labels/ ├── train/ └── val/訓(xùn)練前把 3.3 劃分出的文件對(duì)應(yīng)移動(dòng)或軟鏈進(jìn)去。labels 下每個(gè) txt 的文件名必須和 images 下同名圖像一致框架是通過(guò) stem 匹配的文件名對(duì)不上再好的標(biāo)注也找不到。下面是 data.yaml# neu_det.yaml path: /path/to/dataset train: images/train val: images/val nc: 6 names: 0: crazing 1: inclusion 2: patches 3: pitted_surface 4: rolled_in_scale 5: scratchespath 建議寫絕對(duì)路徑因?yàn)橄鄬?duì)路徑在不同工作目錄下行為不一致。names 的順序必須和 3.2 里 CLASS_NAMES 完全一致這是 NEU-DET 容易出現(xiàn)標(biāo)簽錯(cuò)亂的最主要原因。下載后如果壓縮包自帶的 data.yaml 里順序和標(biāo)注不一致以標(biāo)注文件實(shí)際的第一列為準(zhǔn)。4.2 訓(xùn)練命令與關(guān)鍵超參數(shù)從預(yù)訓(xùn)練權(quán)重開(kāi)始最省事的訓(xùn)練命令是這樣yolo detect train dataneu_det.yaml modelyolov8n.pt \ epochs300 imgsz640 batch16 device0 cacheTrueNEU-DET 只有 1799 張圖epochs 至少要給到 200 以上否則模型還沒(méi)收斂就到頭了。imgsz 我建議 448 或 640不建議降到 320。六個(gè)類別里 pitted_surface 和 scratches 屬于典型的細(xì)小目標(biāo)圖像本身只有 200×200再降分辨率會(huì)讓麻點(diǎn)和劃痕的像素特征進(jìn)一步丟失。預(yù)訓(xùn)練權(quán)重非常關(guān)鍵。從零訓(xùn)練一個(gè)小數(shù)據(jù)集收斂慢而且 mAP 通常不及預(yù)期。用在大規(guī)模自然圖像上預(yù)訓(xùn)練過(guò)的權(quán)重做初始化等于讓模型把“特征提取的基本功”帶過(guò)來(lái)只學(xué) NEU-DET 的領(lǐng)域差異這在實(shí)際實(shí)驗(yàn)中能明顯縮短訓(xùn)練時(shí)間。batch 大小根據(jù)顯存調(diào)整16 在常見(jiàn)顯卡上都能跑batch 太大時(shí) BN 層統(tǒng)計(jì)更容易波動(dòng)。還可以順手打開(kāi) cacheTrue把圖像緩存到內(nèi)存數(shù)據(jù)集小所以內(nèi)存壓力不大但能顯著加快每個(gè) epoch 的加載速度。4.3 評(píng)估到底看什么單類 AP 比總 mAP 更能發(fā)現(xiàn)問(wèn)題訓(xùn)練完后用驗(yàn)證集評(píng)估yolo detect val dataneu_det.yaml \ modelruns/detect/train/weights/best.pt輸出里除了 mAP50 和 mAP50-95一定要看每一類的 Precision、Recall 和 AP。NEU-DET 的 mAP50 普遍不低但這個(gè)總分很容易掩蓋單類問(wèn)題。我見(jiàn)過(guò)不少訓(xùn)練結(jié)果總分到了 0.8 以上但 crazing 的 AP 只有 0.3因?yàn)?crazing 在驗(yàn)證集里就幾十張即使全錯(cuò)對(duì)總分影響也很小。更直接的做法是跑一輪批量預(yù)測(cè)yolo detect predict modelruns/detect/train/weights/best.pt \ sourcedataset/images/val預(yù)測(cè)結(jié)果會(huì)保存成帶框的圖片?？焖俜槐檫@些圖重點(diǎn)看兩類漏檢的真實(shí)目標(biāo)和把背景紋理誤檢成缺陷的假正例。這兩個(gè)信息比任何指標(biāo)都能說(shuō)明模型下一步該怎么調(diào)。5. NEU-DET 使用中的五大坑與排查思路這一章都是實(shí)際跑數(shù)據(jù)時(shí)大概率會(huì)遇到的問(wèn)題按現(xiàn)象到原因到解決來(lái)寫方便你直接對(duì)照。5.1 1799 張圖訓(xùn)練后 loss 很低但驗(yàn)證 mAP 上不去過(guò)擬合現(xiàn)象訓(xùn)練集上的 loss 降得很漂亮但驗(yàn)證集的 mAP 訓(xùn)練到一半就停滯甚至下降。原因很簡(jiǎn)單數(shù)據(jù)量太小模型把訓(xùn)練集的特征背下來(lái)了沒(méi)有泛化能力。尤其是網(wǎng)絡(luò)層數(shù)較深時(shí)這種現(xiàn)象更明顯。解決優(yōu)先加大數(shù)據(jù)增強(qiáng)crazing 和 scratches 這類目標(biāo)對(duì)翻轉(zhuǎn)、旋轉(zhuǎn)不敏感可把 fliplr 開(kāi)到 0.5mosaic 開(kāi)滿其次用預(yù)訓(xùn)練權(quán)重而不是從零訓(xùn)練再不行就換更小的模型比如直接上 n 系列而不是一上來(lái)就用 s 或 m。最后把 epochs 拉長(zhǎng)配合早停讓它自己停在泛化最好的位置。5.2 crazing 與 patches 的 Precision 長(zhǎng)期為 0類別不均衡與標(biāo)注粒度現(xiàn)象訓(xùn)練完看 per-class 指標(biāo)這兩類的 AP 明顯低于其他四類有時(shí) Precision 直接是 0。原因是這兩個(gè)類別的樣本量在數(shù)據(jù)集中偏少而且 crazing 的網(wǎng)狀裂紋和背景紋理高度相似模型傾向把所有帶紋理的區(qū)域都當(dāng)成背景。解決思路分兩步先看統(tǒng)計(jì)確認(rèn)哪一類樣本最少如果少到幾十張級(jí)別考慮對(duì)這種缺陷做離線復(fù)制增強(qiáng)把框內(nèi)區(qū)域隨機(jī)貼到背景圖合成新樣本然后檢查標(biāo)注框是否太大crazing 的紋理區(qū)域往往是大框套著細(xì)小裂紋標(biāo)注框過(guò)大會(huì)讓模型學(xué)到大量背景。減小這類框的粒度往往比加數(shù)據(jù)更有效。5.3 轉(zhuǎn)換后提示 no labels found坐標(biāo)越界與目錄層級(jí)現(xiàn)象訓(xùn)練命令一跑日志提示某個(gè)圖像沒(méi)有找到對(duì)應(yīng) labels或者直接報(bào)錯(cuò)找不到標(biāo)簽。原因通常是兩種一是圖像和 txt 不在預(yù)期的 labels/train 目錄下框架默認(rèn)在 images 同級(jí)找 labels目錄層級(jí)錯(cuò)了就找不到二是轉(zhuǎn)換出來(lái)的 txt 里坐標(biāo)越界比如框的寬高算出來(lái)是負(fù)數(shù)部分框架會(huì)認(rèn)為這是非法標(biāo)注。解決先用 3.1 的校驗(yàn)邏輯檢查每個(gè) txt 是否有有效內(nèi)容再確認(rèn) labels 下的文件和 images 下文件一一對(duì)應(yīng)最后打開(kāi)一個(gè) txt 看數(shù)字是否都在 0~1 區(qū)間如果出現(xiàn)負(fù)值回到轉(zhuǎn)換腳本檢查 xmax 是否小于 xmin這種問(wèn)題常見(jiàn)于標(biāo)注框在被壓縮后翻轉(zhuǎn)的情況。5.4 預(yù)測(cè)類別張冠李戴類別 id 順序不一致現(xiàn)象模型訓(xùn)練沒(méi)有報(bào)錯(cuò)也收斂了但預(yù)測(cè)出來(lái)的框類別和圖像內(nèi)容對(duì)不上比如把氧化皮預(yù)測(cè)成夾雜物。終極原因只有一個(gè)訓(xùn)練時(shí) CLASS_NAMES 的順序和 data.yaml 里 names 的順序不一致。VOC 轉(zhuǎn) YOLO 時(shí)你按一個(gè)順序給類別編號(hào)訓(xùn)練時(shí)框架按照另一個(gè)順序讀取類別名同一個(gè)數(shù)字在兩個(gè)文件里代表不同缺陷。解決把兩張表并排打印出來(lái)人工核對(duì)。我習(xí)慣把類別順序?qū)戇M(jìn)一個(gè)固定文件轉(zhuǎn)換腳本、data.yaml、訓(xùn)練輸出三處都從這個(gè)文件讀取徹底消滅手寫不一致的可能。5.5 訓(xùn)練效果換到產(chǎn)線現(xiàn)場(chǎng)就失效域差異現(xiàn)象NEU-DET 上 mAP 很高但拿到自己現(xiàn)場(chǎng)的鋼板圖像上一測(cè)掉點(diǎn)嚴(yán)重。原因是數(shù)據(jù)集本身來(lái)自特定產(chǎn)線、特定光照和特定拍攝條件灰度紋理風(fēng)格比較單一而現(xiàn)場(chǎng)圖像的分辨率、角度、氧化程度都不一樣。這不算數(shù)據(jù)集的坑而是使用方式的問(wèn)題。解決把 NEU-DET 當(dāng)預(yù)訓(xùn)練和流程驗(yàn)證基準(zhǔn)不要指望它替你覆蓋現(xiàn)場(chǎng)域。常見(jiàn)做法是加載在 NEU-DET 上訓(xùn)練好的權(quán)重用現(xiàn)場(chǎng)采集的一兩千張真實(shí)缺陷圖做微調(diào)哪怕標(biāo)注粗糙一些效果也遠(yuǎn)好于直接用 NEU-DET 權(quán)重做推理。6. 不換模型也能漲點(diǎn)的三個(gè) NEU-DET 進(jìn)階技巧數(shù)據(jù)只有 1799 張但有些技巧能在不換網(wǎng)絡(luò)結(jié)構(gòu)的前提下把 mAP 再往上推一點(diǎn)。下面三個(gè)是我常用的。第一個(gè)是偽標(biāo)注自訓(xùn)練。用訓(xùn)練好的 best.pt 對(duì)同一來(lái)源但未標(biāo)注的圖像做推理把置信度高的預(yù)測(cè)框直接當(dāng)標(biāo)注加入訓(xùn)練集再訓(xùn)一輪。要注意只挑選置信度大于 0.9 且面積合理的框人工掃一眼抽查幾張。這個(gè)方法在小數(shù)據(jù)集上通常能帶來(lái)穩(wěn)定提升相當(dāng)于用模型自己擴(kuò)充了訓(xùn)練數(shù)據(jù)。第二個(gè)是灰度增強(qiáng)副本。NEU-DET 圖像本質(zhì)是灰度紋理但很多訓(xùn)練框架對(duì)灰度圖會(huì)做三通道復(fù)制本身沒(méi)有額外信息。我習(xí)慣把 CLAHE 或直方圖均衡化后的圖像作為第二個(gè)版本和原始圖混合進(jìn)訓(xùn)練強(qiáng)迫模型對(duì)光照和對(duì)比度變化更魯棒。操作上不需要改代碼提前跑個(gè)批處理生成增強(qiáng)副本放進(jìn) images/train 即可。第三個(gè)是推理時(shí)多尺度融合。因?yàn)樵紙D像是 200×200輸入 640 本身已經(jīng)是放大三倍多模型對(duì)尺度變化比較敏感。推理時(shí)可以用 TTA 或三尺度推理對(duì)三次預(yù)測(cè)結(jié)果做 NMS 合并。這一招對(duì)小目標(biāo)類別特別有效代價(jià)是推理時(shí)間增加離線批量檢測(cè)場(chǎng)景完全劃得來(lái)。就這個(gè)數(shù)據(jù)集而言我最后悔的事情是早期只看總 mAP直到某次把 best.pt 放到現(xiàn)場(chǎng)圖像上才發(fā)現(xiàn) crazing 全線漏檢。后來(lái)養(yǎng)成習(xí)慣每次訓(xùn)練完先翻每個(gè)類的壞例圖再?zèng)Q定要不要調(diào)參。這個(gè)習(xí)慣幫我少走了很多彎路希望也能幫到你。本文還有配套的精品資源點(diǎn)擊獲取