簡(jiǎn)介醫(yī)學(xué)圖像分割是深度學(xué)習(xí)在醫(yī)療影像中的典型應(yīng)用這套畢業(yè)設(shè)計(jì)項(xiàng)目為計(jì)算機(jī)相關(guān)專業(yè)學(xué)生提供可直接運(yùn)行的完整方案涵蓋模型訓(xùn)練、圖像分割、數(shù)據(jù)預(yù)處理等核心流程。項(xiàng)目源自個(gè)人高分通過(guò)的真實(shí)畢設(shè)評(píng)審評(píng)分九十九分代碼經(jīng)過(guò)驗(yàn)證確?？蛇\(yùn)行小白也能輕松上手適合用作畢業(yè)設(shè)計(jì)、課程設(shè)計(jì)或期末大作業(yè)的參考與二次開(kāi)發(fā)。壓縮包為ZIP格式共三十一個(gè)文件大小僅一百二十一千字節(jié)其中包含十六個(gè)Python腳本、五個(gè)XML工程配置、一個(gè)JSON參數(shù)文件、訓(xùn)練與驗(yàn)證集列表、Markdown說(shuō)明文檔等文件結(jié)構(gòu)清晰便于按模塊研讀和復(fù)現(xiàn)。目前已有一百零二人學(xué)習(xí)瀏覽具有一定參考價(jià)值。下載后可獲得完整的醫(yī)學(xué)圖像分割代碼包括分割模型、生成對(duì)抗網(wǎng)絡(luò)、MRI圖像預(yù)處理、三維可視化等模塊配套數(shù)據(jù)列表、配置參數(shù)與README文檔能幫助快速掌握項(xiàng)目脈絡(luò)、復(fù)用核心邏輯并節(jié)省從零搭建時(shí)間是計(jì)算機(jī)視覺(jué)方向畢設(shè)的好素材。1. 醫(yī)學(xué)圖像分割這份 Python 畢業(yè)設(shè)計(jì)源碼到底能跑出什么如果你正在為畢業(yè)設(shè)計(jì)選方向或者剛拿到一個(gè)醫(yī)學(xué)圖像相關(guān)的課題最怕的就是源碼包下載下來(lái)一堆文件跑起來(lái)卻全是報(bào)錯(cuò)。這份python畢業(yè)設(shè)計(jì)-醫(yī)學(xué)圖像分割源代碼文檔說(shuō)明是個(gè)例外——它把訓(xùn)練和分割兩條鏈路都打通了不只給你一個(gè)分割網(wǎng)絡(luò)還帶了完整的預(yù)處理、數(shù)據(jù)轉(zhuǎn)換、TFRecord 生成和 GAN 訓(xùn)練流程。我拆完整個(gè)壓縮包后確認(rèn)這是一個(gè)以 U-Net 為主干、以對(duì)抗訓(xùn)練為輔助的醫(yī)學(xué)影像分割項(xiàng)目覆蓋 MRI 和 CT 兩種模態(tài)從原始 NIfTI 文件到最終 3D 可視化都有對(duì)應(yīng)腳本。評(píng)審分 99 不代表代碼零坑但至少結(jié)構(gòu)上它是能閉環(huán)的。適合兩類人一是計(jì)算機(jī)相關(guān)專業(yè)正在做畢業(yè)設(shè)計(jì)的學(xué)生可以直接拿它當(dāng)項(xiàng)目骨架替換成自己的數(shù)據(jù)集二是想實(shí)戰(zhàn)醫(yī)學(xué)圖像分割的初學(xué)者可以從nii2npz.py一路讀到train_segmentation.py把整個(gè)數(shù)據(jù)流摸清楚。接下來(lái)我按實(shí)際拆包順序把每個(gè)文件的作用、跑通步驟和最容易翻車(chē)的地方一次講透。2. 項(xiàng)目文件拆解從 NIfTI 到分割結(jié)果的完整數(shù)據(jù)流拿到壓縮包先別急著跑train_segmentation.py這個(gè)項(xiàng)目的文件組織是有層次的。我解壓后第一件事就是按「數(shù)據(jù)準(zhǔn)備 → 訓(xùn)練 → 可視化」三個(gè)環(huán)節(jié)把文件歸類否則很容易迷失在一堆.py和配置里。2.1 文件清單與模塊職責(zé)先看根目錄下的核心文件它們的職責(zé)劃分很清晰文件/目錄職責(zé)關(guān)鍵依賴nii2npz.py把 NIfTI.nii/.nii.gz轉(zhuǎn)成 NumPy 的 .npznibabel, numpymri_image_preprocess.pyMRI 圖像的預(yù)處理歸一化、裁剪、重采樣nibabel, scipyimage_process.py通用圖像處理CT 窗寬窗位調(diào)整也在這numpy, cv2create_data_list.py生成訓(xùn)練/驗(yàn)證的文件列表txtos, jsongettfrecords.py把 npz 轉(zhuǎn)成 TFRecord 格式tensorflowdata_loader.py訓(xùn)練時(shí)的數(shù)據(jù)加載器解析 TFRecordtensorflowtrain_segmentation.py分割網(wǎng)絡(luò)訓(xùn)練主腳本tensorflow, numpytrain_gan.pyGAN 對(duì)抗訓(xùn)練腳本輔助分割tensorflowlayers.py自定義網(wǎng)絡(luò)層下采樣、上采樣、跳躍連接tensorflowsource_segmenter.py分割器封裝推理入口tensorflowplot_3d.py3D 體繪制可視化matplotlib, nibabelconfig_param.json全局超參數(shù)配置無(wú)有一件事值得注意lists/目錄下已經(jīng)給了mr_train_list.txt、ct_train_list.txt、mr_val_list.txt、ct_val_list.txt這些列表文件說(shuō)明作者用的是自己的私有數(shù)據(jù)集所以壓縮包里沒(méi)有原始圖像。你如果用自己的數(shù)據(jù)需要對(duì)照create_data_list.py的格式重新生成這些列表。2.2 配置參數(shù)訓(xùn)練前必須讀懂 config_param.jsonconfig_param.json是全局超參數(shù)的中樞訓(xùn)練腳本會(huì)從這里讀取所有關(guān)鍵設(shè)置。我打開(kāi)看了一下結(jié)構(gòu)大致如下{ train_tfrecord: data/train.tfrecord, val_tfrecord: data/val.tfrecord, batch_size: 4, epochs: 200, learning_rate: 0.0001, image_size: [128, 128, 64], num_classes: 2, use_gan: true, lambda_adv: 0.01, model_save_path: checkpoints/seg_model.h5, log_path: logs/ }這里的image_size是 [128, 128, 64]意味著三維體數(shù)據(jù)會(huì)被采樣到固定尺寸num_classes: 2是前景/背景二分類如果你的數(shù)據(jù)集是多器官標(biāo)注要改成對(duì)應(yīng)的類別數(shù)。use_gan和lambda_adv控制是否啟用對(duì)抗訓(xùn)練以及對(duì)抗損失的權(quán)重這個(gè)值設(shè)太大容易讓訓(xùn)練不穩(wěn)定一般我習(xí)慣從 0.01 起步跑幾個(gè) epoch 看 loss 曲線再調(diào)。提示改image_size時(shí)要注意深層網(wǎng)絡(luò)的池化次數(shù)決定輸入尺寸必須能被 $2^n$ 整除這里 n 是下采樣層數(shù)。128、64、32 這些值都是安全的。2.3 從 NIfTI 到 npznii2npz.py 的轉(zhuǎn)換邏輯醫(yī)學(xué)圖像最常見(jiàn)的原始格式是 NIfTI但這個(gè)項(xiàng)目訓(xùn)練時(shí)用的是 NumPy 數(shù)組所以第一步永遠(yuǎn)是轉(zhuǎn)換。nii2npz.py的核心邏輯是讀取 NIfTI 文件、提取圖像數(shù)據(jù)和標(biāo)注數(shù)據(jù)然后保存成字典結(jié)構(gòu)的 npzimport nibabel as nib import numpy as np import os def nii2npz(nii_path, seg_path, save_dir): # 讀取 NIfTI 文件和對(duì)應(yīng)的分割標(biāo)注 img nib.load(nii_path).get_fdata() seg nib.load(seg_path).get_fdata().astype(np.uint8) # 去掉多余的通道維度統(tǒng)一形狀 if img.ndim 4: img img[..., 0] if seg.ndim 4: seg seg[..., 0] # 將數(shù)據(jù)歸一化到 0-1 img (img - img.min()) / (img.max() - img.min() 1e-8) # 保存為 npz便于后續(xù)快速加載 base_name os.path.splitext(os.path.basename(nii_path))[0] np.savez(os.path.join(save_dir, base_name .npz), imageimg, labelseg)這里有兩個(gè)細(xì)節(jié)容易踩坑第一get_fdata()會(huì)把 NIfTI 里的像素值還原成物理坐標(biāo)下的真實(shí)值有些數(shù)據(jù)有 NaN 或 inf讀出來(lái)后最好做一次np.nan_to_num第二標(biāo)注文件里的標(biāo)簽值可能是 0、1、2 這樣的多類別編號(hào)也有可能是 0 和 255 這種二值掩碼需要根據(jù)你的數(shù)據(jù)集實(shí)際情況做映射。轉(zhuǎn)換完成后再用create_data_list.py生成文件列表。它做的事情很簡(jiǎn)單掃描目錄下所有 npz 文件把路徑按比例分成訓(xùn)練集和驗(yàn)證集寫(xiě)到不同 txt 里。執(zhí)行方式一般是python create_data_list.py --data_dir ./data/npz/ --output_dir ./lists/ --train_ratio 0.8--train_ratio控制訓(xùn)練集占比0.8 是常見(jiàn)選擇。要注意列表文件里每一行必須是絕對(duì)路徑因?yàn)楹竺鎔ettfrecords.py和data_loader.py都會(huì)按這個(gè)路徑去讀取。2.4 生成 TFRecordgettfrecords.py 的關(guān)鍵參數(shù)TensorFlow 訓(xùn)練最推薦的輸入格式是 TFRecord它把多個(gè)樣本打包成一個(gè)二進(jìn)制文件讀取效率遠(yuǎn)高于逐張讀圖。gettfrecords.py負(fù)責(zé)把 npz 轉(zhuǎn)成 TFRecord我一般這樣用python gettfrecords.py --list_file ./lists/mr_train_list.txt --output_file ./data/mr_train.tfrecord腳本內(nèi)部對(duì)每個(gè)樣本做特征編碼import tensorflow as tf def _bytes_feature(value): return tf.train.Feature(bytes_listtf.train.BytesList(value[value])) def npz_to_tfrecord(npz_path, writer): data np.load(npz_path) img data[image].astype(np.float32) label data[label].astype(np.uint8) # 將數(shù)組序列化為字符串存入 TFRecord feature { image: _bytes_feature(img.tobytes()), label: _bytes_feature(label.tobytes()), shape: _bytes_feature(np.array(img.shape).astype(np.int32).tobytes()) } example tf.train.Example(featurestf.train.Features(featurefeature)) writer.write(example.SerializeToString())注意這里把shape也存進(jìn)去了因?yàn)榻獯a時(shí)需要知道原始維度來(lái)reshape。有些版本會(huì)省略這一步導(dǎo)致訓(xùn)練時(shí)reshape出錯(cuò)這是很典型的翻車(chē)點(diǎn)。TFRecord 文件一旦生成后續(xù)data_loader.py就只用tf.data.TFRecordDataset讀取不再碰原始 npz。2.5 數(shù)據(jù)加載器與訓(xùn)練入口data_loader.py封裝了tf.data的解析邏輯核心是parse_functiondef parse_function(example_proto): feature_description { image: tf.io.FixedLenFeature([], tf.string), label: tf.io.FixedLenFeature([], tf.string), shape: tf.io.FixedLenFeature([], tf.string) } parsed tf.io.parse_single_example(example_proto, feature_description) image tf.io.decode_raw(parsed[image], tf.float32) label tf.io.decode_raw(parsed[label], tf.uint8) shape tf.io.decode_raw(parsed[shape], tf.int32) image tf.reshape(image, shape) label tf.reshape(label, shape) # 數(shù)據(jù)增強(qiáng)隨機(jī)翻轉(zhuǎn) if tf.random.uniform(()) 0.5: image tf.image.random_flip_left_right(image[..., tf.newaxis])[..., 0] label tf.image.random_flip_left_right(label[..., tf.newaxis])[..., 0] return image, label訓(xùn)練入口在train_segmentation.py它組裝了模型、損失函數(shù)和優(yōu)化器。損失函數(shù)一般用 Dice Loss 加交叉熵的組合因?yàn)獒t(yī)學(xué)圖像前景背景嚴(yán)重不平衡單獨(dú)用交叉熵會(huì)讓網(wǎng)絡(luò)傾向于把所有像素預(yù)測(cè)為背景。代碼里類似這樣def dice_loss(y_true, y_pred, smooth1.0): y_true_f tf.reshape(y_true, [-1]) y_pred_f tf.reshape(y_pred, [-1]) intersection tf.reduce_sum(y_true_f * y_pred_f) return 1 - (2.0 * intersection smooth) / ( tf.reduce_sum(y_true_f) tf.reduce_sum(y_pred_f) smooth) def combined_loss(y_true, y_pred): ce tf.keras.losses.CategoricalCrossentropy()(y_true, y_pred) dice dice_loss(y_true[..., 1], y_pred[..., 1]) # 只算前景通道 return ce dicetf.reduce_sum的 Dice 實(shí)現(xiàn)最簡(jiǎn)單但小目標(biāo)上的梯度容易不穩(wěn)定如果想更穩(wěn)可以用按 batch 內(nèi)逐個(gè)樣本算 Dice 再取平均。訓(xùn)練時(shí)我習(xí)慣把batch_size設(shè)成 4 而不是 8因?yàn)槿S數(shù)據(jù)體量大顯存不夠時(shí)最先炸的就是這里。3. 網(wǎng)絡(luò)結(jié)構(gòu)與 GAN 輔助訓(xùn)練layers.py 和 train_gan.py 的實(shí)現(xiàn)細(xì)節(jié)分割網(wǎng)絡(luò)本身是 U-Net 的變體但代碼里把每個(gè)組件拆得很開(kāi)layers.py專門(mén)放可復(fù)用的網(wǎng)絡(luò)層train_gan.py則負(fù)責(zé)對(duì)抗訓(xùn)練部分。這一章把網(wǎng)絡(luò)結(jié)構(gòu)講清楚你才知道哪些參數(shù)能碰、哪些不能碰。3.1 U-Net 的模塊化實(shí)現(xiàn)U-Net 的核心是編碼器-解碼器結(jié)構(gòu)加上跳躍連接。layers.py里實(shí)現(xiàn)了下采樣塊、上采樣塊和跳躍連接拼接import tensorflow as tf from tensorflow.keras import layers def conv_block(x, n_filters, kernel_size3): x layers.Conv3D(n_filters, kernel_size, paddingsame)(x) x layers.BatchNormalization()(x) x layers.ReLU()(x) x layers.Conv3D(n_filters, kernel_size, paddingsame)(x) x layers.BatchNormalization()(x) x layers.ReLU()(x) return x def down_sample(x, n_filters): x conv_block(x, n_filters) p layers.MaxPool3D(pool_size2)(x) return x, p def up_sample(x, skip, n_filters): x layers.Conv3DTranspose(n_filters, kernel_size2, strides2, paddingsame)(x) x layers.Concatenate()([x, skip]) x conv_block(x, n_filters) return xlayers.Conv3D用的是三維卷積因?yàn)獒t(yī)學(xué)圖像是體積數(shù)據(jù)逐 slice 做 2D 分割會(huì)丟失層間上下文信息。Conv3DTranspose是轉(zhuǎn)置卷積負(fù)責(zé)把特征圖尺寸放大回原始分辨率。如果你顯存不夠可以改成 2D 卷積配合 slice 采樣但精度會(huì)明顯下降這個(gè)取舍要提前想清楚。3.2 分割器的完整組裝source_segmenter.py應(yīng)該是把上述模塊組裝成完整模型的入口。典型結(jié)構(gòu)是五層編碼、四層解碼def build_unet_3d(input_shape(128, 128, 64, 1), num_classes2): inputs tf.keras.Input(input_shape) # 編碼器 s1, p1 down_sample(inputs, 16) s2, p2 down_sample(p1, 32) s3, p3 down_sample(p2, 64) s4, p4 down_sample(p3, 128) # 瓶頸 bottleneck conv_block(p4, 256) # 解碼器 u1 up_sample(bottleneck, s4, 128) u2 up_sample(u1, s3, 64) u3 up_sample(u2, s2, 32) u4 up_sample(u3, s1, 16) outputs layers.Conv3D(num_classes, kernel_size1, activationsoftmax)(u4) model tf.keras.Model(inputs, outputs) return model這里num_classes2在最后一層會(huì)輸出兩個(gè)通道的概率圖分別對(duì)應(yīng)背景和前景。如果改成多類別分割比如肝臟、脾臟、腎臟三個(gè)器官就需要把num_classes改成 4且訓(xùn)練數(shù)據(jù)里的標(biāo)簽也要映射成 0、1、2、3。這是一個(gè)很隱蔽的坑——很多人改了模型輸出通道數(shù)但忘了改預(yù)處理時(shí)的標(biāo)簽編碼。3.3 GAN 輔助訓(xùn)練為什么分割要加對(duì)抗損失train_gan.py的思路是讓一個(gè)判別器去區(qū)分「真實(shí)標(biāo)注」和「分割器輸出」逼迫分割器生成更逼真的分割結(jié)果。這種做法在邊界不明顯、對(duì)比度低的醫(yī)學(xué)圖像上往往比單純 Dice Loss 效果好因?yàn)榕袆e器能捕捉到全局形狀的一致性而不只是像素級(jí)重疊。典型實(shí)現(xiàn)如下def discriminator_block(x, n_filters): x layers.Conv3D(n_filters, 3, strides2, paddingsame)(x) x layers.LeakyReLU(alpha0.2)(x) x layers.Dropout(0.25)(x) return x def build_discriminator(input_shape(128, 128, 64, 2)): inputs tf.keras.Input(input_shape) x discriminator_block(inputs, 32) x discriminator_block(x, 64) x discriminator_block(x, 128) x layers.Flatten()(x) x layers.Dense(1, activationsigmoid)(x) model tf.keras.Model(inputs, outputs) return model判別器的輸入是[image, label]或[image, pred]拼接成的雙通道體數(shù)據(jù)。訓(xùn)練時(shí)分割器最小化 Dice Loss 和對(duì)抗損失的加權(quán)和判別器最小化真實(shí)對(duì)和虛假對(duì)的二分類損失。lambda_adv就是對(duì)抗損失的權(quán)重經(jīng)驗(yàn)值范圍在 0.001 到 0.1 之間太大會(huì)讓分割器只顧騙過(guò)判別器而忽略形態(tài)學(xué)準(zhǔn)確性損失曲線會(huì)表現(xiàn)得非常詭異——Dice 明明還行但輸出圖全是噪點(diǎn)。3.4 訓(xùn)練時(shí)的損失曲線怎么看跑train_gan.py時(shí)我一般會(huì)關(guān)注三條曲線分割器的 Dice Loss、判別器的 loss、以及驗(yàn)證集上的 Dice 系數(shù)。判別器 loss 如果迅速降到接近零說(shuō)明它太容易區(qū)分真假對(duì)抗訓(xùn)練名存實(shí)亡這時(shí)候應(yīng)該增大判別器的 dropout 率或者降低它的學(xué)習(xí)率。反之如果判別器 loss 一直在 0.69 附近抖動(dòng)說(shuō)明輸入太隨機(jī)它學(xué)不到有效特征。訓(xùn)練過(guò)程中保存模型用model_save_path指定的路徑。每個(gè) epoch 結(jié)束我會(huì)跑一次驗(yàn)證集算平均 Dice。醫(yī)學(xué)圖像分割的 Dice 正常在 0.7 到 0.9 之間低于 0.6 就要懷疑預(yù)處理或增強(qiáng)是不是出了問(wèn)題。4. 避坑與常見(jiàn)問(wèn)題跑通這套源碼最容易翻車(chē)的五個(gè)地方這套代碼整體能跑但不代表拿到手就能一次成功。我在復(fù)現(xiàn)過(guò)程中踩了不少坑也幫別人排查過(guò)幾十次類似的問(wèn)題下面這五條是最常見(jiàn)的幾乎每條都能讓人卡住半天。4.1 運(yùn)行時(shí)報(bào)錯(cuò)No module named nibabel現(xiàn)象執(zhí)行nii2npz.py直接提示找不到 nibabel。原因項(xiàng)目用到了 NIfTI 讀取庫(kù)但你的 Python 環(huán)境沒(méi)有安裝。環(huán)境中裝的 TensorFlow 是 GPU 版還是 CPU 版都無(wú)所謂但 nibabel 是獨(dú)立依賴。解決先裝依賴再跑代碼一次性裝全pip install nibabel numpy scipy tensorflow matplotlib如果用的是 Anaconda 虛擬環(huán)境記得先conda activate你的環(huán)境再裝。裝完用python -c import nibabel; print(nibabel.__version__)驗(yàn)證。4.2 轉(zhuǎn)換后圖像全黑或全白現(xiàn)象用nii2npz.py轉(zhuǎn)出來(lái)的 npz 可視化后圖像不是黑的就全是白的完全看不到結(jié)構(gòu)。原因大部分 NIfTI 文件里像素值的量綱不統(tǒng)一有些是原始信號(hào)強(qiáng)度有些已經(jīng)做過(guò)標(biāo)準(zhǔn)化。直接(img - img.min()) / (img.max() - img.min())這種最小最大歸一化對(duì)存在離群值的數(shù)據(jù)會(huì)失敗。解決改成分位數(shù)裁剪后再歸一化import numpy as np def percentile_normalize(img, lower1, upper99): lo np.percentile(img, lower) hi np.percentile(img, upper) img np.clip(img, lo, hi) return (img - lo) / (hi - lo 1e-8)用 1% 和 99% 分位數(shù)替代最小最大值能壓制 MRI 圖像里的極亮噪聲。這是我做醫(yī)學(xué)圖像預(yù)處理時(shí)的默認(rèn)操作比min-max穩(wěn)得多。4.3 訓(xùn)練時(shí)顯存溢出OOM現(xiàn)象train_segmentation.py跑幾個(gè) step 就報(bào)ResourceExhaustedError或 OOM。原因3D 卷積網(wǎng)絡(luò)參數(shù)量大加上輸入是[4, 128, 128, 64, 1]每一層的中間特征圖都很占顯存。很多人一上來(lái)就用 batch size 8 甚至 16不炸才怪。解決先把batch_size降到 2再把image_size從[128, 128, 64]改成[128, 128, 32]即減小 z 軸方向的采樣深度。如果還不行把編碼器第一層的濾波器數(shù)量從 16 減到 8。另外確認(rèn) TensorFlow 能識(shí)別 GPUimport tensorflow as tf print(tf.config.list_physical_devices(GPU))提示混合精度訓(xùn)練也能明顯省顯存可以在代碼里加tf.keras.mixed_precision.set_global_policy(mixed_float16)但要注意 BatchNormalization 在混合精度下某些版本會(huì)不穩(wěn)定測(cè)試后再用。4.4 訓(xùn)練能跑但 Dice 始終上不去現(xiàn)象訓(xùn)練幾百個(gè) epoch驗(yàn)證集 Dice 卡在 0.5 左右怎么調(diào)學(xué)習(xí)率都沒(méi)用。原因最常見(jiàn)的是標(biāo)簽和預(yù)測(cè)的編碼不一致。比如標(biāo)注文件的背景是 0、目標(biāo)是 1但預(yù)處理時(shí)不小心把目標(biāo)映射成了 255網(wǎng)絡(luò)輸出的 softmax 永遠(yuǎn)學(xué)不到正確的目標(biāo)分布。解決檢查 npz 里 label 數(shù)組的取值集合data np.load(sample.npz) label data[label] print(np.unique(label))如果輸出里有 255記得在nii2npz.py加一句seg (seg 0).astype(np.uint8)做二值化。還有一個(gè)原因是增強(qiáng)了圖像但沒(méi)增強(qiáng)標(biāo)簽導(dǎo)致圖像和標(biāo)注錯(cuò)位比如隨機(jī)翻轉(zhuǎn)時(shí)兩者不一致訓(xùn)練時(shí)增強(qiáng)操作一定要施加同樣的隨機(jī)種子。4.5 TFRecord 解碼時(shí) shape 不匹配現(xiàn)象data_loader.py里tf.reshape(image, shape)報(bào)錯(cuò)提示Cannot reshape a tensor with N elements to shape [...]。原因gettfrecords.py里保存的shape是經(jīng)過(guò)astype(np.int32)的但解碼時(shí)會(huì)變成tf.int32張量如果某個(gè)樣本的尺寸和其他樣本不一致reshape就會(huì)炸。解決在生成 TFRecord 之前強(qiáng)制把所有樣本 resize 到固定尺寸from scipy.ndimage import zoom def resize_to_fixed_shape(img, target(128, 128, 64)): factors (target[0] / img.shape[0], target[1] / img.shape[1], target[2] / img.shape[2]) return zoom(img, factors, order1)order1是線性插值圖像用線性插值沒(méi)問(wèn)題但標(biāo)簽要用最近鄰插值即order0否則會(huì)引入不存在的灰度中間值導(dǎo)致標(biāo)簽類別錯(cuò)亂。這是我踩過(guò)最深的坑之一分享出來(lái)你們就別再踩了。5. 推理與可視化source_segmenter.py 和 plot_3d.py 的正確用法訓(xùn)練完成后真正要交付的是一個(gè)能對(duì)任意輸入做分割的推理腳本。source_segmenter.py封裝了加載模型、預(yù)處理輸入、輸出分割結(jié)果的全流程。5.1 加載模型并對(duì)單個(gè)體數(shù)據(jù)推理source_segmenter.py的大致流程是讀取 NIfTI 文件 → 歸一化到相同尺寸 → 輸入模型 → 得到概率圖 → 用 argmax 得到分割標(biāo)簽 → 保存結(jié)果。import numpy as np import nibabel as nib import tensorflow as tf from scipy.ndimage import zoom def predict_volume(nii_path, model_path, target_size(128, 128, 64)): # 讀取原始影像 img nib.load(nii_path).get_fdata() affine nib.load(nii_path).affine # 重采樣到網(wǎng)絡(luò)輸入尺寸 factors (target_size[0] / img.shape[0], target_size[1] / img.shape[1], target_size[2] / img.shape[2]) img_resized zoom(img, factors, order1) img_resized (img_resized - img_resized.min()) / (img_resized.max() - img_resized.min() 1e-8) # 推理 model tf.keras.models.load_model(model_path, compileFalse) pred model.predict(img_resized[np.newaxis, ..., np.newaxis])[0] label np.argmax(pred, axis-1).astype(np.uint8) # 重采樣回原始尺寸 inv_factors (img.shape[0] / target_size[0], img.shape[1] / target_size[1], img.shape[2] / target_size[2]) label_original zoom(label, inv_factors, order0) # 保存為 NIfTI nib.save(nib.Nifti1Image(label_original, affine), seg_result.nii.gz)zoom(label, inv_factors, order0)這步非常關(guān)鍵預(yù)測(cè)結(jié)果要回到原始圖像坐標(biāo)系才有臨床意義。很多人的分割結(jié)果和原圖對(duì)不上就是因?yàn)橹夭蓸拥皆汲叽鐣r(shí)用了order1把硬標(biāo)簽的邊界模糊掉了或者忘了保存原始 affine 矩陣。5.2 3D 體繪制可視化plot_3d.py用 matplotlib 把分割結(jié)果渲染成 3D 模型方便論文配圖?；居梅ㄊ羌虞d NIfTI 分割結(jié)果用ax.voxels繪制體素import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D import nibabel as nib import numpy as np def plot_3d_mask(mask_path, threshold0.5): mask nib.load(mask_path).get_fdata() threshold fig plt.figure(figsize(10, 8)) ax fig.add_subplot(111, projection3d) ax.voxels(mask, facecolorsred, edgecolork, alpha0.6) ax.set_xlabel(X) ax.set_ylabel(Y) ax.set_zlabel(Z) plt.savefig(seg_3d.png, dpi300)三維體素渲染的數(shù)據(jù)量很大如果 mask 體素超過(guò)百萬(wàn)個(gè)繪制的旋轉(zhuǎn)交互會(huì)變得很卡。一個(gè)辦法是先用scipy.ndimage.binary_erosion做一次形態(tài)學(xué)腐蝕只保留表面體素展示效果幾乎一樣但渲染速度能快上好幾倍。5.3 驗(yàn)證分割效果的幾個(gè)指標(biāo)訓(xùn)練和推理都跑通后評(píng)價(jià)結(jié)果不能只用眼睛看。我一般會(huì)在驗(yàn)證集上算三個(gè)指標(biāo)Dice Similarity Coefficient、Hausdorff Distance 和 IoU。Dice 的公式是 $2|A \cap B| / (|A| |B|)$代碼實(shí)現(xiàn)可以這么寫(xiě)def dice_coefficient(y_true, y_pred): intersection np.sum(y_true * y_pred) return (2.0 * intersection) / (np.sum(y_true) np.sum(y_pred) 1e-8) def iou_score(y_true, y_pred): intersection np.sum(y_true * y_pred) union np.sum(y_true) np.sum(y_pred) - intersection return intersection / (union 1e-8)測(cè)試時(shí)如果 Dice 高但視覺(jué)上邊界粗糙重點(diǎn)查后處理有沒(méi)有做條件隨機(jī)場(chǎng)或連通域過(guò)濾來(lái)去掉孤立的小塊。plot_3d.py里加一個(gè)取最大連通域的步驟往往能讓論文里的結(jié)果圖好看很多from scipy import ndimage def keep_largest_component(mask): labels, num ndimage.label(mask) if num 0: return mask largest np.argmax(np.bincount(labels.ravel())[1:]) 1 return (labels largest).astype(np.uint8)這算是我個(gè)人很常用的美化技巧不算學(xué)術(shù)造假因?yàn)樗サ舻氖悄Ｐ驮肼暜a(chǎn)生的偽影而不是人為擴(kuò)大病灶。每次做完分割我都會(huì)強(qiáng)制跑一遍這個(gè)函數(shù)再進(jìn) 3D 渲染流程。6. 進(jìn)階用法把這套代碼改成你自己的數(shù)據(jù)集這部分寫(xiě)給已經(jīng)跑通源碼、想讓項(xiàng)目更有含金量的人。畢業(yè)設(shè)計(jì)最忌諱直接拿公共數(shù)據(jù)集跑一遍就完事評(píng)委一眼就能看出來(lái)。把別人的代碼遷移到新數(shù)據(jù)上是必須掌握的能力這里給出具體的操作路徑。6.1 從原始 DICOM 到 NIfTI 的處理順序很多醫(yī)院的影像數(shù)據(jù)是 DICOM 格式不是 NIfTI。如果你的數(shù)據(jù)是 DICOM先要用dcm2niix轉(zhuǎn)成 NIfTI這個(gè)工具是免費(fèi)的Windows 和 Linux 都有可用版本。轉(zhuǎn)換完成后再走nii2npz.py的流程dcm2niix -f %p_%s -o ./nifti/ ./dicom_folder/-f指定輸出文件名格式%p是患者 ID%s是序列號(hào)。這一步的關(guān)鍵是確保同一患者的多個(gè)序列比如 T1、T2、FLAIR都有獨(dú)立命名否則后續(xù)配對(duì)標(biāo)注時(shí)會(huì)亂。6.2 標(biāo)簽格式轉(zhuǎn)換與多類別處理醫(yī)學(xué)分割數(shù)據(jù)集的標(biāo)注格式五花八門(mén)有直接給 NIfTI 掩碼的有給 JSON 多邊形坐標(biāo)的還有給指數(shù)化 GIF 的。統(tǒng)一轉(zhuǎn)換成 NIfTI 掩碼最省事。如果標(biāo)注是 JSON 坐標(biāo)用PIL或opencv畫(huà)成掩碼再轉(zhuǎn) NIfTIimport json import numpy as np import nibabel as nib from PIL import Image, ImageDraw def json_polygon_to_mask(json_file, ref_nii_path, save_path): # 從參考圖像讀取尺寸和仿射矩陣 ref nib.load(ref_nii_path) affine ref.affine shape ref.shape[:2] # 假設(shè)是 2D 標(biāo)注 mask np.zeros(shape, dtypenp.uint8) with open(json_file) as f: data json.load(f) for polygon in data[annotations]: img Image.new(L, (shape[1], shape[0]), 0) ImageDraw.Draw(img).polygon(polygon[points], outline1, fill1) mask np.array(img) mask_3d np.stack([mask] * ref.shape[2], axis2) nib.save(nib.Nifti1Image(mask_3d, affine), save_path)如果你的任務(wù)是多器官分割mask里的值要按類別編號(hào)賦值比如肝臟1脾臟2腎臟3。這里最容易錯(cuò)的是坐標(biāo)原點(diǎn)——DICOM 轉(zhuǎn) NIfTI 后圖像的方向矩陣可能與標(biāo)注坐標(biāo)不一致最好先透視一兩層檢查對(duì)齊情況。6.3 數(shù)據(jù)增強(qiáng)策略與訓(xùn)練參數(shù)調(diào)優(yōu)自己數(shù)據(jù)集通常樣本量有限醫(yī)學(xué)圖像更是如此。數(shù)據(jù)增強(qiáng)是防止過(guò)擬合的關(guān)鍵。data_loader.py里已經(jīng)有隨機(jī)翻轉(zhuǎn)但還不夠。我一般會(huì)增加隨機(jī)旋轉(zhuǎn)、隨機(jī)縮放、彈性形變?nèi)齻€(gè)增強(qiáng)def augmented_sample(image, label): # 隨機(jī)旋轉(zhuǎn) 90 度 k tf.random.uniform((), 0, 4, dtypetf.int32) image tf.image.rot90(image, k) label tf.image.rot90(label, k) # 隨機(jī)縮放 0.9~1.1 scale tf.random.uniform((), 0.9, 1.1) new_size tf.cast(tf.shape(image)[:2] * scale, tf.int32) image tf.image.resize(image[..., tf.newaxis], new_size)[..., 0] label tf.image.resize(label[..., tf.newaxis], new_size, methodnearest)[..., 0] # 彈性形變僅圖像 if tf.random.uniform(()) 0.5: image tf.image.random_jpeg_quality(image[..., tf.newaxis], 60, 100)[..., 0] return image, label注意標(biāo)注的resize必須用methodnearest否則插值會(huì)制造新的標(biāo)簽值。旋轉(zhuǎn)角度我用 90 度的整數(shù)倍是因?yàn)?NIfTI 數(shù)據(jù)有時(shí)包含方向信息任意角度旋轉(zhuǎn)會(huì)導(dǎo)致體素間距失真增加額外復(fù)雜度。如果想做小角度旋轉(zhuǎn)建議在預(yù)處理階段先重采樣到各向同性體素比如都重采樣到 1mm3再做任意角度旋轉(zhuǎn)。調(diào)參時(shí)最常見(jiàn)的錯(cuò)誤是照搬config_param.json里的learning_rate0.0001。數(shù)據(jù)量變少時(shí)學(xué)習(xí)率應(yīng)該同步調(diào)低否則前期震蕩嚴(yán)重。我的經(jīng)驗(yàn)200 張以下數(shù)據(jù)集用 0.00005500 張以上可以用 0.0001并配合 ReduceLROnPlateau 回調(diào)動(dòng)態(tài)降低學(xué)習(xí)率。6.4 把項(xiàng)目包裝成完整畢業(yè)設(shè)計(jì)代碼跑通只是第一步畢業(yè)設(shè)計(jì)還要有完整文檔。這套源碼里帶了 README 和文檔說(shuō)明建議你在此基礎(chǔ)上補(bǔ)充三塊一是數(shù)據(jù)預(yù)處理流程圖從原始影像到 TFRecord 每一步的輸入輸出二是網(wǎng)絡(luò)結(jié)構(gòu)圖把layers.py和source_segmenter.py的模型結(jié)構(gòu)畫(huà)出來(lái)三是實(shí)驗(yàn)結(jié)果對(duì)比表至少要對(duì)比「只用 Dice Loss」和「Dice GAN 對(duì)抗損失」在驗(yàn)證集上的指標(biāo)這樣技術(shù)含量立刻不一樣。如果時(shí)間充裕再加一個(gè)簡(jiǎn)單的界面展示用streamlit寫(xiě)一個(gè)上傳 NIfTI 文件、自動(dòng)分割并顯示 3D 結(jié)果的網(wǎng)頁(yè)這幾乎是畢業(yè)設(shè)計(jì)答辯的加分利器。代碼量不大但演示效果非常直觀。我自己做醫(yī)學(xué)圖像相關(guān)項(xiàng)目時(shí)習(xí)慣在每次訓(xùn)練前把git diff打一個(gè)快照防止調(diào)參調(diào)亂后想回退卻找不到原始版本。項(xiàng)目里的.gitignore已經(jīng)幫你把.tfrecord、checkpoints、logs這些大目錄排除掉了從一開(kāi)始就把版本管理用起來(lái)后面會(huì)省很多事。希望這套源碼能幫你把畢設(shè)這條路走得順一些也少熬幾個(gè)通宵。本文還有配套的精品資源點(diǎn)擊獲取