近日，一篇來自德國癌癥研究中心、海德堡大學以及海德堡大學醫院研究人員的名為nnU-Net的醫學影像分割論文引起了廣泛關注。
該團隊提出了一個可以自適應任何新數據集的醫學影像分割框架，該框架能根據給定數據集的屬性自動調整所有超參數，整個過程無需人工干預。僅僅依賴于樸素的U-Net結構和魯棒的訓練方案，nnU-Net在六個得到公認的分割挑戰中實現了最先進的性能。
摘要
在數據集的多樣性的推動下，語義分割是醫學圖像分析中的一個熱門子領域，每年都會有大量的新方法提出。然而，這種不斷增長的錯綜復雜的方法變得越來越難以捉摸。同時，許多提出的方法未能在提出的論文之外進行推廣，從而妨礙了在新數據集上開發分割算法的過程。
在這里，我們提出了nnU-Net （'no-new-Net'）——一個自適應任何給定新數據集的框架。雖然到目前為止這個過程完全由人為驅動，但我們首先嘗試根據給定數據集的屬性自動執行必要的調整，例如數據預處理、圖像分塊大小、批量大小和推理設置。
值得注意的是，nnU-Net去掉了在學界提出的花哨的網絡結構，而僅僅依賴于嵌入在魯棒的訓練方案中的樸素U-Net結構。nnU-Net在六個得到公認的的分割挑戰中實現了最先進的性能。
介紹
語義分割仍然是醫學圖像計算領域的一個熱門研究課題，70％的國際競賽都是圍繞著它展開。引起持久關注的重要原因當然是醫學領域中遇到的成像數據集的多樣性和個體特性：數據集之間的數據規模、圖像維度、圖像大小、體素灰度范圍和灰度表示方面差別很大。
圖像中的類標簽可能高度不平衡，也可能不明確，而且數據集之間標注質量的差別也很大。此外，某些數據集在圖像幾何形狀方面非常不均勻，或者可能出現片層不對齊和極不均勻的間距的情況?？偠灾?，這些情況使得將一項任務的結果推廣到其他任務變得更加困難，并且當重新應用這些方法來解決另一個問題時，它們往往會失敗。
調整設計決策或提出新設計概念的過程是復雜的：大多數選擇高度依賴于彼此，證明選擇的證據分布在無數的論文中，其中包括許多“噪音”。所以，近年來學者們提出了大量的分割方法。一個突出的例子是：U-Net這樣的帶跳過連接的解碼-編碼結構的各種變體，包括引入殘差連接、密集連接、注意力機制、額外輔助的損失層、特征重新校準和其他(如自動聚焦層)。
具體的修改彼此大不相同，但是它們都在網絡結構修改上有一個特別的關注點。考慮到大量與分割相關的論文，以及具體實現的多樣性以及數據集相關的挑戰，越來越難以遵循這些文獻來確定哪些設計原則真正地在實驗之外得到了推廣驗證。根據我們自己的經驗，許多新的設計概念并沒有提升分割性能，有時甚至損害了基線的性能。
當今醫學圖像計算的一個關鍵問題是將（分割）方法應用于新問題的過程完全由人為驅動。它基于經驗，論文主要關注網絡結構，而略過所有其他超參數?；€方法次優調整通常通過新結構的提出來進行補償。 由于超參數空間中的強依賴性和大量的局部最小值，使得將方法更好地適應新問題變得非常困難，因此在這個循環中的任何人都不能真正地被指責。這種情況對研究人員和整個學術圈來說都是令人沮喪的。特別是在數據集如此多樣化的醫學成像領域，進展在很大程度上取決于我們解決這些問題的能力。
本文試圖朝這個方向邁出第一步：我們提出了no-new-Net（nnU-Net），一種包含自動適應新數據集的分割方法?；趯祿淖詣臃治?，nnU-Net自動設計并執行網絡訓練流程。圍繞標準的 U-Net網絡結構，我們假定通過給定的一組系統且謹慎選擇的超參數的分割方法仍將產生有競爭力的性能。實際上，在沒有任何手動微調的情況下，該方法在幾個有名的醫學分割基準上實現了最先進的性能。
方法
分割算法可以形式化為函數fθ(x)= y?，其中x是圖像，y?是相應的預測分割，θ 是訓練和應用該方法所需的超參數集合。θ 的維度可以非常大，包括了從預處理到推理的整個流程。許多已有論文通常側重于報告和證實關于θ 的最相關的選擇，理想情況下會提供源代碼以完全覆蓋θ。但是，如果轉換到具有不同屬性的新數據集，則此過程缺乏對如何調整θ 的深入了解。 在這里，我們首次嘗試將此過程形式化。
具體來說，我們尋找在數據集之間很好地推廣的函數g(X, Y)=θ。在第一步中，需要識別那些不需要調整的超參數，在我們的例子中，這些超參數反映了一個強大但簡單的分割體系和一個魯棒的訓練方案，這些影響因素都是動態的，需要根據X和Y作出相應改變的。
在第二步中，我們定義動態參數g，在我們的例子中是一組啟發式規則，以用于調整規范化和重采樣方案，配置圖像分塊大小和批量大小以及計算網絡的具體結構，其包括網絡集成和推理方法。總而言之，nnU-Net是一個可以在沒有任何用戶交互的情況下適應不同未見過數據集的分割框架。
2.1 預處理
圖像標準化
這一步驟需要輸入數據的模態信息。如果模態不是CT，則nnU-Net通過減去平均值并除以標準差來標準化強灰度值。如果模態是CT，則自動地根據訓練集分割前景區域灰度分布的0.5％到99.5％執行強灰度值的類似窗位的剪切。為了符合典型的權重初始化方法，使用全局前景均值和標準偏差對數據進行歸一化。
體素間距
nnU-Net會統計訓練數據中的所有間距，并且選擇每個軸的中值間距作為目標間距。然后使用三階樣條插值對所有訓練集進行重采樣。各向異性間距（這里特指平面外間距比平面內間距大三倍以上的情況）會引起插值偽影。在這種情況下，我們使用最近鄰完成平面外插值。對于相應的每一類分割標簽，則使用線性插值來進行重采樣。
2.2 訓練步驟
網絡結構
三個U-net模型（2D U-Net、3D U-Net和兩個3D U-Net模型的級聯方式）彼此獨立配置、設計和訓練。在兩個3D U-Net模型的級聯構架下，其第一個模型產生低分辨率分割結果，隨后由第二個模型進行下一步細化。相對于原始的U-Net網絡，我們只進行了下面三個改變：其一是使用帶邊緣填充的卷積操作來實現輸出和輸入形狀的一致，其二是使用實例歸一化，其三是使用Leaky ReLUs代替ReLUs。
網絡超參數
這些參數需要根據預處理的訓練數據的形狀來調整。具體來說，nnU-Net自動設置批量大小，圖像分塊大小和每個軸的pooling次數，使得顯存消耗保持在特定范圍（12 GB TitanXp GPU）內。在這一步中，較大的h圖像分塊大小優先于批量大小（最小批量大小為2），以獲取更多的空間上下文信息。每個軸的大小會pooling到4個體素以下。所有U-Net結構在第一層使用30個卷積濾波器，并在每個pooling操作時將此數量加倍。如果在典型case中所選擇的圖像分塊大小覆蓋的體素少于25％，則會使用下采樣的數據訓練級聯的3D U-Net。級聯旨在當圖像分塊大小太小而無法覆蓋整個分辨率，使nnU-Net仍能獲得足夠的上下文。
網絡訓練
所有U-Net結構都經過五折交叉驗證訓練。每輪設置250個小批量。使用交叉熵損失和Dice損失之和作為損失函數。使用Adam作為優化器，初始學習率為 3×10?4 ，l2 權重衰減為 3×10?5。每當訓練損失的指數移動平均值在最近30個時期內沒有改善時，學習率下降0.2倍。當學習率低于 10?6 或超過1000個訓練輪數時，停止訓練。我們使用batchgenerators 框架在訓練期間進行在線數據增強。具體地，我們使用彈性變形、隨機縮放和隨機旋轉以及gamma增強。如果數據是各向異性的，則在平面內進行2D的空間變換。
2.3 推理
使用滑動窗口方法預測每個Case，其中重疊區域設置為圖像分塊大小的一半。這增加了靠近中心區域的預測的權重。通過沿所有軸翻轉來進行測試數據增強。
nnU-Net集成由兩個U-Net組合而成(2D、3D和cascade)，并根據交叉驗證結果自動選擇用于測試集預測的最佳模型或集成。更進一步，nnU-Net還使用交叉驗證產生的五個模型進行集成。
結果
nnU-Net最初是在醫學分割十項全能挑戰賽Decathlon的第一階段的七個訓練數據集上開發的。挑戰賽數據集涵蓋了醫學分割問題中通常遇到的大量差異性和挑戰。nnU-Net在醫學十項全能分割挑戰賽（第一階段和第二階段）以及另外五個流行的醫學分割挑戰進行了評估。所有挑戰賽結果如表格1所示。
圖1所示：nnU-Net在各個醫學分割數據測試集的性能。所有的排行榜提交都被繪制在上圖（截止到19年3月25日)。Decathlon, LiTS, ACDC and BCV的數值為Dice得分，MS lesion和PROMISE12使用了不同的指標。
醫學分割十項全能（Decathlon）
該挑戰的第一階段包括上述七個數據集，參與者使用這些數據集來開發可推廣的分割算法。在第二階段，提供了以前未知的三個其他數據集。算法不進行進一步更改或用戶交互應用于這些數據集。兩個階段的評估都是在官方測試集上完成的。在第一階段和第二階段，nnU-Net在十項全能挑戰上有明顯的優勢。
心臟分割挑戰賽（ACDC）
每個心臟的cine-MRI圖像的兩個時期被分割成三個部分。挑戰賽提供了100個訓練案例，每個案例有兩個時期。我們手動拆分nnU-Nets的數據進行五折交叉驗證運行。nnU-Net在開放式排行榜中取得了第一名（基于50個測試用例），并在此數據集上達到了state-of-the art。
縱向多發性硬化病變分割挑戰
任務是在MRI圖像中分割多發性硬化癥。提供了5名患者，每名患者有4-5個時間點（總共21個時間點），有兩個評估者，每個時間點提供了注釋。我們將每個評估者視為一個單獨的訓練集，并手動拆分訓練案例以確?；颊叻謱?。在測試集中，nnU-Net在163份提交中排名第5，得分為93.09，僅落后于范德比爾特大學的四份提交結果，其中最高分為93.21。
PROMISE12
任務是在各向異性的MRI圖像中分割前列腺。提供了50個帶標注的訓練案例和30個未標記的測試案例。nnU-Net的測試集得分為89.08，在總共290份提交中排名第11（第一名：89.59）。
LiTS
肝腫瘤分割的挑戰由131個訓練圖像（CT）和70個測試用例組成。對于訓練病例，提供了肝臟和肝臟腫瘤的分割。nnU-Net在病變和肝臟上的Dice評分分別為0.725和0.958。通過移除最大連通前景區域以外的所有區域進行后處理將Dice得分提高到0.738和0.960，在開放的排行榜病變分割的Dice評分達到了state of the art，并且肝臟分割在123支隊伍排名第17位（第一名：0.966）。
Beyond the Cranial Vault Challenge (Abdomen)
這個數據集的任務是在腹部CT圖像中分割13個器官。挑戰提供了30個帶標注的訓練圖像和20個測試圖像。nnU-Net 在這個數據集上達到了state of the art，平均Dice得分為88.1％，比第二名高出3個點（排行榜共有43個提交）。具體地，nnU-Net在13種器官中的11種得分最高。
表格2顯示了為驗證nnU-Net中的選擇而設計進行的消融研究。所有實驗均在Decathlon第一階段的代表性數據集上使用相同的數據劃分進行的。這些結果一方面表明我們應該修改使用Leaky ReLUs，另一方面驗證了我們選擇的實例規范化、數據增強和損失函數的效果。
圖2所示。 nnU-Net設計選擇的消融實驗。 使用訓練數據的一部分和3D U-Net對來自Decathlon的代表性數據集進行實驗。 nnU-Net的數值代表平均前景Dice分數（例如肝臟數據集的肝臟和腫瘤篩子系數的平均值），消融研究的值代表Dice分數百分比的變化。
討論
我們介紹了nnU-Net，一個可以自動適應任何給定數據集而無需用戶干預的醫學分割框架。據我們所知，nnU-Net是第一個嘗試形式化數據集之間需要進行的必要調整的分割框架。nnU-Net在六個公開的分割挑戰中實現了最先進的性能。這是非常了不起的，因為nnU-Net不依賴于近年來提出的各種復雜的分割結構，而只依賴于簡單的U-Net結構。必須強調的是，我們沒有在挑戰數據集之間手動調整超參數，所有設計選擇都是由nnU-Net自動確定的。更令人驚訝的是，它在一部分數據集上超過其他專門手動設計的算法。
nnU-Net包括一些通用的固定設計選擇，如U-Net結構、Dice損失、數據增強和模型集成，以及由一組遵循我們的分割經驗的規則確定的一些動態設計選擇。雖然，使用此類規則可能不是解決此問題的最佳方法。通過給定更多的數據集，未來的工作可能會嘗試從數據集的屬性中直接學習這些規則。雖然nnU-Net的選擇可以在多個數據集中實現強大的分割性能，但這并不意味著我們已找到全局最優的配置。
事實上，從表格2所示的消融實驗可以看出， Leaky ReLU替換ReLU的選擇并沒有影響性能，我們的數據增強方案可能并不適用于所有數據集，后處理也有待于進一步的研究。我們在LiTS的結果表明，正確選擇的后處理可能是有益的。這種后處理可以通過分析訓練數據或通過基于交叉驗證結果選擇方案來自動化。這種自動化的嘗試在進行Decathlon挑戰賽時nnU-Net初始版本的一部分，但后來由于不能持續改進結果而被丟棄。
現在我們已經建立了迄今為止最強大的U-Net baseline，我們可以系統地評估更先進的網絡設計的通用性以及相對于此處采用的普通架構的性能提升。因此，nnU-Net不僅可以用作開箱即用的分割工具，還可以用作未來醫學分割相關發表論文的強大U-Net baseline和平臺。