原標題:學界 | 超少量數據訓練神經網路:IEEE論文提出徑向變換實現圖像增強

選自arXiv

參與:李亞洲、黃小天

近日,一篇題為《Training Neural Networks with Very Little Data-A Draft》IEEE 論文提出了一種使用少量數據訓練神經網路的新方法,即通過極坐標空間中的徑向變換(radial transform) 實現圖像增強。它並未改變數據的資訊內容,而是改進了數據的多樣性,並最終提升了神經網路的泛化表現。

論文地址:https://arxiv.org/pdf/1708.04347.pdf

摘要:深度神經網路是由許多節點層組成的複雜架構,結果導致大量需要在訓練中評估的參數,包括權重、偏差等。相比於簡單的架構,更大、更複雜的神經網路需要更多的訓練數據滿足適當的收斂。然而,可用於訓練網路的數據要麼有限、要麼不均衡。我們提出在極坐標空間中的徑向變換(radial transform) 進行圖像增強,從而幫助數據較少的神經網路進行訓練。每像素的坐標變換提供了原始圖像與增強後的數據在極坐標系統中的表徵,且又能增加表徵較弱的圖像類別的多樣性。使用我們提出的方法,在 MNIST 上,以及使用 AlxNet、GoogLeNet 神經網路模型的一系列多模型醫療圖像上的試驗表現出了極高的分類準確率。

學界 | 超少量數據訓練神經網路:IEEE論文提出徑向變換實現圖像增強

圖 1:徑向變換採樣。a)使用徑向變換從笛卡爾坐標系統(左)中把樣本映射到極坐標系統(右)。b)極坐標系統中的徑向變換。c)使用徑向變換篩選 256 × 256 圖像(2D 平面)中的離散樣本。任意選定的極點在像素(170,50)處。d)把 c)中篩選的樣本從極坐標系統映射到笛卡爾坐標系統。紅色樣本表明了樣本從 c)到 d)的映射方向。

學界 | 超少量數據訓練神經網路:IEEE論文提出徑向變換實現圖像增強

圖 2 :來自 MNIST 數據集的樣本和使用極坐標系中的徑向變換 RT(·)的相應表徵。

學界 | 超少量數據訓練神經網路:IEEE論文提出徑向變換實現圖像增強

圖 3:多模態醫療數據集的樣本,以及在極坐標系統中使用徑向變換的相應表徵。

表 4:使用 MNIST 和醫療多模態數據集中的原始和徑向變換圖像訓練的 AlexNet 和 GoogLeNet 模型的收斂行為。術語「RT」是指徑向變換圖像,術語「Original」是指用很少的原始圖像訓練的模型。x 軸表示訓練迭代,左 y 軸表示訓練時的模型損失,右 y 軸表示使用驗證數據集訓練時的模型準確度。

表 1:通過原始和徑向變換的多模態醫療圖像訓練的 AlexNet 和 GoogLeNet 的準確度(「Acc.」in %)和置信度(「Conf.」in %)值。「Abd」是指腹部 MRI,「Std」是標準偏差。黑體部分是最佳結果。

表 2 :通過原始和徑向變換的 MNIST 圖像訓練的 AlexNet 和 GoogLeNet 的準確度(「Acc.」in %)和置信度(「Conf.」in %)值。「Std」是標準偏差。黑體部分是最佳結果。

結論

成功地訓練深度神經網路需要大量均衡的數據。在實踐中,大部分數據集都是不均衡的,或者特定類別的數據集可用的數據有限。在此論文中,我們提出了極坐標系統中的徑向變換來增加數據集中的樣本量,從而幫助對神經網路的訓練。提出的這種數據增強方法並未改變數據的資訊內容,而是改進了數據的多樣性。我們的結果顯示這種方法增加了神經網路的泛化表現,也就是機器學習模型預測未知數據的輸出值的準確率。在非常少的數據上訓練當前最佳的 AlexNet 和 GooLeNet 神經網路模型,表明該方法在整個學習流程中訓練損失和驗證準確率都有極大的波動。

本文為機器之心編譯,轉載請聯繫本公眾號獲得授權

LEAVE A REPLY

Please enter your comment!
Please enter your name here