PyTorch教程14.1之圖像增強

2079000 2023-06-05 | pdf | 0.23 MB | 次下載 | 免費

資料介紹

在8.1 節中，我們提到大型數據集是深度神經網絡在各種應用中取得成功的先決條件。圖像增強在對訓練圖像進行一系列隨機變化后生成相似但不同的訓練示例，從而擴大了訓練集的大小。或者，圖像增強的動機可能是訓練示例的隨機調整允許模型減少對某些屬性的依賴，從而提高它們的泛化能力。例如，我們可以通過不同的方式裁剪圖像，使感興趣的對象出現在不同的位置，從而減少模型對對象位置的依賴。我們還可以調整亮度和顏色等因素，以降低模型對顏色的敏感度。圖像增強對于當時 AlexNet 的成功來說可能是不可或缺的。在本節中，我們將討論這種在計算機視覺中廣泛使用的技術。

						%matplotlib inline
import torch
import torchvision
from torch import nn
from d2l import torch as d2l

						 

						%matplotlib inline
from mxnet import autograd, gluon, image, init, np, npx
from mxnet.gluon import nn
from d2l import mxnet as d2l

npx.set_np()

						 

14.1.1。常見的圖像增強方法

在我們對常見圖像增強方法的研究中，我們將使用以下方法400×500形象一個例子。

							d2l.set_figsize()
img = d2l.Image.open('../img/cat1.jpg')
d2l.plt.imshow(img);

							 

https://file.elecfans.com/web2/M00/A9/CC/poYBAGR9OwuAfxQ9AAHybXAM-vQ446.svg

							d2l.set_figsize()
img = image.imread('../img/cat1.jpg')
d2l.plt.imshow(img.asnumpy());

							 

大多數圖像增強方法都具有一定的隨機性。為了方便我們觀察圖像增強的效果，接下來我們定義一個輔助函數apply。aug此函數在輸入圖像上多次運行圖像增強方法img 并顯示所有結果。

							def apply(img, aug, num_rows=2, num_cols=4, scale=1.5):
  Y = [aug(img) for _ in range(num_rows * num_cols)]
  d2l.show_images(Y, num_rows, num_cols, scale=scale)

							 

							def apply(img, aug, num_rows=2, num_cols=4, scale=1.5):
  Y = [aug(img) for _ in range(num_rows * num_cols)]
  d2l.show_images(Y, num_rows, num_cols, scale=scale)

							 

14.1.1.1。翻轉和裁剪

左右翻轉圖像通常不會改變對象的類別。這是最早和最廣泛使用的圖像增強方法之一。接下來，我們使用該transforms模塊創建實例RandomHorizontalFlip，它以 50% 的幾率左右翻轉圖像。

								apply(img, torchvision.transforms.RandomHorizontalFlip())

								 

https://file.elecfans.com/web2/M00/AA/47/pYYBAGR9OxCAR_h_AAKgwdZBIlU089.svg

上下翻轉不像左右翻轉那樣常見。但至少對于這個示例圖像，上下翻轉并不妨礙識別。接下來，我們創建一個RandomVerticalFlip實例，以 50% 的幾率上下翻轉圖像。

								apply(img, torchvision.transforms.RandomVerticalFlip())

								 

https://file.elecfans.com/web2/M00/A9/CC/poYBAGR9OxOAa0bRAAKhFWS9J2s477.svg

Flipping the image left and right usually does not change the category of the object. This is one of the earliest and most widely used methods of image augmentation. Next, we use the transforms module to create the RandomFlipLeftRight instance, which flips an image left and right with a 50% chance.

								apply(img, gluon.data.vision.transforms.RandomFlipLeftRight())

								 

https://file.elecfans.com/web2/M00/AA/47/pYYBAGR9OxeAbSsbAAKgwXaeKZI169.svg

Flipping up and down is not as common as flipping left and right. But at least for this example image, flipping up and down does not hinder recognition. Next, we create a RandomFlipTopBottom instance to flip an image up and down with a 50% chance.

								apply(img, gluon.data.vision.transforms.RandomFlipTopBottom())

								 

https://file.elecfans.com/web2/M00/A9/CC/poYBAGR9OxmAStjwAAKhFd5H4m4670.svg

在我們使用的示例圖像中，貓位于圖像的中間，但一般情況下可能并非如此。在7.5 節中，我們解釋了池化層可以降低卷積層對目標位置的敏感性。此外，我們還可以隨機裁剪圖像，讓物體以不同的尺度出現在圖像中的不同位置，這樣也可以降低模型對目標位置的敏感度。

在下面的代碼中，我們隨機裁剪一個面積為 10%～100%每次都是原始區域的大小，這個區域的寬高比是隨機選擇的 0.5～2. 然后，該區域的寬度和高度都縮放為 200 像素。除非另有說明，之間的隨機數a和b本節中指的是從區間中隨機均勻采樣得到的連續值 [a,b].

								shape_aug = torchvision.transforms.RandomResizedCrop(
  (200, 200), scale=(0.1, 1), ratio=(0.5, 2))
apply(img, shape_aug)

								 

https://file.elecfans.com/web2/M00/AA/47/pYYBAGR9OxyAUqxIAAMIQfFRxQw242.svg

								shape_aug = gluon.data.vision.transforms.RandomResizedCrop(
  (200, 200), scale=(0.1, 1), ratio=(0.5, 2))
apply(img, shape_aug)

								 

https://file.elecfans.com/web2/M00/AA/47/pYYBAGR9Ox-AdQaOAAMM3Un8law899.svg

14.1.1.2。改變顏色

另一種增強方法是改變顏色。我們可以改變圖像顏色的四個方面：亮度、對比度、飽和度和色調。在下面的示例中，我們將圖像的亮度隨機更改為 50% (1?0.5) 和 150% (1+0.5) 的原始圖像。

								apply(img, torchvision.transforms.ColorJitter(
  brightness=0.5, contrast=0, saturation=0, hue=0))

https://file.elecfans.com/web2/M00/AA/47/pYYBAGR9OyOAOS8JAAKBDXaQiH4973.svg

								apply(img, gluon.data.vision.transforms.RandomBrightness(0.5))

								 

https://file.elecfans.com/web2/M00/A9/CC/poYBAGR9OyaAHswFAAKTRSHZWWM350.svg

同樣，我們可以隨機改變圖像的色調。

								apply(img, torchvision.transforms.ColorJitter(
  brightness=0, contrast=0, saturation=0, hue=0.5))

https://file.elecfans.com/web2/M00/AA/47/pYYBAGR9OyiAKZ5XAAKgBf48WXw811.svg

								apply(img, gluon.data.vision.transforms.RandomHue(0.5))

								 

https://file.elecfans.com/web2/M00/AA/47/pYYBAGR9OyuAPyxyAAKjNZd5bQw461.svg

我們也可以創建一個RandomColorJitter實例，同時設置如何隨機改變圖片的brightness, contrast, saturation, 。hue

								color_aug = torchvision.transforms.ColorJitter(
  brightness=0.5, contrast=0.5, saturation=0.5, hue=0.5)
apply(img, color_aug)

								 

https://file.elecfans.com/web2/M00/AA/47/pYYBAGR9Oy2AE_XgAAJd2aug_jE886.svg

								color_aug = gluon.data.vision.transforms.RandomColorJitter(
  brightness=0.5, contrast=0.5, saturation=0.5, hue=0.5)
apply(img, color_aug)

								 