盡管MNIST是源于NIST數(shù)據(jù)庫的基準(zhǔn)數(shù)據(jù)集，但是導(dǎo)出MNIST的精確處理過程已經(jīng)隨著時(shí)間的推移被人們多遺忘。因此，作者提出了一種足以替代MNIST數(shù)據(jù)集的重建數(shù)據(jù)集，并且它不會(huì)帶來準(zhǔn)確度的降低。作者將每個(gè)MNIST數(shù)字與它在NIST中的源相對(duì)應(yīng)，并得到了更加豐富的元數(shù)據(jù)，如作者標(biāo)識(shí)符、分區(qū)標(biāo)識(shí)符等。作者還重建了一個(gè)完整的MNIST測(cè)試集，其中包含60000個(gè)測(cè)試樣本，而不是通常使用的10000個(gè)樣本。由于多余的50000個(gè)樣本沒有被使用，因此可以用來探究25年來已有的MNIST實(shí)驗(yàn)?zāi)Ｐ驮谠摂?shù)據(jù)集上的測(cè)試效果。

引言

MNIST數(shù)據(jù)集被用作機(jī)器學(xué)習(xí)的基準(zhǔn)集已經(jīng)超過二十年了。在過去的十年中，許多研究者都表示該數(shù)據(jù)集已經(jīng)被過度使用了。特別是它僅有10000個(gè)樣本用于測(cè)試，這引起了不少的關(guān)注。已有數(shù)百篇論文的方法在這個(gè)測(cè)試集上取得越來越好的效果。那這些模型是否在測(cè)試集上過擬合？我們還能相信在這個(gè)數(shù)據(jù)集上得到的新結(jié)論嗎？機(jī)器學(xué)習(xí)的數(shù)據(jù)集多久會(huì)變得無用？

NIST手寫字符集的第一部分已經(jīng)在一年前發(fā)布，它是一個(gè)由2000名人口普查局員工手寫的訓(xùn)練集和500名高中生手寫的更具挑戰(zhàn)性的測(cè)試集。 LeCun、Cortes 和Burges的目標(biāo)是創(chuàng)建一個(gè)具有類似分布的訓(xùn)練集和測(cè)試集。這個(gè)過程生成了兩組60000個(gè)樣本的數(shù)據(jù)集，可能是由于當(dāng)時(shí)電腦計(jì)算這些數(shù)據(jù)集的速度非常慢，他們將測(cè)試集下采樣到僅10000個(gè)樣本，因此多余的50000樣本從未被用于任何的測(cè)試。

本文研究的目的是重建MNIST預(yù)處理算法，以便將每個(gè)MNIST數(shù)字圖追溯到NIST中原始的手寫體。這種重建是基于可用信息，之后通過迭代細(xì)化來提升它的水平。第2節(jié)描述了這個(gè)過程，并計(jì)算了重建樣本與官方MNIST樣本的匹配程度。重建的訓(xùn)練集包含了與原有MNIST訓(xùn)練集相匹配的60000張圖片。類似的，重建的10000張測(cè)試圖片也與MNIST測(cè)試集里面的每張圖片相匹配。剩下的50000張是對(duì)在MNIST中丟失的50000張圖像的重建。

與Recht等人一致，重建這50000張樣本，使得研究人員可以量化官方MNIST測(cè)試集在25年來退化的過程。第3節(jié)比較和討論了在一些知名算法在原始MNIST測(cè)試集、重建MNIST測(cè)試集，以及丟失的50000測(cè)試樣本集上進(jìn)行測(cè)試的性能。本文的實(shí)驗(yàn)結(jié)果在不同數(shù)據(jù)集上驗(yàn)證了Recht et al. [2018, 2019]指出的趨勢(shì)。

重構(gòu)MNIST

圖1：LeCun94年文獻(xiàn)中描述MNIST的處理過程

圖1 顯示的是MNIST創(chuàng)建的過程。作者提到，該描述錯(cuò)誤地描述了數(shù)字圖在hsf4分區(qū)中的位數(shù)，在原始的NIST測(cè)試集中應(yīng)該是58527，而不是58646。這兩段話給出了一個(gè)相對(duì)精確的處理方法，使用它生成的數(shù)據(jù)集比實(shí)際MNIST訓(xùn)練集多了一個(gè)0，少了一個(gè)8。盡管并不匹配，這些類分布是如此相近，以至于hsf4分區(qū)中確實(shí)好像缺少了119位。那么應(yīng)該如何來裁剪128x128的二進(jìn)制NIST圖像？應(yīng)該使用哪種啟發(fā)式算法來忽略不屬于圖片本身的噪聲像素？以及對(duì)于最終的中心坐標(biāo)，應(yīng)該如何四舍五入呢？

本文的初始重建算法是根據(jù)圖1中的描述得到的，但作者在Lush代碼庫里面發(fā)現(xiàn)了另一種重采用的算法，它不是使用雙線性插值或雙三次插值，而是計(jì)算輸入和輸出的精確重疊像素。作者重建的第一個(gè)QMNISTV1與實(shí)際的MNIST非常相似，但是存在著鋸齒圖像，因此作者通過微調(diào)初始中心坐標(biāo)和重采樣算法，得到了QMNISTV2。

圖2：并排顯示MNIST和QMNIST的圖像，其中放大圖說明了重建的圖片是抗鋸齒像素的。

接著，作者又發(fā)現(xiàn)MNIST和QMNIST之間的最小距離L2是一個(gè)較可靠的指標(biāo)，因此作者使用匈牙利算法計(jì)算匹配度，并進(jìn)一步調(diào)整裁剪算法，這樣一步一步迭代調(diào)整，又可以得到QMNISTV3、V4、V5。最終得到了QMNIST。

評(píng)估QMNIST

作者做了一系列實(shí)驗(yàn)來評(píng)估QMNIST與MNIST之間的差距。

表1：在MNIST和QMNIST之間抖動(dòng)像素的四分位數(shù)，L2距離表示一個(gè)像素的差異，L1距離表示像素之間的最大絕對(duì)差。

表2：在沒有平移或+-1像素平移下，MNIST和QMNIST訓(xùn)練圖像標(biāo)齊的數(shù)量

表3：在MNIST和QMNIST訓(xùn)練集上訓(xùn)練LeNet5卷積網(wǎng)絡(luò)，并在MNIST測(cè)試集、QMNIST測(cè)試集和QMNIST新部分上進(jìn)行測(cè)試

重構(gòu)觀察到的結(jié)論

重構(gòu)MNIST，使作者發(fā)現(xiàn)了一些之前未報(bào)道過的關(guān)于MNIST的事情。

1、整個(gè)NIST手寫字符集只有三個(gè)重復(fù)的數(shù)字，其中只有一個(gè)屬于生成MNIST的字段，但被MNIST作者刪除了。

2、MNIST測(cè)試集的前5001張圖片似乎是從高中生（#2350-#2599）寫的圖片中隨機(jī)挑選出來的，接下來的4999張圖片是按順序（#35000-#39998）由48位人工普查局員工（#326-#373）撰寫的，雖然人數(shù)有點(diǎn)少，可能讓人擔(dān)心統(tǒng)計(jì)樣本有問題，但這些圖像比較干凈，幾乎對(duì)總測(cè)試誤差沒有影響。

3、第一個(gè)MNIST訓(xùn)練集樣本中的偶數(shù)圖像與高中學(xué)生所寫的數(shù)字完全匹配，其余圖像是NIST圖像#0到#30949的順序。這意味著在連續(xù)的mini-batch的MNIST訓(xùn)練圖像中，圖像可能是同一人寫的。因此作者建議在minibatch中，打亂訓(xùn)練集。

4、28x28MNIST圖像的中心點(diǎn)存在舍入誤差。事實(shí)中，MNIST數(shù)字的平均中心原理圖像幾何中心至少半個(gè)像素。這很重要，因?yàn)槭褂谜_的圖像進(jìn)行訓(xùn)練，然后在MNIST上進(jìn)行測(cè)試，可能會(huì)使模型性能下降很多。

5、MNIST重采樣代碼中的缺陷會(huì)在粗字符的暗區(qū)域產(chǎn)生低幅周期性的圖像。這在Lush代碼中仍然可見，這些模式的周期取決于傳遞給重采樣代碼的輸入和輸出圖像的相對(duì)大小。

6、關(guān)于將二次采樣圖像的連續(xù)值像素轉(zhuǎn)換為整數(shù)值像素有一些奇怪的事情。我們當(dāng)前的代碼將每個(gè)圖像中觀察到的范圍線性映射到區(qū)間【0.0,255.0】，之后四舍五入到最接近的整數(shù)。然而，像素比較直方圖顯示MNIST值128的像素更多，值255的像素更少。

圖3：像素直方圖對(duì)比，紅色為MNIST，藍(lán)色為QMNIST。

泛化性能評(píng)估

本節(jié)是利用未用的50000個(gè)樣本，來重新審視已經(jīng)報(bào)道過的一些論文結(jié)論。Recht等人對(duì)CIFAR10和ImageNet有類似的研究。作者使用了三個(gè)測(cè)試集：MNIST測(cè)試集（10000張）、重建的QMNIST測(cè)試集（10000張，QMNIST10），以及重建的未用的50000張測(cè)試集（QMNIST50）。在MNIST訓(xùn)練集上，類似地，我們使用TQTM、TQTQ10和TQTQ50來表示結(jié)果。這些數(shù)據(jù)都沒有使用數(shù)據(jù)增強(qiáng)。作者使用了KNN、SVM、MLP、Lenet5等方法。

總結(jié)

作者重構(gòu)了MNIST數(shù)據(jù)集，不僅是重新溯源到NIST源圖像和相關(guān)元數(shù)據(jù)，還重構(gòu)了原始MNIST測(cè)試集，包括從未發(fā)布的50000個(gè)測(cè)試樣本。經(jīng)過長時(shí)間的研究，作者的發(fā)現(xiàn)與Recht等人的成果一致。所有這些結(jié)果都表明“測(cè)試集腐爛”問題確實(shí)存在，但遠(yuǎn)遠(yuǎn)沒有研究者擔(dān)心的那么嚴(yán)重，重復(fù)使用相同測(cè)試集會(huì)影響性能，但它同樣有利于模型選擇。