1.2.1. 數據

不用說，沒有數據就無法進行數據科學。我們可能會浪費數百頁來思考數據到底是什么，但現在，我們將專注于我們將關注的數據集的關鍵屬性。通常，我們關注示例的集合。為了有效地處理數據，我們通常需要提出合適的數字表示。每個示例（或數據點、數據實例、樣本）通常由一組稱為特征的屬性（有時稱為協變量或 輸入)，模型必須基于此做出預測。在監督學習問題中，我們的目標是預測一個特殊屬性的值，稱為標簽（或目標），它不是模型輸入的一部分。

如果我們處理的是圖像數據，則每個示例都可能包含一張單獨的照片（特征）和一個指示照片所屬類別的數字（標簽）。照片將以數字方式表示為三個數值網格，代表每個像素位置的紅光、綠光和藍光的亮度。例如，一個\(200\times 200\)彩色照片將包括\(200\times200\times3=120000\)數值。

或者，我們可以使用電子健康記錄數據來處理預測給定患者在接下來 30 天內存活的可能性的任務。在這里，我們的特征可能包括一組現成的屬性和經常記錄的測量值，包括年齡、生命體征、合并癥、當前藥物治療和最近的程序。可用于訓練的標簽將是一個二進制值，指示歷史數據中的每個患者是否在 30 天窗口內存活。

在這種情況下，當每個示例都具有相同數量的數字特征時，我們說輸入是固定長度的向量，我們將向量的（恒定）長度稱為數據的維度。正如您想象的那樣，固定長度的輸入可能很方便，讓我們不必擔心那么復雜。但是，并非所有數據都可以輕松表示為固定長度向量。雖然我們可能期望顯微鏡圖像來自標準設備，但我們不能期望從 Internet 中提取的圖像都以相同的分辨率或形狀顯示。對于圖像，我們可能會考慮將它們全部裁剪為標準尺寸，但該策略只能讓我們走到這一步。我們冒著丟失裁剪部分信息的風險。此外，文本數據更頑固地抵制固定長度的表示。考慮在亞馬遜、IMDb 和 TripAdvisor 等電子商務網站上留下的客戶評論。有些很短：“它很臭！”。其他人漫不經心地尋找頁面。與傳統方法相比，深度學習的一大優勢是現代模型可以相對優雅地處理變長數據。

通常，我們擁有的數據越多，我們的工作就越容易。當我們擁有更多數據時，我們可以訓練更強大的模型，減少對先入為主的假設的依賴。從（相對）小數據到大數據的機制變化是現代深度學習成功的主要貢獻者。為了說明這一點，深度學習中許多最令人興奮的模型如果沒有大型數據集就無法工作。其他一些在小數據領域工作，但并不比傳統方法好。

最后，擁有大量數據并巧妙地處理數據是不夠的。我們需要正確的數據。如果數據充滿錯誤，或者如果所選特征不能預測感興趣的目標數量，學習就會失敗。陳詞濫調很好地描述了這種情況：垃圾進，垃圾出. 此外，糟糕的預測性能并不是唯一的潛在后果。在機器學習的敏感應用中，例如預測性監管、簡歷篩選和用于貸款的風險模型，我們必須特別警惕垃圾數據的后果。一種常見的故障模式發生在訓練數據中沒有代表某些人群的數據集中。想象一下，在以前從未見過黑色皮膚的野外應用皮膚癌識別系統。當數據不僅不能充分代表某些群體而且反映了社會偏見時，也可能會失敗。例如，如果過去的招聘決定被用來訓練一個用于篩選簡歷的預測模型，那么機器學習模型可能會無意中捕捉到歷史上的不公正現象并將其自動化。

1.2.2. 楷模

大多數機器學習都涉及在某種意義上轉換數據。我們可能想要構建一個系統來攝取照片并預測笑臉。或者，我們可能想要獲取一組傳感器讀數并預測讀數的正常與異常程度。按 型號，我們表示用于攝取一種類型的數據并吐出可能不同類型的預測的計算機器。特別是，我們對可以從數據中估計的統計模型感興趣。雖然簡單的模型完全能夠解決適當的簡單問題，但我們在本書中關注的問題超出了經典方法的局限性。深度學習與經典方法的區別主要在于它關注的一組強大模型。這些模型由許多連續的數據轉換組成，這些數據從上到下鏈接在一起，因此得名深度學習。在討論深度模型的過程中，我們還將討論一些更傳統的方法。

1.2.3. 目標函數

早些時候，我們將機器學習介紹為從經驗中學習。通過 在這里學習，我們的意思是隨著時間的推移在某些任務上有所改進。但是誰能說什么是改進呢？您可能會想象我們可以提議更新我們的模型，而有些人可能不同意提議的更新是改進還是下降。

為了開發一個正式的學習機器數學系統，我們需要對我們的模型有多好（或多壞）有正式的衡量標準。在機器學習和更一般的優化中，我們稱這些 為目標函數。按照慣例，我們通常將目標函數定義為越低越好。這只是一個慣例。您可以采用任何越高越好的函數，并通過翻轉符號將其轉換為質量相同但越低越好的新函數。因為越低越好，這些函數有時被稱為損失函數。

當嘗試預測數值時，最常見的損失函數是平方誤差，即預測值與真實目標之間的差值的平方。對于分類，最常見的目標是最小化錯誤率，即我們的預測與基本事實不一致的示例部分。一些目標（例如，平方誤差）易于優化，而其他目標（例如，錯誤率）由于不可微性或其他復雜性而難以直接優化。在這些情況下，通常會優化替代目標。

在優化過程中，我們將損失視為模型參數的函數，并將訓練數據集視為常數。我們通過最小化由為訓練收集的一些示例組成的集合所產生的損失來學習模型參數的最佳值。然而，在訓練數據上做得很好并不能保證我們在看不見的數據上也會做得很好。因此，我們通常希望將可用數據分成兩個部分：訓練數據集（或訓練集），用于學習模型參數；和測試數據集（或測試集), 用于評估。在一天結束時，我們通常會報告我們的模型在兩個分區上的表現。您可以將培訓績效視為類似于學生在用于準備某些實際期末考試的練習考試中取得的分數。即使結果令人鼓舞，也不能保證在期末考試中取得成功。在學習過程中，學生可能會開始背誦練習題，看似掌握了主題，但在面對實際期末考試中以前沒見過的問題時卻步履蹣跚。當一個模型在訓練集上表現良好但無法泛化到看不見的數據時，我們說它對訓練數據過度擬合。

1.2.4. 優化算法

一旦我們獲得了一些數據源和表示、模型和定義明確的目標函數，我們就需要一種能夠搜索最佳參數以最小化損失函數的算法。流行的深度學習優化算法基于一種稱為梯度下降的方法。簡而言之，在每個步驟中，此方法都會檢查每個參數，以查看如果您對該參數進行少量擾動，訓練集損失將以何種方式移動。然后它在降低損失的方向上更新參數。

1.3.1. 監督學習

監督學習描述的任務是給定一個包含特征和標簽的數據集，并負責生成一個模型來預測給定輸入特征的標簽。每個特征-標簽對稱為一個示例。有時，當上下文清楚時，我們可以使用術語示例引用一組輸入，即使相應的標簽未知。監督發揮作用是因為為了選擇參數，我們（監督者）為模型提供了一個由標記示例組成的數據集。在概率方面，我們通常對估計給定輸入特征的標簽的條件概率感興趣。雖然它只是機器學習中的幾種范式之一，但監督學習占機器學習在工業中的大部分成功應用。部分原因是，許多重要任務可以清晰地描述為在給定一組特定的可用數據的情況下估計未知事物的概率：

• 根據計算機斷層掃描圖像預測癌癥與非癌癥。

• 給出英語句子，預測正確的法語翻譯。

• 根據本月的財務報告數據預測下個月的股票價格。

雖然所有監督學習問題都被簡單描述“預測給定輸入特征的標簽”所捕獲，但監督學習可以采取多種形式并需要大量建模決策，具體取決于（除其他考慮因素外）輸入的類型、大小和數量和輸出。例如，我們使用不同的模型來處理任意長度的序列和處理固定長度的向量表示。我們將在本書中深入探討其中的許多問題。

非正式地，學習過程如下所示。首先，獲取大量特征已知的示例，并從中隨機選擇一個子集，為每個示例獲取真實標簽。有時這些標簽可能是已經收集到的可用數據（例如，患者是否在下一年內死亡？），而其他時候我們可能需要使用人工注釋器來標記數據（例如，將圖像分配給類別）。這些輸入和相應的標簽一起構成了訓練集。我們將訓練數據集輸入監督學習算法，該算法將數據集作為輸入并輸出另一個函數：學習模型。最后，我們可以將以前看不見的輸入提供給學習模型，使用其輸出作為相應標簽的預測。圖 1.3.1。

圖 1.3.1監督學習。