在前面的部分中，我們完成了機器學習的一些實踐應用，將模型擬合到各種數據集。然而，我們從未停下來思考數據最初來自何處，或者我們最終計劃如何處理模型的輸出。很多時候，擁有數據的機器學習開發人員急于開發模型而沒有停下來考慮這些基本問題。

許多失敗的機器學習部署都可以追溯到這種模式。有時，根據測試集的準確性衡量，模型似乎表現出色，但當數據分布突然發生變化時，部署就會出現災難性的失敗。更陰險的是，有時模型的部署本身就是擾亂數據分布的催化劑。舉例來說，我們訓練了一個模型來預測誰將償還貸款與違約貸款，發現申請人選擇的鞋類與違約風險相關（牛津鞋表示還款，運動鞋表示違約）。此后，我們可能傾向于向所有穿著牛津鞋的申請人提供貸款，而拒絕所有穿著運動鞋的申請人。

在這種情況下，我們從模式識別到決策制定的考慮不周的飛躍以及我們未能批判性地考慮環境可能會產生災難性的后果。首先，一旦我們開始根據鞋類做出決定，客戶就會了解并改變他們的行為。不久之后，所有的申請者都會穿著牛津鞋，而信用度卻沒有任何同步提高。花一點時間來消化一下，因為類似的問題在機器學習的許多應用中比比皆是：通過將我們基于模型的決策引入環境，我們可能會破壞模型。

雖然我們不可能在一個部分中對這些主題進行完整的處理，但我們的目的是在此揭露一些常見的問題，并激發早期發現這些情況、減輕損害和負責任地使用機器學習所需的批判性思維。有些解決方案很簡單（要求“正確的”數據），有些在技術上很困難（實施強化學習系統），而另一些則需要我們完全走出統計預測的領域，解決有關倫理的哲學難題算法的應用。

4.7.1. 分配轉移的類型

首先，考慮到數據分布可能發生變化的各種方式以及可以采取哪些措施來挽救模型性能，我們堅持使用被動預測設置。在一個經典設置中，我們假設我們的訓練數據是從某個分布中采樣的 pS(x,y)但是我們的測試數據將由來自不同分布的未標記示例組成 pT(x,y). 我們已經必須面對一個發人深省的現實。沒有關于如何做的任何假設pS和pT相互關聯，學習一個魯棒的分類器是不可能的。

考慮一個二元分類問題，我們希望區分狗和貓。如果分布可以以任意方式移動，那么我們的設置允許輸入分布保持不變的病態情況：pS(x)=pT(x)，但標簽都被翻轉了： pS(y∣x)=1?pT(y∣x). 換句話說，如果上帝可以突然決定未來所有的“貓”現在都是狗，而我們以前所說的“狗”現在是貓——投入的分配沒有任何變化p(x)，那么我們就不可能將這種設置與分布根本沒有改變的設置區分開來。

幸運的是，在對我們的數據未來可能發生變化的方式的一些限制性假設下，有原則的算法可以檢測到變化，有時甚至可以即時適應，從而提高原始分類器的準確性。

4.7.1.1. 協變量偏移

在分布偏移的類別中，協變量偏移可能是研究最廣泛的。在這里，我們假設雖然輸入的分布可能會隨時間變化，但標簽函數，即條件分布P(y∣x)沒有改變。統計學家將此稱為協變量偏移，因為問題是由于協變量（特征）分布的偏移而產生的。雖然我們有時可以在不調用因果關系的情況下推理分布偏移，但我們注意到協變量偏移是在我們認為的設置中調用的自然假設x原因y.

考慮區分貓和狗的挑戰。我們的訓練數據可能包含圖 4.7.1中的那種圖像 。

在測試時，我們被要求對圖 4.7.2中的圖像進行分類 。

訓練集包含照片，而測試集僅包含卡通。如果沒有關于如何適應新領域的連貫計劃，在??與測試集具有顯著不同特征的數據集上進行訓練可能會帶來麻煩。

4.7.1.2. 標簽轉移

標簽移位描述了相反的問題。在這里，我們假設標簽邊緣P(y)可以改變但類條件分布P(x∣y)跨域保持固定。當我們相信 y原因x. 例如，我們可能希望根據癥狀（或其他表現）來預測診斷，即使診斷的相對流行率隨時間而變化。標簽轉移在這里是合適的假設，因為疾病會引起癥狀。在一些退化的情況下，標簽偏移和協變量偏移假設可以同時成立。例如，當標簽是確定性的時，協變量偏移假設將得到滿足，即使y原因 x. 有趣的是，在這些情況下，使用源自標簽轉移假設的方法通常是有利的。這是因為這些方法往往涉及操縱看起來像標簽（通常是低維）的對象，而不是看起來像輸入的對象，后者在深度學習中往往是高維的。

4.7.1.3. 概念轉變

我們可能還會遇到概念轉換的相關問題，當標簽的定義可能發生變化時就會出現這種情況。這聽起來很奇怪——貓就是貓，不是嗎？但是，隨著時間的推移，其他類別的使用情況可能會發生變化。精神疾病的診斷標準、流行的標準和工作頭銜，都受到相當大的概念轉變的影響。事實證明，如果我們環游美國，按地域轉移數據源，我們會發現關于軟飲料名稱分布的相當大的概念轉變， 如圖4.7.3所示。

如果我們要構建一個機器翻譯系統，分發 P(y∣x)根據我們的位置可能會有所不同。這個問題可能很難發現。我們可能希望利用這樣的知識，即轉移只會在時間或地理意義上逐漸發生。

4.7.2. 分配轉移的例子

在深入研究形式主義和算法之前，我們可以討論一些協變量或概念轉移可能不明顯的具體情況。

4.7.2.1. 醫療診斷

想象一下，您想設計一種算法來檢測癌癥。你從健康人和病人那里收集數據，然后訓練你的算法。它運行良好，為您提供高精度，您得出結論，您已準備好在醫療診斷領域取得成功。沒那么快。

產生訓練數據的分布與您將在野外遇到的分布可能有很大差異。這發生在我們中的一些人（作者）多年前合作過的一家不幸的初創公司身上。他們正在開發一種主要影響老年男性的疾病的血液測試，并希望使用他們從患者身上收集的血液樣本來研究它。然而，從健康男性身上獲取血液樣本比系統中已經存在的病人要困難得多。作為補償，這家初創公司向大學校園的學生征集獻血，作為開發測試的健康對照。然后他們問我們是否可以幫助他們建立一個分類器來檢測這種疾病。

正如我們向他們解釋的那樣，以近乎完美的準確度區分健康人群和患病人群確實很容易。然而，這是因為測試對象在年齡、激素水平、體力活動、飲食、飲酒量以及許多與疾病無關的因素方面存在差異。真實患者不太可能出現這種情況。由于他們的抽樣程序，我們可能會遇到極端的協變量偏移。此外，這種情況不太可能通過傳統方法糾正。簡而言之，他們浪費了一大筆錢。

4.7.2.2. 自動駕駛汽車

假設一家公司想要利用機器學習來開發自動駕駛汽車。這里的一個關鍵組件是路邊檢測器。由于獲得真正的帶注釋數據的成本很高，因此他們有一個（聰明但值得懷疑的）想法，即使用來自游戲渲染引擎的合成數據作為額外的訓練數據。這對從渲染引擎中提取的“測試數據”非常有效。唉，在一輛真正的汽車里，這是一場災難。事實證明，路邊的紋理非常簡單。更重要的是，所有的路邊都被渲染成 相同的紋理，路邊檢測器很快就了解了這個“特征”。

當美軍第一次嘗試在森林中探測坦克時，類似的事情也發生了。他們航拍了沒有坦克的森林，然后把坦克開進森林里，又拍了一組照片。分類器似乎工作得很好。不幸的是，它只是學會了如何區分有陰影的樹和沒有陰影的樹——第一組照片是清晨拍攝的，第二組是中午拍攝的。

4.7.2.3. 非平穩分布

當分布變化緩慢（也稱為非平穩分布）并且模型未充分更新時，會出現更微妙的情況。以下是一些典型案例。

我們訓練了一個計算廣告模型，然后未能經常更新它（例如，我們忘記將剛剛推出的一款不起眼的新設備 iPad 納入其中）。

我們建立了一個垃圾郵件過濾器。它可以很好地檢測我們目前看到的所有垃圾郵件。但隨后垃圾郵件發送者變得聰明起來，制作了看起來與我們以前見過的任何東西都不一樣的新消息。

我們建立了一個產品推薦系統。它在整個冬天都有效，但在圣誕節后很長一段時間內繼續推薦圣誕老人的帽子。

4.7.2.4. 更多軼事

我們構建了一個人臉檢測器。它適用于所有基準測試。不幸的是，它在測試數據上失敗了——令人反感的例子是臉部填滿整個圖像的特寫鏡頭（訓練集中沒有這樣的數據）。

我們為美國市場構建了一個網絡搜索引擎，并希望將其部署在英國。

我們通過編譯一個大型數據集來訓練圖像分類器，其中大量類別中的每個類別在數據集中均等表示，例如 1000 個類別，每個類別由 1000 張圖像表示。然后我們將系統部署到現實世界中，照片的實際標簽分布顯然是不均勻的。

4.7.3. 分布偏移的校正

正如我們所討論的，在許多情況下，訓練和測試分布P(x,y)是不同的。在某些情況下，我們很幸運，盡管存在協變量、標簽或概念轉變，但模型仍然有效。在其他情況下，我們可以通過采用有原則的策略來應對這種轉變來做得更好。本節的其余部分變得更加技術化。不耐煩的讀者可以繼續閱讀下一節，因為該材料不是后續概念的先決條件。

4.7.3.1. 經驗風險和風險

讓我們首先反思模型訓練期間到底發生了什么：我們迭代訓練數據的特征和相關標簽{(x1,y1),…,(xn,yn)}并更新模型的參數f在每個小批量之后。為簡單起見，我們不考慮正則化，因此我們在很大程度上減少了訓練的損失：

(4.7.1)minimizef?1n∑i=1nl(f(xi),yi),

在哪里l是衡量預測“有多糟糕”的損失函數 f(xi)被賦予相關標簽yi. 統計學家將(4.7.1) 中的術語稱為經驗風險。經驗風險是訓練數據的平均損失，以近似于風險，這是對從真實分布中提取的整個數據群的損失的期望。p(x,y):

(4.7.2)Ep(x,y)[l(f(x),y)]=∫∫l(f(x),y)p(x,y)dxdy.

然而，在實踐中，我們通常無法獲得全部數據。因此，經驗風險最小化，即最小化(4.7.1)中的經驗風險，是機器學習的一種實用策略，希望能夠近似地最小化風險。

4.7.3.2. 協變量偏移校正

假設我們要估計一些依賴 P(y∣x)我們為其標記了數據 (xi,yi). 不幸的是，觀察 xi是從一些源分布中提取的 q(x)而不是目標分布 p(x). 幸運的是，依賴假設意味著條件分布不會改變： p(y∣x)=q(y∣x). 如果源分發q(x)是“錯誤的”，我們可以通過在風險中使用以下簡單標識來糾正它：

(4.7.3)∫∫l(f(x),y)p(y∣x)p(x)dxdy=∫∫l(f(x),y)q(y∣x)q(x)p(x)q(x)dxdy.

換句話說，我們需要根據從正確分布中提取數據的概率與從錯誤分布中提取數據的概率之比來重新權衡每個數據示例：

(4.7.4)βi=defp(xi)q(xi).

插入重量βi對于每個數據示例 (xi,yi)我們可以使用加權經驗風險最小化來訓練我們的模型：

(4.7.5)minimizef?1n∑i=1nβil(f(xi),yi).

唉，我們不知道那個比率，所以在我們做任何有用的事情之前，我們需要估計它。許多方法都可用，包括一些奇特的算子理論方法，這些方法試圖直接使用最小范數或最大熵原理重新校準期望算子。請注意，對于任何此類方法，我們都需要從兩個分布中抽取樣本——“真實”p，例如，通過訪問測試數據，以及用于生成訓練集的數據q（后者很容易獲得）。但是請注意，我們只需要功能 x～p(x); 我們不需要訪問標簽 y～p(y).

在這種情況下，存在一種非常有效的方法，其結果幾乎與原始方法一樣好：邏輯回歸，它是用于二元分類的 softmax 回歸（參見第 4.1 節）的特例。這就是計算估計概率比所需的全部內容。我們學習了一個分類器來區分從中提取的數據p(x)和從中提取的數據 q(x). 如果無法區分這兩個分布，則意味著相關實例同樣可能來自這兩個分布中的任何一個。另一方面，任何可以被很好區分的實例都應該相應地被顯著地高估或低估。

為了簡單起見，假設我們有來自兩個分布的相同數量的實例p(x)和q(x)， 分別。現在表示為z標簽是1對于從中提取的數據p和?1對于從中提取的數據q. 那么混合數據集中的概率由下式給出

(4.7.6)P(z=1∣x)=p(x)p(x)+q(x)and henceP(z=1∣x)P(z=?1∣x)=p(x)q(x).

因此，如果我們使用邏輯回歸方法，其中 P(z=1∣x)=11+exp?(?h(x)) (h是參數化函數），因此

(4.7.7)βi=1/(1+exp?(?h(xi)))exp?(?h(xi))/(1+exp?(?h(xi)))=exp?(h(xi)).

因此，我們需要解決兩個問題：第一個是區分從兩個分布中提取的數據，然后是 ( 4.7.5)中的加權經驗風險最小化問題，我們通過 βi.

現在我們準備好描述一個校正算法。假設我們有一個訓練集 {(x1,y1),…,(xn,yn)}和未標記的測試集{u1,…,um}. 對于協變量偏移，我們假設xi對全部 1≤i≤n是從一些源分布中提取的，并且 ui對全部1≤i≤m從目標分布中提取。這是校正協變量偏移的原型算法：

生成二元分類訓練集： {(x1,?1),…,(xn,?1),(u1,1),…,(um,1)}.

使用邏輯回歸訓練二元分類器以獲得函數 h.

使用權衡訓練數據βi=exp?(h(xi))或更好βi=min(exp?(h(xi)),c)對于一些常數c.

使用權重βi用于培訓 {(x1,y1),…,(xn,yn)}在 (4.7.5)中。

請注意，上述算法依賴于一個關鍵假設。為了使該方案起作用，我們需要目標（例如，測試時間）分布中的每個數據示例在訓練時出現的概率非零。如果我們找到一個點p(x)>0但 q(x)=0，那么對應的重要性權重應該是無窮大。

4.7.3.3. 標簽偏移校正

假設我們正在處理分類任務k 類別。在第 4.7.3.2 節中使用相同的符號 ，q和p 分別是源分布（例如，訓練時間）和目標分布（例如，測試時間）。假設標簽的分布隨時間變化：q(y)≠p(y)，但類條件分布保持不變： q(x∣y)=p(x∣y). 如果源分發q(y)是“錯誤的”，我們可以根據 （4.7.2）中定義的風險中的以下恒等式進行更正：

(4.7.8)∫∫l(f(x),y)p(x∣y)p(y)dxdy=∫∫l(f(x),y)q(x∣y)q(y)p(y)q(y)dxdy.

在這里，我們的重要性權重將對應于標簽似然比

(4.7.9)βi=defp(yi)q(yi).

標簽偏移的一個好處是，如果我們在源分布上有一個相當好的模型，那么我們就可以得到這些權重的一致估計，而無需處理環境維度。在深度學習中，輸入往往是圖像等高維對象，而標簽通常是類別等更簡單的對象。

為了估計目標標簽分布，我們首先使用我們相當好的現成分類器（通常在訓練數據上訓練）并使用驗證集（也來自訓練分布）計算其混淆矩陣。混淆矩陣,C, 只是一個k×k矩陣，其中每一列對應于標簽類別（基本事實），每一行對應于我們模型的預測類別。每個單元格的值cij是真實標簽在驗證集上的總預測的分數 j我們的模型預測i.

現在，我們無法直接計算目標數據的混淆矩陣，因為我們看不到我們在野外看到的示例的標簽，除非我們投資復雜的實時注釋管道。然而，我們可以做的是在測試時對我們所有的模型預測進行平均，從而產生平均模型輸出 μ(y^)∈Rk，誰的 ith元素μ(y^i)是我們的模型預測的測試集上總預測的分數i.

事實證明，在一些溫和的條件下——如果我們的分類器一開始就相當準確，如果目標數據只包含我們之前見過的類別，如果標簽轉移假設首先成立（這里最強的假設), 然后我們可以通過求解一個簡單的線性系統來估計測試集標簽分布

(4.7.10)Cp(y)=μ(y^),

因為作為估計 ∑j=1kcijp(yj)=μ(y^i)對所有人都成立 1≤i≤k， 在哪里p(yj)是個 jth的元素k維標簽分布向量p(y). 如果我們的分類器一開始就足夠準確，那么混淆矩陣 C將是可逆的，我們得到一個解決方案 p(y)=C?1μ(y^).

因為我們觀察源數據上的標簽，所以很容易估計分布q(y). 然后對于任何訓練示例i 帶標簽yi，我們可以采用我們估計的比率 p(yi)/q(yi)計算重量βi，并將其代入 (4.7.5)中的加權經驗風險最小化。

4.7.3.4. 概念轉變修正

概念轉變很難以有原則的方式解決。例如，在問題突然從區分貓和狗變成區分白色和黑色動物的情況下，假設我們可以做得比僅僅收集新標簽和從頭開始訓練好得多是不合理的。幸運的是，在實踐中，這種極端的轉變很少見。相反，通常發生的是任務不斷緩慢變化。為了使事情更具體，這里有一些例子：

在計算廣告中，推出新產品，舊產品變得不那么受歡迎。這意味著廣告的分布及其受歡迎程度逐漸變化，任何點擊率預測指標都需要隨之逐漸變化。

交通攝像機鏡頭由于環境磨損而逐漸退化，逐漸影響圖像質量。

新聞內容逐漸變化（即大部分新聞保持不變，但出現新故事）。

在這種情況下，我們可以使用與訓練網絡相同的方法來使它們適應數據的變化。換句話說，我們使用現有的網絡權重并簡單地使用新數據執行一些更新步驟，而不是從頭開始訓練。

4.7.4. 學習問題的分類

有了關于如何處理分布變化的知識，我們現在可以考慮機器學習問題公式化的其他方面。

4.7.4.1. 批量學習

在批量學習中，我們可以訪問訓練特征和標簽 {(x1,y1),…,(xn,yn)}，我們用它來訓練模型f(x). 稍后，我們部署此模型來對新數據進行評分(x,y)從同一個分布中抽取。這是我們在此討論的任何問題的默認假設。例如，我們可能會根據大量貓狗圖片來訓練貓檢測器。一旦我們對其進行了訓練，我們就會將其作為智能貓門計算機視覺系統的一部分進行運送，該系統只允許貓進入。然后將其安裝在客戶家中并且永遠不會再次更新（除非出現極端情況）。

4.7.4.2. 在線學習

現在假設數據(xi,yi)一次到達一個樣品。更具體地說，假設我們首先觀察 xi, 然后我們需要估計 f(xi)只有當我們這樣做了，我們才會觀察到 yi有了它，我們會根據自己的決定獲得獎勵或蒙受損失。許多實際問題都屬于這一類。例如，我們需要預測明天的股票價格，這允許我們根據該估計進行交易，并在一天結束時發現我們的估計是否允許我們獲利。換句話說，在在線學習中，我們有以下循環，我們根據新觀察不斷改進我們的模型：

(4.7.11)modelft?dataxt?estimateft(xt)?observationyt?lossl(yt,ft(xt))?modelft+1

4.7.4.3. 土匪

Bandits是上述問題的特例。雖然在大多數學習問題中我們有一個連續參數化的函數f 在我們想要學習它的參數（例如，深度網絡）的地方，在 老虎機問題中，我們只有有限數量的手臂可以拉動，即我們可以采取的有限數量的行動。對于這個更簡單的問題，可以在最優性方面獲得更強的理論保證，這并不奇怪。我們列出它主要是因為這個問題經常（令人困惑地）被視為一個獨特的學習環境。

4.7.4.4。控制

在許多情況下，環境會記住我們的所作所為。不一定以敵對的方式，但它只會記住并且響應將取決于之前發生的事情。例如，咖啡鍋爐控制器將根據之前是否加熱鍋爐來觀察不同的溫度。PID（比例-積分-微分）控制器算法在那里是一種流行的選擇。同樣，用戶在新聞站點上的行為將取決于我們之前向他展示的內容（例如，他只會閱讀大部分新聞一次）。許多這樣的算法形成了它們所處環境的模型，從而使它們的決策看起來不那么隨機。最近，控制理論（例如，PID 變體）也被用于自動調整超參數以實現更好的解纏結和重建質量， ( Shao et al. , 2020 )。

4.7.4.5。強化學習

在具有記憶的環境的更一般情況下，我們可能會遇到環境試圖與我們合作的情況（合作游戲，特別是非零和游戲），或者環境試圖取勝的其他情況。國際象棋、圍棋、西洋雙陸棋或星際爭霸是強化學習中的一些案例。同樣，我們可能想為自動駕駛汽車構建一個好的控制器。其他汽車可能會以非平凡的方式對自動駕駛汽車的駕駛方式做出反應，例如，試圖避開它、試圖造成事故以及試圖與其合作。

4.7.4.6. 考慮環境

上述不同情況之間的一個關鍵區別是，在靜止環境中可能始終有效的相同策略，在環境可以適應時可能無法始終有效。例如，交易者發現的套利機會一旦開始利用就很可能消失。環境變化的速度和方式在很大程度上決定了我們可以采用的算法類型。例如，如果我們知道事情可能只會緩慢變化，我們就可以強制任何估計也只能緩慢變化。如果我們知道環境可能會瞬間發生變化，但發生的頻率非常低，那么我們就可以考慮到這一點。這些類型的知識對于有抱負的數據科學家處理概念轉變至關重要，即

4.7.5. 機器學習中的公平性、問責制和透明度

最后，重要的是要記住，當您部署機器學習系統時，您不僅僅是在優化一個預測模型——您通常是在提供一個將用于（部分或全部）自動化決策的工具。這些技術系統可能會影響受最終決策影響的個人的生活。從考慮預測到決策的飛躍不僅提出了新的技術問題，而且還提出了一系列必須仔細考慮的倫理問題。如果我們要部署醫療診斷系統，我們需要知道它可能適用于哪些人群，哪些可能無效。忽視亞人群福利的可預見風險可能導致我們提供低劣的護理。此外，一旦我們考慮決策系統，我們就必須退后一步，重新考慮我們如何評估我們的技術。準確性很少是正確的衡量標準。例如，在將預測轉化為行動時，我們通常會考慮以各種方式犯錯的潛在成本敏感性。如果將圖像錯誤分類的一種方法可以被視為種族花招，而將錯誤分類到不同類別是無害的，那么我們可能希望相應地調整我們的閾值，在設計決策協議時考慮到社會價值觀。我們還希望注意預測系統如何導致反饋循環。例如，考慮預測性警務系統，它將巡邏人員分配到預測犯罪率高的地區。很容易看出令人擔憂的模式是如何出現的：

犯罪率較高的社區需要更多的巡邏。

因此，在這些街區發現了更多的犯罪活動，輸入了可用于未來迭代的訓練數據。

暴露于更多的積極因素，該模型預測這些街區的犯罪率更高。

在下一次迭代中，更新后的模型更嚴重地針對同一社區，導致發現更多的犯罪活動，等等。

通常，模型的預測與其訓練數據耦合的各種機制在建模過程中未被考慮在內。這會導致研究人員稱之為失控的反饋回路。此外，我們要注意我們是否首先解決了正確的問題。預測算法現在在調節信息傳播方面發揮著巨大作用。個人遇到的新聞是否應該由他們點贊的Facebook 頁面集決定？這些只是您在機器學習職業中可能遇到的許多緊迫的道德困境中的一小部分。

4.7.6. 概括

在許多情況下，訓練集和測試集并不來自同一個分布。這稱為分配轉移。風險是對從真實分布中提取的整個數據群的損失的預期。然而，這整個人口通常是不可用的。經驗風險是訓練數據的平均損失以近似風險。在實踐中，我們執行經驗風險最小化。

在相應的假設下，可以在測試時檢測和校正協變量和標簽偏移。如果不考慮這種偏差，在測試時可能會出現問題。在某些情況下，環境可能會記住自動操作并以令人驚訝的方式做出響應。我們必須在構建模型時考慮到這種可能性，并繼續監控實時系統，對我們的模型和環境以意想不到的方式糾纏在一起的可能性持開放態度。

4.7.7. 練習

當我們改變搜索引擎的行為時會發生什么？用戶可能會做什么？廣告商呢？

實施協變量移位檢測器。提示：建立一個分類器。

實施協變量偏移校正器。

除了分布轉移，還有什么會影響經驗風險如何近似風險？

Discussions