Estimator提供了大量用于在 TensorFlow 中處理線性模型的工具（以及其他工具）。本文簡要介紹了這些工具，并闡述了以下內容：

什么是線性模型

為何要使用線性模型

Estimator 如何使您能夠輕松地在 TensorFlow 中構建線性模型

如何使用 Estimator 將線性模型與深度學習相結合，從而汲取二者的優(yōu)勢

您可以閱讀這篇概述文章，判斷 Estimator 的線性模型工具是否對您有用。然后，閱讀Estimator 寬度學習和深度學習教程（https://github.com/tensorflow/models/tree/master/official/wide_deep），并放手一試。這篇概述文章使用了此教程中的代碼示例，但此教程更詳細地介紹了代碼。

對基本的機器學習概念以及Estimator有一定了解將有助于理解這篇概述文章。

什么是線性模型？

線性模型使用特征的單個加權和進行預測。舉例來說，如果您有關于人口年齡、受教育年數和每周工作時長的數據，那么模型可以學習每個數值的權重，并通過加權和估算某個人的薪水。您還可以使用線性模型進行分類。

一些線性模型會將加權和轉換為一種更便利的形式。例如，邏輯回歸將加權和代入邏輯函數，以將輸出轉換為介于 0 和 1 之間的值。不過，每個輸入特征仍然只有一個權重。

為何要使用線性模型？

近期研究已證實具有多層的更復雜神經網絡具有強大的功能，為何還要使用如此簡單的模型？

線性模型：

與深度神經網絡相比，訓練速度快

可以在非常大的特征集上取得很好的效果

可以使用無需反復調整學習速率等因素的算法進行訓練

可以比神經網絡更輕松地進行解讀和調試。您可以檢查分配給每個特征的權重，確定哪些特征對預測結果的影響最大

為理解機器學習提供了一個很好的起點

有廣泛的行業(yè)應用

Estimator 如何幫助您構建線性模型？

您可以在 TensorFlow 中從頭開始構建線性模型，而無需借助于特殊的 API。不過，Estimator 提供了一些工具，使您可以更輕松地構建有效的大型線性模型。

特征列和轉換

設計線性模型的主要操作包括將原始數據轉換為合適的輸入特征。TensorFlow 使用FeatureColumn抽象類來實現此類轉換。

FeatureColumn表示數據中的單個特征。FeatureColumn可能表示 “height” 等數量，也可能表示 “eye_color” 等類別（值來自一組離散概率，如 {'blue'，'brown'，'green'}）。

對于 “height” 等連續(xù)特征和 “eye_color” 等類別特征，數據中的單個值可能先轉換為數字序列，然后再輸入到模型中。盡管如此，您還是可以通過FeatureColumn抽象類將該特征視為單個語義單元進行操作。您可以指定轉換并選擇要包括的特征，而無需處理饋送到模型的張量中的特定索引。

稀疏列

線性模型中的類別特征通常被轉換為稀疏向量，其中每個可能的值都具有對應的索引或 ID。例如，如果只有 3 種可能的眼睛顏色，您可以將 “eye_color” 表示為長度為 3 的向量：“brown” 為 [1, 0, 0]，“blue” 為 [0, 1, 0]，而 “green” 為 [0, 0, 1]。這些向量稱為 “稀疏” 向量，因為當可能值的集合非常大（例如包含所有英文單詞的集合）時，它們可能很長，且包含很多零。

雖然您不需要通過類別列來使用 Estimator 提供的線性模型工具，但是線性模型的優(yōu)勢之一是它們能夠處理大型稀疏向量。稀疏特征是 Estimator 提供的線性模型工具的主要用例。

編碼稀疏列：FeatureColumn自動將類別值轉換為向量，具體代碼如下所示：

eye_color = tf.feature_column.categorical_column_with_vocabulary_list( "eye_color", vocabulary_list=["blue", "brown", "green"])

其中eye_color是源數據中的一列的名稱。

您還可以為類別特征（您不知道此類特征的所有可能值）生成FeatureColumn。對于這種情況，您將使用categorical_column_with_hash_bucket()，它使用哈希函數為特征值分配索引。

education = tf.feature_column.categorical_column_with_hash_bucket( "education", hash_bucket_size=1000)

特征組合：由于線性模型為不同的特征分配獨立權重，因此它們無法了解特定特征值組合的相對重要性。如果您有 “favorite_sport” 和 “home_city” 這兩個特征，并且您嘗試預測某人是否喜歡穿紅色，此時線性模型將無法判斷來自圣路易斯的棒球迷是否特別喜歡穿紅色。

您可以通過創(chuàng)建新特征 “favorite_sport_x_home_city” 突破這個限制。對于給定用戶，此特征的值只是兩個源特征的值相連：例如 “baseball_x_stlouis”。這種組合特征稱為特征組合。

使用crossed_column()方法可輕松設置特征組合：

sport_x_city = tf.feature_column.crossed_column( ["sport", "city"], hash_bucket_size=int(1e4))

連續(xù)列

您可以如下所示地指定連續(xù)特征：

age = tf.feature_column.numeric_column("age")

雖然作為單個實數的連續(xù)特征通常可以直接輸入到模型中，但是 TensorFlow 也為此類列提供了有用的轉換。

分桶：分桶可將連續(xù)列轉換為類別列。此轉換使您能夠在特征組合中使用連續(xù)特征，或學習特定值范圍特別重要的情況。

分桶將可能的值范圍劃分為子范圍（稱為分桶）：

age_buckets = tf.feature_column.bucketized_column( age, boundaries=[18, 25, 30, 35, 40, 45, 50, 55, 60, 65])

值所在的分桶便是該值的類別標簽。

輸入函數

FeatureColumn為模型提供輸入數據規(guī)范，指示如何表示和轉換數據。但它們本身不提供數據。您需要通過輸入函數提供數據。

輸入函數必須返回一個張量字典。每個鍵對應一個FeatureColumn的名稱。每個鍵的值都是一個張量，其中包含該特征針對所有數據實例的值。請參閱預創(chuàng)建的 Estimator，詳細了解輸入函數；另請參閱寬度學習和深度學習教程中的input_fn，查看輸入函數的示例實現。

輸入函數會傳遞給train()和evaluate()調用（用于啟動訓練和測試操作），如下一部分中所述。

線性 Estimator

TensorFlow Estimator 類為回歸模型和分類模型提供統(tǒng)一的訓練和評估工具。它們負責訓練和評估循環(huán)的細節(jié)部分，使用戶可以專注于模型輸入和架構。

要構建線性 Estimator，您可以使用tf.estimator.LinearClassifierEstimator 或tf.estimator.LinearRegressorEstimator

（分別用于分類和回歸）。

與所有 TensorFlow Estimator 一樣，要運行 Estimator，只需執(zhí)行以下操作即可：

實例化 Estimator 類。對于兩個線性 Estimator 類，將FeatureColumn列表傳遞給構造函數

調用 Estimator 的train()方法以對其進行訓練

調用 Estimator 的evaluate()方法以查看其效果

例如：

e = tf.estimator.LinearClassifier( feature_columns=[ native_country, education, occupation, workclass, marital_status, race, age_buckets, education_x_occupation, age_buckets_x_race_x_occupation], model_dir=YOUR_MODEL_DIRECTORY)e.train(input_fn=input_fn_train, steps=200)# Evaluate for one step (one pass through the test data).results = e.evaluate(input_fn=input_fn_test)# Print the stats for the evaluation.for key in sorted(results): print("%s: %s" % (key, results[key]))

寬度學習和深度學習

tf.estimator模塊還提供一個 Estimator 類，使您能夠一同訓練線性模型和深度神經網絡。這種新方法結合了線性模型 “記憶” 關鍵特征的能力以及神經網絡的泛化能力。請使用tf.estimator.DNNLinearCombinedClassifier創(chuàng)建這種 “寬度學習和深度學習” 模型：

e = tf.estimator.DNNLinearCombinedClassifier( model_dir=YOUR_MODEL_DIR, linear_feature_columns=wide_columns, dnn_feature_columns=deep_columns, dnn_hidden_units=[100, 50])