1. 特征提取 V.S 特征選擇

特征提取和特征選擇是DimensionalityReduction（降維）的兩種方法，針對于the curse of dimensionality(維災難)，都可以達到降維的目的。但是這兩個有所不同。

特征提取（Feature Extraction）:Creatting a subset of new features by combinations of the exsiting features.也就是說，特征抽取后的新特征是原來特征的一個映射。

特征選擇（Feature Selection）:choosing a subset of all the features(the ones more informative)。也就是說，特征選擇后的特征是原來特征的一個子集。

2. PCA V.S LDA

主成分分析(Principle Components Analysis ,PCA)和線性評判分析（Linear Discriminant Analysis,LDA）是特征提取的兩種主要經典方法。

對于特征提取，有兩種類別：

（1）Signal representation(信號表示): The goal of the feature extraction mapping is to represent the samples accurately in a low-dimensional space. 也就是說，特征抽取后的特征要能夠精確地表示樣本信息，使得信息丟失很小。對應的方法是PCA.

（2）Signal classification（信號分類): The goal of the feature extraction mapping is toenhance the class-discriminatory information in a low-dimensional space. 也就是說，特征抽取后的特征，要使得分類后的準確率很高，不能比原來特征進行分類的準確率低。對與線性來說，對應的方法是LDA . 非線性這里暫時不考慮。

可見， PCA和LDA兩種方法的目標不一樣，因此導致他們的方法也不一樣。PCA得到的投影空間是協方差矩陣的特征向量，而LDA則是通過求得一個變換W,使得變換之后的新均值之差最大、方差最大（也就是最大化類間距離和最小化類內距離），變換W就是特征的投影方向。