10種聚類介紹和Python代碼
分享一篇關于聚類的文章，10種聚類介紹和Python代碼。
聚類或聚類分析是無監督學習問題。它通常被用作數據分析技術，用于發現數據中的有趣模式，例如基于其行為的客戶群。有許多聚類算法可供選擇，對于所有情況，沒有單一的最佳聚類算法。相反，最好探索一系列聚類算法以及每種算法的不同配置。在本教程中，你將發現如何在 python 中安裝和使用頂級聚類算法。 完成本教程后，你將知道：-
聚類是在輸入數據的特征空間中查找自然組的無監督問題。
-
對于所有數據集，有許多不同的聚類算法和單一的最佳方法。
-
在 scikit-learn 機器學習庫的 Python 中如何實現、適配和使用頂級聚類算法。
-
聚類
-
聚類算法
-
聚類算法示例
一.聚類
聚類分析，即聚類，是一項無監督的機器學習任務。它包括自動發現數據中的自然分組。與監督學習（類似預測建模）不同，聚類算法只解釋輸入數據，并在特征空間中找到自然組或群集。群集通常是特征空間中的密度區域，其中來自域的示例（觀測或數據行）比其他群集更接近群集。群集可以具有作為樣本或點特征空間的中心(質心)，并且可以具有邊界或范圍。聚類技術適用于沒有要預測的類，而是將實例劃分為自然組的情況。
—源自：《數據挖掘頁：實用機器學習工具和技術》2016年。
聚類可以作為數據分析活動提供幫助，以便了解更多關于問題域的信息，即所謂的模式發現或知識發現。例如：這些群集可能反映出在從中繪制實例的域中工作的某種機制，這種機制使某些實例彼此具有比它們與其余實例更強的相似性。
—源自：《數據挖掘頁：實用機器學習工具和技術》2016年。
- 該進化樹可以被認為是人工聚類分析的結果；
- 將正常數據與異常值或異常分開可能會被認為是聚類問題；
- 根據自然行為將集群分開是一個集群問題，稱為市場細分。
聚類是一種無監督學習技術，因此很難評估任何給定方法的輸出質量。
—源自：《機器學習頁：概率觀點》2012。
二.聚類算法
有許多類型的聚類算法。許多算法在特征空間中的示例之間使用相似度或距離度量，以發現密集的觀測區域。因此，在使用聚類算法之前，擴展數據通常是良好的實踐。聚類分析的所有目標的核心是被群集的各個對象之間的相似程度（或不同程度）的概念。聚類方法嘗試根據提供給對象的相似性定義對對象進行分組。
—源自：《統計學習的要素：數據挖掘、推理和預測》，2016年
一些聚類算法要求您指定或猜測數據中要發現的群集的數量，而另一些算法要求指定觀測之間的最小距離，其中示例可以被視為“關閉”或“連接”。因此，聚類分析是一個迭代過程，在該過程中，對所識別的群集的主觀評估被反饋回算法配置的改變中，直到達到期望的或適當的結果。scikit-learn 庫提供了一套不同的聚類算法供選擇。下面列出了10種比較流行的算法：
-
親和力傳播
-
聚合聚類
-
BIRCH
-
DBSCAN
-
K-均值
-
Mini-Batch K-均值
-
Mean Shift
-
OPTICS
-
光譜聚類
- 高斯混合
三.聚類算法示例
在本節中，我們將回顧如何在 scikit-learn 中使用10個流行的聚類算法。這包括一個擬合模型的例子和可視化結果的例子。這些示例用于將粘貼復制到您自己的項目中，并將方法應用于您自己的數據。1.庫安裝首先，讓我們安裝庫。不要跳過此步驟，因為你需要確保安裝了最新版本。你可以使用 pip Python 安裝程序安裝 scikit-learn 存儲庫，如下所示：
sudopipinstallscikit-learn
接下來，讓我們確認已經安裝了庫，并且您正在使用一個現代版本。運行以下腳本以輸出庫版本號。
#檢查scikit-learn版本
importsklearn
print(sklearn.__version__)
運行該示例時，您應該看到以下版本號或更高版本。
0.22.1
2.聚類數據集我們將使用 make _ classification ()函數創建一個測試二分類數據集。數據集將有1000個示例，每個類有兩個輸入要素和一個群集。這些群集在兩個維度上是可見的，因此我們可以用散點圖繪制數據，并通過指定的群集對圖中的點進行顏色繪制。
這將有助于了解，至少在測試問題上，群集的識別能力如何。該測試問題中的群集基于多變量高斯，并非所有聚類算法都能有效地識別這些類型的群集。因此，本教程中的結果不應用作比較一般方法的基礎。下面列出了創建和匯總合成聚類數據集的示例。
#綜合分類數據集
fromnumpyimportwhere
fromsklearn.datasetsimportmake_classification
frommatplotlibimportpyplot
#定義數據集
X,y=make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4)
#為每個類的樣本創建散點圖
forclass_valueinrange(2):
#獲取此類的示例的行索引
row_ix=where(y==class_value)
#創建這些樣本的散布
pyplot.scatter(X[row_ix,0],X[row_ix,1])
#繪制散點圖
pyplot.show()
運行該示例將創建合成的聚類數據集，然后創建輸入數據的散點圖，其中點由類標簽（理想化的群集）著色。我們可以清楚地看到兩個不同的數據組在兩個維度，并希望一個自動的聚類算法可以檢測這些分組。
我們設計了一種名為“親和傳播”的方法，它作為兩對數據點之間相似度的輸入度量。在數據點之間交換實值消息，直到一組高質量的范例和相應的群集逐漸出現
—源自：《通過在數據點之間傳遞消息》2007。
它是通過 AffinityPropagation 類實現的，要調整的主要配置是將“ 阻尼 ”設置為0.5到1，甚至可能是“首選項”。
下面列出了完整的示例。
#親和力傳播聚類
fromnumpyimportunique
fromnumpyimportwhere
fromsklearn.datasetsimportmake_classification
fromsklearn.clusterimportAffinityPropagation
frommatplotlibimportpyplot
#定義數據集
X,_=make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4)
#定義模型
model=AffinityPropagation(damping=0.9)
#匹配模型
model.fit(X)
#為每個示例分配一個集群
yhat=model.predict(X)
#檢索唯一群集
clusters=unique(yhat)
#為每個群集的樣本創建散點圖
forclusterinclusters:
#獲取此群集的示例的行索引
row_ix=where(yhat==cluster)
#創建這些樣本的散布
pyplot.scatter(X[row_ix,0],X[row_ix,1])
#繪制散點圖
pyplot.show()
運行該示例符合訓練數據集上的模型，并預測數據集中每個示例的群集。然后創建一個散點圖，并由其指定的群集著色。在這種情況下，我無法取得良好的結果。
#聚合聚類
fromnumpyimportunique
fromnumpyimportwhere
fromsklearn.datasetsimportmake_classification
fromsklearn.clusterimportAgglomerativeClustering
frommatplotlibimportpyplot
#定義數據集
X,_=make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4)
#定義模型
model=AgglomerativeClustering(n_clusters=2)
#模型擬合與聚類預測
yhat=model.fit_predict(X)
#檢索唯一群集
clusters=unique(yhat)
#為每個群集的樣本創建散點圖
forclusterinclusters:
#獲取此群集的示例的行索引
row_ix=where(yhat==cluster)
#創建這些樣本的散布
pyplot.scatter(X[row_ix,0],X[row_ix,1])
#繪制散點圖
pyplot.show()
運行該示例符合訓練數據集上的模型，并預測數據集中每個示例的群集。然后創建一個散點圖，并由其指定的群集著色。在這種情況下，可以找到一個合理的分組。
它是通過 Birch 類實現的，主要配置是“ threshold ”和“ n _ clusters ”超參數，后者提供了群集數量的估計。下面列出了完整的示例。BIRCH 遞增地和動態地群集傳入的多維度量數據點，以嘗試利用可用資源（即可用內存和時間約束）產生最佳質量的聚類。
—源自：《 BIRCH ：1996年大型數據庫的高效數據聚類方法》
#birch聚類
fromnumpyimportunique
fromnumpyimportwhere
fromsklearn.datasetsimportmake_classification
fromsklearn.clusterimportBirch
frommatplotlibimportpyplot
#定義數據集
X,_=make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4)
#定義模型
model=Birch(threshold=0.01,n_clusters=2)
#適配模型
model.fit(X)
#為每個示例分配一個集群
yhat=model.predict(X)
#檢索唯一群集
clusters=unique(yhat)
#為每個群集的樣本創建散點圖
forclusterinclusters:
#獲取此群集的示例的行索引
row_ix=where(yhat==cluster)
#創建這些樣本的散布
pyplot.scatter(X[row_ix,0],X[row_ix,1])
#繪制散點圖
pyplot.show()
運行該示例符合訓練數據集上的模型，并預測數據集中每個示例的群集。然后創建一個散點圖，并由其指定的群集著色。在這種情況下，可以找到一個很好的分組。
…我們提出了新的聚類算法 DBSCAN 依賴于基于密度的概念的集群設計，以發現任意形狀的集群。DBSCAN 只需要一個輸入參數，并支持用戶為其確定適當的值
-源自：《基于密度的噪聲大空間數據庫聚類發現算法》，1996
它是通過 DBSCAN 類實現的，主要配置是“ eps ”和“ min _ samples ”超參數。
下面列出了完整的示例。
#dbscan聚類
fromnumpyimportunique
fromnumpyimportwhere
fromsklearn.datasetsimportmake_classification
fromsklearn.clusterimportDBSCAN
frommatplotlibimportpyplot
#定義數據集
X,_=make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4)
#定義模型
model=DBSCAN(eps=0.30,min_samples=9)
#模型擬合與聚類預測
yhat=model.fit_predict(X)
#檢索唯一群集
clusters=unique(yhat)
#為每個群集的樣本創建散點圖
forclusterinclusters:
#獲取此群集的示例的行索引
row_ix=where(yhat==cluster)
#創建這些樣本的散布
pyplot.scatter(X[row_ix,0],X[row_ix,1])
#繪制散點圖
pyplot.show()
運行該示例符合訓練數據集上的模型，并預測數據集中每個示例的群集。然后創建一個散點圖，并由其指定的群集著色。在這種情況下，盡管需要更多的調整，但是找到了合理的分組。
它是通過 K-均值類實現的，要優化的主要配置是“ n _ clusters ”超參數設置為數據中估計的群集數量。下面列出了完整的示例。本文的主要目的是描述一種基于樣本將 N 維種群劃分為 k 個集合的過程。這個叫做“ K-均值”的過程似乎給出了在類內方差意義上相當有效的分區。
-源自：《關于多元觀測的分類和分析的一些方法》1967年
#k-means聚類
fromnumpyimportunique
fromnumpyimportwhere
fromsklearn.datasetsimportmake_classification
fromsklearn.clusterimportKMeans
frommatplotlibimportpyplot
#定義數據集
X,_=make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4)
#定義模型
model=KMeans(n_clusters=2)
#模型擬合
model.fit(X)
#為每個示例分配一個集群
yhat=model.predict(X)
#檢索唯一群集
clusters=unique(yhat)
#為每個群集的樣本創建散點圖
forclusterinclusters:
#獲取此群集的示例的行索引
row_ix=where(yhat==cluster)
#創建這些樣本的散布
pyplot.scatter(X[row_ix,0],X[row_ix,1])
#繪制散點圖
pyplot.show()
運行該示例符合訓練數據集上的模型，并預測數據集中每個示例的群集。然后創建一個散點圖，并由其指定的群集著色。在這種情況下，可以找到一個合理的分組，盡管每個維度中的不等等方差使得該方法不太適合該數據集。
它是通過 MiniBatchKMeans 類實現的，要優化的主配置是“ n _ clusters ”超參數，設置為數據中估計的群集數量。下面列出了完整的示例。...我們建議使用 k-均值聚類的迷你批量優化。與經典批處理算法相比，這降低了計算成本的數量級，同時提供了比在線隨機梯度下降更好的解決方案。
—源自：《Web-Scale K-均值聚類》2010
#mini-batchk均值聚類
fromnumpyimportunique
fromnumpyimportwhere
fromsklearn.datasetsimportmake_classification
fromsklearn.clusterimportMiniBatchKMeans
frommatplotlibimportpyplot
#定義數據集
X,_=make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4)
#定義模型
model=MiniBatchKMeans(n_clusters=2)
#模型擬合
model.fit(X)
#為每個示例分配一個集群
yhat=model.predict(X)
#檢索唯一群集
clusters=unique(yhat)
#為每個群集的樣本創建散點圖
forclusterinclusters:
#獲取此群集的示例的行索引
row_ix=where(yhat==cluster)
#創建這些樣本的散布
pyplot.scatter(X[row_ix,0],X[row_ix,1])
#繪制散點圖
pyplot.show()
運行該示例符合訓練數據集上的模型，并預測數據集中每個示例的群集。然后創建一個散點圖，并由其指定的群集著色。在這種情況下，會找到與標準 K-均值算法相當的結果。
它是通過 MeanShift 類實現的，主要配置是“帶寬”超參數。下面列出了完整的示例。對離散數據證明了遞推平均移位程序收斂到最接近駐點的基礎密度函數，從而證明了它在檢測密度模式中的應用。
—源自：《Mean Shift ：面向特征空間分析的穩健方法》，2002
#均值漂移聚類
fromnumpyimportunique
fromnumpyimportwhere
fromsklearn.datasetsimportmake_classification
fromsklearn.clusterimportMeanShift
frommatplotlibimportpyplot
#定義數據集
X,_=make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4)
#定義模型
model=MeanShift()
#模型擬合與聚類預測
yhat=model.fit_predict(X)
#檢索唯一群集
clusters=unique(yhat)
#為每個群集的樣本創建散點圖
forclusterinclusters:
#獲取此群集的示例的行索引
row_ix=where(yhat==cluster)
#創建這些樣本的散布
pyplot.scatter(X[row_ix,0],X[row_ix,1])
#繪制散點圖
pyplot.show()
運行該示例符合訓練數據集上的模型，并預測數據集中每個示例的群集。然后創建一個散點圖，并由其指定的群集著色。在這種情況下，可以在數據中找到一組合理的群集。
它是通過 OPTICS 類實現的，主要配置是“ eps ”和“ min _ samples ”超參數。下面列出了完整的示例。我們為聚類分析引入了一種新的算法，它不會顯式地生成一個數據集的聚類；而是創建表示其基于密度的聚類結構的數據庫的增強排序。此群集排序包含相當于密度聚類的信息，該信息對應于范圍廣泛的參數設置。
—源自：《OPTICS ：排序點以標識聚類結構》，1999
#optics聚類
fromnumpyimportunique
fromnumpyimportwhere
fromsklearn.datasetsimportmake_classification
fromsklearn.clusterimportOPTICS
frommatplotlibimportpyplot
#定義數據集
X,_=make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4)
#定義模型
model=OPTICS(eps=0.8,min_samples=10)
#模型擬合與聚類預測
yhat=model.fit_predict(X)
#檢索唯一群集
clusters=unique(yhat)
#為每個群集的樣本創建散點圖
forclusterinclusters:
#獲取此群集的示例的行索引
row_ix=where(yhat==cluster)
#創建這些樣本的散布
pyplot.scatter(X[row_ix,0],X[row_ix,1])
#繪制散點圖
pyplot.show()
運行該示例符合訓練數據集上的模型，并預測數據集中每個示例的群集。然后創建一個散點圖，并由其指定的群集著色。在這種情況下，我無法在此數據集上獲得合理的結果。
它是通過 Spectral 聚類類實現的，而主要的 Spectral 聚類是一個由聚類方法組成的通用類，取自線性線性代數。要優化的是“ n _ clusters ”超參數，用于指定數據中的估計群集數量。下面列出了完整的示例。最近在許多領域出現的一個有希望的替代方案是使用聚類的光譜方法。這里，使用從點之間的距離導出的矩陣的頂部特征向量。
—源自：《關于光譜聚類：分析和算法》，2002年
#spectralclustering
fromnumpyimportunique
fromnumpyimportwhere
fromsklearn.datasetsimportmake_classification
fromsklearn.clusterimportSpectralClustering
frommatplotlibimportpyplot
#定義數據集
X,_=make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4)
#定義模型
model=SpectralClustering(n_clusters=2)
#模型擬合與聚類預測
yhat=model.fit_predict(X)
#檢索唯一群集
clusters=unique(yhat)
#為每個群集的樣本創建散點圖
forclusterinclusters:
#獲取此群集的示例的行索引
row_ix=where(yhat==cluster)
#創建這些樣本的散布
pyplot.scatter(X[row_ix,0],X[row_ix,1])
#繪制散點圖
pyplot.show()
運行該示例符合訓練數據集上的模型，并預測數據集中每個示例的群集。然后創建一個散點圖，并由其指定的群集著色。在這種情況下，找到了合理的集群。
#高斯混合模型
fromnumpyimportunique
fromnumpyimportwhere
fromsklearn.datasetsimportmake_classification
fromsklearn.mixtureimportGaussianMixture
frommatplotlibimportpyplot
#定義數據集
X,_=make_classification(n_samples=1000,n_features=2,n_informative=2,n_redundant=0,n_clusters_per_class=1,random_state=4)
#定義模型
model=GaussianMixture(n_components=2)
#模型擬合
model.fit(X)
#為每個示例分配一個集群
yhat=model.predict(X)
#檢索唯一群集
clusters=unique(yhat)
#為每個群集的樣本創建散點圖
forclusterinclusters:
#獲取此群集的示例的行索引
row_ix=where(yhat==cluster)
#創建這些樣本的散布
pyplot.scatter(X[row_ix,0],X[row_ix,1])
#繪制散點圖
pyplot.show()
運行該示例符合訓練數據集上的模型，并預測數據集中每個示例的群集。然后創建一個散點圖，并由其指定的群集著色。在這種情況下，我們可以看到群集被完美地識別。這并不奇怪，因為數據集是作為 Gaussian 的混合生成的。
三.總結
在本教程中，您發現了如何在 python 中安裝和使用頂級聚類算法。具體來說，你學到了：-
聚類是在特征空間輸入數據中發現自然組的無監督問題。
-
有許多不同的聚類算法，對于所有數據集沒有單一的最佳方法。
-
在 scikit-learn 機器學習庫的 Python 中如何實現、適合和使用頂級聚類算法。
審核編輯：湯梓紅
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
代碼
+關注
關注
30文章
4788瀏覽量
68612 -
聚類
+關注
關注
0文章
146瀏覽量
14214 -
python
+關注
關注
56文章
4797瀏覽量
84689
原文標題：10 種聚類算法的完整 Python 操作示例
文章出處：【微信號：magedu-Linux，微信公眾號：馬哥Linux運維】歡迎添加關注！文章轉載請注明出處。
發布評論請先 登錄
相關推薦
深非監督學習-Hierarchical clustering 層次聚類python的實現
【深度學習基礎-17】非監督學習-Hierarchical clustering 層次聚類-python實現
發表于 04-28 10:07
一種基于聚類和競爭克隆機制的多智能體免疫算法
包含分布式電源的配電網無功優化matlab源代碼，代碼按照高水平文章復現，保證正確，可先發您文章看是否滿足您的要求利用分布式電源的無功補償能力，提出了一種基于聚
發表于 12-29 06:50
一種聚類個數自適應的聚類方法（簡稱SKKM）
在數據挖掘算法中，K均值聚類算法是一種比較常見的無監督學習方法，簇間數據對象越相異，簇內數據對象越相似，說明該聚類效果越好。然而，簇個數的選
發表于 11-03 16:13
?12次下載
Python無監督學習的幾種聚類算法包括K-Means聚類,分層聚類等詳細概述
無監督學習是機器學習技術中的一類，用于發現數據中的模式。本文介紹用Python進行無監督學習的幾種聚類算法，包括K-Means
如何在python中安裝和使用頂級聚類算法?
以及每種算法的不同配置。在本教程中，你將發現如何在 python 中安裝和使用頂級聚類算法。 完成本教程后，你將知道： 聚類是在輸入數據的特
python軟件怎么運行代碼
Python是一種高級編程語言，它被廣泛用于開發各種類型的應用程序，從簡單的腳本到復雜的網絡應用和機器學習模型。要運行Python代碼，您需要一個P
工商網監
評論