讓我們一起攻破世界上最流行的WordPress的驗證碼插件每個人都討厭驗證碼——在你被允許訪問一個網站之前，你總被要求輸入那些煩人的圖像中所包含的文本。驗證碼被設計成，以驗證你是一個真正的人的方式，來防止電腦自動填寫表單。但是隨著深度學習和計算機視覺的興起，它們現在往往很容易被攻破。我在讀Adrian Rosebrock的優秀的著作《Python計算機視覺深度學習》。在書中，Adrian簡單地描述了他如何用機器學習繞過E-ZPass New York網站的驗證碼：

Adrian沒有訪問生成驗證碼圖片的應用的源代碼的權限。為了破解這個系統，他不得不下載成百上千個示例圖像并手動解答它們，用以訓練他的深度學習系統。但是如果我們想打破一個開放源代碼的驗證碼系統，將會怎么樣？我去wordpress.org插件注冊表搜索“驗證碼”。最靠前的結果是一個叫“真正簡單的驗證碼”的插件，有超過100萬個活躍安裝：

并且最好的一點是，它開源！因為我們有生成驗證碼的源代碼，那么這應該是很容易破解的。為了讓事情更有挑戰性，讓我們給自己一個時間限制。我們是否能夠在15分鐘內破解這個驗證碼系統？讓我們試試看！重要提示：這絕不是針對“真正簡單的驗證碼”這個插件或它的作者的批評。插件作者本人也說，這個插件不再安全，建議您使用其他東西。這只是一個快速而有趣的技術挑戰。但是如果你是剩下的100萬個用戶中的一個，也許你應該切換到其他插件:)

挑戰開始

為了打造一個進攻計劃，讓我們先來看看這個插件會生成哪種類型的圖片。在演示站點上，我們看到這個：

好的，所以驗證碼圖像似乎是四個字母。讓我們在PHP源代碼中驗證這一點：

是的，它會產生一個四字母的驗證碼，并采用隨機組合的四種不同的字體。我們可以看到，它從不在代碼中使用“O”或“I”，以避免用戶混淆。這給了我們總共32個可能需要識別的字母和數字。沒問題！到目前為止時間過去：2分鐘。

我們的工具集

在我們進一步討論之前，讓我們說一下為了解決這個問題我們將會用到的工具：Python3Python是一種非常有趣的編程語言，它有很好的機器學習和計算機視覺庫。OpenCVOpenCV是一種流行的計算機視覺和圖像處理框架。我們將使用OpenCV來處理驗證碼圖像。它有一個Python應用接口，因此我們可以直接從Python中使用它。KerasKeras是一個由Python寫的深度學習的框架。它可以使我們用最少的代碼，方便地定義、訓練和使用深層神經網絡。TensorFlowTensorFlow是谷歌的機器學習庫。我們會在Keras中寫代碼，但Keras并沒有真正實現神經網絡的邏輯本身，它其實是在后臺調用谷歌的TensorFlow進行計算。好，現在讓我們回到挑戰！

創造我們的數據集

訓練任何機器學習系統，我們都需要訓練數據集。破解一個驗證碼系統，我們則需要訓練數據看起來像這樣：

這是唯一我不會給你示例代碼的部分。我們這樣做是為了教育，我不想讓你真的去黑WordPress網站。不過，我會給你我最后生成的這10000張圖像，以便你可以重復我的結果。到目前為止時間過去：5分鐘。

簡化問題

現在我們有了訓練數據，我們可以直接用它來訓練神經網絡：

有足夠的訓練數據，這種粗暴的方法甚至也行得通?-?但我們可以使問題更容易解決。問題越簡單，訓練數據越少，計算資源消耗就越少。畢竟我們只有15分鐘！幸運的是，驗證碼圖像總是由四個字母組成。如果我們能用某種方式把圖像分割開來，這樣每一個字母都是一個獨立的圖像，那么我們只需要訓練神經網絡一次識別一個字母：

我沒有時間瀏覽10000個訓練圖像，并在Photoshop中手動將它們分割成單獨的圖像。這將需要幾天，而我只剩下10分鐘了。而且我們不能將圖像分成四個相同大小的塊，因為驗證碼會將這些字母隨機放置在不同的水平位置：

每個圖像中的字母隨機放置，使分割圖像更難一些。

幸運的是，我們仍然可以自動執行此操作。在圖像處理中，我們經常需要檢測具有相同顏色的像素團。這些連續像素團周圍的邊界被稱為輪廓。OpenCV有一個內置的findContours()函數，可以用來檢測這些連續的區域。那么我們將從一個原始的驗證碼圖像開始：

然后，我們將圖像轉換為純黑白（這稱為閾值設定），這樣就很容易找到連續的區域：

接下來，我們將使用OpenCV的findContours()函數來檢測圖像中各個包含相同顏色像素的連續團：

那么只需將每個區域保存為一個單獨的圖像文件即可。而且由于我們知道每個圖像應該包含從左到右的四個字母，所以我們可以使用這些知識來標記字母。只要我們按順序保存它們，我們能夠用適當的字母名稱保存每個字母圖像。但是等等 —— 我看到一個問題！ 有時候驗證碼有這樣的重疊字母：

這意味著我們最終將提取將兩個字母拼湊在一起的區域：

如果我們不處理這個問題，我們最終會創建糟糕的訓練數據。我們需要解決這個問題，以免我們不小心讓機器把這兩個相連的字母識別為一個字母。

我們將把任何寬度比高度還長的區域對半分開，并把它當作兩個字母。這是很粗暴，但這么處理對識別這些驗證碼依然行得通。

現在我們有了一種提取單個字母的方法，讓我們在所有的CAPTCHA圖像上運行它。目標是收集每個字母的不同變化。我們可以將每個字母保存在自己的文件夾中。下面是我提取所有字母后，我的“W”文件夾的樣子：

從我們的10000個驗證碼圖像中提取的一些“W”字母。我一共得到了1147個不同的“W”圖像。到目前為止時間過去：10分鐘。

創建和訓練神經網絡

由于我們只需要識別單個字母和數字的圖像，我們不需要一個非常復雜的神經網絡架構。識別字母比識別諸如貓和狗的圖片這樣的復雜圖像要容易得多。我們將使用具有兩個卷積層和兩個完全連接層的簡單卷積神經網絡結構：

如果你想知道更多關于卷積神經網絡是如何工作的，為什么他們被用作圖像識別非常理想，請查看Adrian的書或我以前的文章。用Keras定義這個神經網絡體系結構只需要使用幾行代碼：

現在，我們可以開始訓練它了！

用訓練數據集訓練10次后，我們達到了近100％的準確度。現在，只要我們想，我們應該能夠自動繞過這個驗證碼了！我們做到了！到目前為止時間過去：15分鐘。（~!）

使用訓練的模型破解驗證碼

現在，我們有一個訓練有素的神經網絡，用它來破解真正的驗證碼非常簡單：1.從使用該WordPress插件的網站抓取真實的驗證碼圖像。2.使用我們用來創建訓練數據集的相同方法，將驗證碼圖像分解為四個單獨的字母圖像。3.要求我們的神經網絡對每個字母圖像做一個單獨的預測。4.使用四個預測字母作為驗證碼的答案。5.愉快的玩耍吧以下是我們的模型如何解碼真正的驗證碼

或者從命令行