本文介紹了如何在樹莓派上,使用 OpenCV 和 Python 完成人臉檢測(cè)項(xiàng)目。該項(xiàng)目不僅描述了識(shí)別人臉?biāo)枰木唧w步驟,同時(shí)還提供了很多擴(kuò)展知識(shí)。此外,該項(xiàng)目并不需要讀者了解詳細(xì)的人臉識(shí)別理論知識(shí),因此初學(xué)者也能輕松跟著步驟實(shí)現(xiàn)。
項(xiàng)目所需設(shè)備
硬件:
樹莓派 3 Model B;
樹莓派攝像頭模塊(PiCam)。
語言和庫:
OpenCV
Python 3
步驟
本文主要講述如何使用 PiCam 實(shí)現(xiàn)實(shí)時(shí)人臉識(shí)別,如下圖所示:
本教程使用 OpenCV 完成,一個(gè)神奇的「開源計(jì)算機(jī)視覺庫」,并主要關(guān)注樹莓派(因此,操作系統(tǒng)是樹莓派系統(tǒng))和 Python,但是我也在 Mac 電腦上測(cè)試了代碼,同樣運(yùn)行很好。OpenCV 具備很強(qiáng)的計(jì)算效率,且專門用于實(shí)時(shí)應(yīng)用。因此,它非常適合使用攝像頭的實(shí)時(shí)人臉識(shí)別。要?jiǎng)?chuàng)建完整的人臉識(shí)別項(xiàng)目,我們必須完成3個(gè)階段:
1)人臉檢測(cè)和數(shù)據(jù)收集;
2)訓(xùn)練識(shí)別器;
3)人臉識(shí)別。
如下圖所示:
第1步:材料清單
主件:
樹莓派 V3:283 RMB(淘寶)
500 萬像素 1080p 傳感器 OV5647 迷你攝像頭模塊:83 RMB(淘寶)
第2步:安裝OpenCV 3包
我使用的是更新了最新版樹莓派系統(tǒng)(Stretch)的樹莓派 V3,因此安裝 OpenCV 的最佳方式是按照 Adrian Rosebrock 寫的教程來進(jìn)行:《Raspbian Stretch: Install OpenCV 3 + Python on your Raspberry Pi》。經(jīng)過幾次嘗試后,我覺得Adrian的教程最好,建議按照該教程一步步來安裝。
完成上述教程之后,你應(yīng)該安裝好了 OpenCV 虛擬環(huán)境,可用于在樹莓派設(shè)備上運(yùn)行本次實(shí)驗(yàn)。
我們來到虛擬環(huán)境,確認(rèn) OpenCV 3 已經(jīng)正確安裝。
Adrian 推薦在每次打開新的終端時(shí)都運(yùn)行命令行「source」,以確保系統(tǒng)變量都得到正確設(shè)置。
source ~/.profile
然后,我們進(jìn)入虛擬環(huán)境:
workon cv
如果你看到 (cv) 出現(xiàn)在提示符之前,那么你就進(jìn)入了 cv 虛擬環(huán)境:
(cv) pi@raspberry:~$
Adrian 希望大家注意 cv Python 虛擬環(huán)境是完全獨(dú)立的,且與 Raspbian Stretch 中包含的默認(rèn) Python 版本彼此隔絕。因此,全局站點(diǎn)包目錄中的任意 Python 包對(duì)于 cv 虛擬環(huán)境而言都是不可用的。類似地,cv 站點(diǎn)包中的任意 Python 包對(duì)于全局 Python 包安裝也都是不可用的。
現(xiàn)在,進(jìn)入 Python 解釋器:
python
確認(rèn)你正在運(yùn)行3.5(或以上)版本。
在解釋器內(nèi)部(將出現(xiàn)》》》),導(dǎo)入 OpenCV 庫:
importcv2
如果沒有錯(cuò)誤信息,則 OpenCV 已在你的 Python 虛擬環(huán)境中正確安裝。
你還可以檢查已安裝的 OpenCV 版本:
cv2.__version__
將會(huì)出現(xiàn)3.3.0(或未來有可能發(fā)布更高版本)。
上面的終端截圖顯示了以上步驟。
第3步:測(cè)試攝像頭
在樹莓派上安裝 OpenCV 之后,我們測(cè)試一下,以確認(rèn)攝像頭正常運(yùn)轉(zhuǎn)。假設(shè)你已經(jīng)在樹莓派上安裝了 PiCam。
在 IDE 中輸入下列 Python 代碼:
importnumpy asnp
importcv2
cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height
while(True):
ret, frame = cap.read()
frame = cv2.flip(frame, -1) # Flip camera vertically
gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
cv2.imshow(‘frame’, frame)
cv2.imshow(‘gray’, gray)
k = cv2.waitKey(30) & 0xff
ifk == 27: # press ‘ESC’ to quit
break
cap.release()
cv2.destroyAllWindows()
上面的代碼可捕捉PiCam生成的視頻流,用BGR顏色和灰色模式展示。
注意:我按照組裝方式垂直旋轉(zhuǎn)了攝像頭。如果你的情況并非如此,那么注釋或刪除「flip」命令行。
你還可以從我的 GitHub 下載代碼:https://github.com/Mjrovai/OpenCV-Object-Face-Tracking/blob/master/simpleCamTest.py
輸入下面的命令行,開始執(zhí)行:
python simpleCamTest.py
要完成該程序,你必須在鍵盤上按 [ESC] 鍵。在按 [ESC] 鍵之前,先鼠標(biāo)點(diǎn)擊視頻窗口。
上圖展示了結(jié)果。
想更多地了解 OpenCV,請(qǐng)查看該教程:https://pythonprogramming.net/loading-video-python-opencv-tutorial/
第4步:人臉檢測(cè)
人臉識(shí)別的最基礎(chǔ)任務(wù)是「人臉檢測(cè)」。你必須首先「捕捉」人臉(第 1 階段)才能在未來與捕捉到的新人臉對(duì)比時(shí)(第 3 階段)識(shí)別它。
最常見的人臉檢測(cè)方式是使用「Haar 級(jí)聯(lián)分類器」。使用基于 Haar 特征的級(jí)聯(lián)分類器的目標(biāo)檢測(cè)是 Paul Viola 和 Michael Jones 2001 年在論文《Rapid Object Detection using a Boosted Cascade of Simple Features》中提出的一種高效目標(biāo)檢測(cè)方法。這種機(jī)器學(xué)習(xí)方法基于大量正面、負(fù)面圖像訓(xùn)練級(jí)聯(lián)函數(shù),然后用于檢測(cè)其他圖像中的對(duì)象。這里,我們將用它進(jìn)行人臉識(shí)別。最初,該算法需要大量正類圖像(人臉圖像)和負(fù)類圖像(不帶人臉的圖像)來訓(xùn)練分類器。然后我們需要從中提取特征。好消息是 OpenCV 具備訓(xùn)練器和檢測(cè)器。如果你想要訓(xùn)練自己的對(duì)象分類器,如汽車、飛機(jī)等,你可以使用 OpenCV 創(chuàng)建一個(gè)。
詳情參見:https://docs.opencv.org/3.3.0/dc/d88/tutorial_traincascade.html。
如果不想創(chuàng)建自己的分類器,OpenCV 也包含很多預(yù)訓(xùn)練分類器,可用于人臉、眼睛、笑容等的檢測(cè)。相關(guān)的 XML 文件可從該目錄下載:https://github.com/Itseez/opencv/tree/master/data/haarcascades。
下面,我們就開始用 OpenCV 創(chuàng)建人臉檢測(cè)器吧!
從我的 GitHub 下載文件 faceDetection.py:https://github.com/Mjrovai/OpenCV-Face-Recognition/blob/master/FaceDetection/faceDetection.py。
importnumpy asnp
importcv2
faceCascade = cv2.CascadeClassifier(‘Cascades/haarcascade_frontalface_default.xml’)
cap = cv2.VideoCapture(0)
cap.set(3,640) # set Width
cap.set(4,480) # set Height
whileTrue:
ret, img = cap.read()
img = cv2.flip(img, -1)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = faceCascade.detectMultiScale(
gray,
scaleFactor=1.2,
minNeighbors=5,
minSize=(20, 20)
)
for(x,y,w,h) infaces:
cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
roi_gray = gray[y:y+h, x:x+w]
roi_color = img[y:y+h, x:x+w]
cv2.imshow(‘video’,img)
k = cv2.waitKey(30) & 0xff
ifk == 27: # press ‘ESC’ to quit
break
cap.release()
cv2.destroyAllWindows()
使用 Python 和 OpenCV 執(zhí)行人臉檢測(cè),上面的幾行代碼就足夠了。注意下面的代碼:
faceCascade = cv2.CascadeClassifier(‘Cascades/haarcascade_frontalface_default.xml’)
這行代碼可以加載「分類器」(必須在項(xiàng)目文件夾下面的 Cascades/目錄中)。然后,我們?cè)谠谘h(huán)內(nèi)部調(diào)用攝像頭,并以 grayscale 模式加載我們的輸入視頻。現(xiàn)在,我們必須調(diào)用分類器函數(shù),向其輸入一些非常重要的參數(shù),如比例因子、鄰近數(shù)和人臉檢測(cè)的最小尺寸。
faces = faceCascade.detectMultiScale(
gray,
scaleFactor=1.2,
minNeighbors=5,
minSize=(20, 20)
)
其中:
gray 表示輸入 grayscale 圖像。
scaleFactor 表示每個(gè)圖像縮減的比例大小。
minNeighbors 表示每個(gè)備選矩形框具備的鄰近數(shù)量。數(shù)字越大,假正類越少。
minSize 表示人臉識(shí)別的最小矩形大小。
該函數(shù)將檢測(cè)圖像中的人臉。接下來,我們必須「標(biāo)記」圖像中的人臉,比如,用藍(lán)色矩形。使用下列代碼完成這一步:
for(x,y,w,h) infaces:
cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2)
roi_gray = gray[y:y+h, x:x+w]
roi_color = img[y:y+h, x:x+w]
如果已經(jīng)標(biāo)記好人臉,則函數(shù)將檢測(cè)到的人臉的位置返回為一個(gè)矩形,左上角 (x,y),w 表示寬度,h 表示高度 ==》 (x,y,w,h)。詳見下圖。
得到這些位置信息后,我們可以為人臉創(chuàng)建一個(gè)「感興趣區(qū)域」(繪制矩形),用 imshow() 函數(shù)呈現(xiàn)結(jié)果。使用樹莓派終端,在你的 Python 環(huán)境中運(yùn)行上面的 Python 腳本:
python faceDetection.py
結(jié)果如下:
你也可以加入諸如「眼睛檢測(cè)」甚至「微笑檢測(cè)」這樣的檢測(cè)器。在那些用例中,你需要把分類器函數(shù)和矩形框內(nèi)加入原有的面部識(shí)別區(qū)域中,因?yàn)樵趨^(qū)域外進(jìn)行識(shí)別沒有意義。
注意,在樹莓派上,分類方法(HaarCascades)會(huì)消耗大量算力,所以在同一代碼中使用多個(gè)分類器將會(huì)顯著減慢處理速度。在臺(tái)式機(jī)上運(yùn)行這些算法則非常容易。
在我的 GitHub上你可以看到另外的例子:
faceEyeDetection.py
faceSmileDetection.py
faceSmileEyeDetection.py
在下圖中,你可以看到我們的結(jié)果:
要想深入理解面部識(shí)別,可以參考這一教程:https://pythonprogramming.net/haar-cascade-face-eye-detection-python-opencv-tutorial/
第5步:收集數(shù)據(jù)
我推薦各位讀者可以查看以下兩個(gè)關(guān)于人臉識(shí)別的教程:
使用 OpenCV 和 Python 從頭實(shí)現(xiàn)人臉識(shí)別:https://www.superdatascience.com/opencv-face-recognition/
理解人臉識(shí)別:https://thecodacus.com/category/opencv/face-recognition/
現(xiàn)在,我們項(xiàng)目的第一步是創(chuàng)建一個(gè)簡(jiǎn)單的數(shù)據(jù)集,該數(shù)據(jù)集將儲(chǔ)存每張人臉的 ID 和一組用于人臉檢測(cè)的灰度圖。
因此,以下命令行將為我們的項(xiàng)目創(chuàng)建一個(gè)目錄,目錄名可以如以下為 FacialRecognitionProject 或其它:
mkdir FacialRecognitionProject
在該目錄中,除了我們?yōu)轫?xiàng)目創(chuàng)建的 3 個(gè) Python 腳本外,我們還需要儲(chǔ)存人臉分類器。我們可以從 GitHub 中下載:haarcascade_frontalface_default.xml。
下一步需要?jiǎng)?chuàng)建一個(gè)子目錄「dtatset」,并用它來儲(chǔ)存人臉樣本:
mkdir dataset
然后從我的 GitHub 中下載代碼 01_face_dataset.py。
importcv2
importos
cam = cv2.VideoCapture(0)
cam.set(3, 640) # set video width
cam.set(4, 480) # set video height
face_detector = cv2.CascadeClassifier(‘haarcascade_frontalface_default.xml’)
# For each person, enter one numeric face id
face_id = input(‘n enter user id end press 《return》 ==》 ’)
print(“n [INFO] Initializing face capture. Look the camera and wait 。。。”)
# Initialize individual sampling face count
count = 0
while(True):
ret, img = cam.read()
img = cv2.flip(img, -1) # flip video image vertically
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = face_detector.detectMultiScale(gray, 1.3, 5)
for(x,y,w,h) infaces:
cv2.rectangle(img, (x,y), (x+w,y+h), (255,0,0), 2)
count += 1
# Save the captured image into the datasets folder
cv2.imwrite(“dataset/User.”+ str(face_id) + ‘。’+ str(count) + “.jpg”, gray[y:y+h,x:x+w])
cv2.imshow(‘image’, img)
k = cv2.waitKey(100) & 0xff# Press ‘ESC’ for exiting video
ifk == 27:
break
elifcount 》= 30: # Take 30 face sample and stop video
break
# Do a bit of cleanup
print(“n [INFO] Exiting Program and cleanup stuff”)
cam.release()
cv2.destroyAllWindows()
上述的代碼和人臉識(shí)別的代碼非常像,我們只是添加了一個(gè)「input command」來捕捉用戶 ID(整數(shù))。
face_id = input(‘n enter user id end press ==》 ’)
對(duì)于每一個(gè)捕捉的幀,我們應(yīng)該在「dataset」目錄中保存為文檔:
cv2.imwrite(“dataset/User.”+ str(face_id) + ‘。’+ str(count) + “.jpg”, gray[y:y+h,x:x+w])
對(duì)于保存上述文件,我們需要導(dǎo)入「os」庫,每一個(gè)文件的名字都服從以下結(jié)構(gòu):
User.face_id.count.jpg
例如,對(duì)于 face_id = 1 的用戶,dataset/ 目錄下的第四個(gè)樣本文件名可能為:
User.1.4.jpg
在我的樹莓派中,該圖像可以打開為:
在我的代碼中,我從每一個(gè) ID 捕捉 30 個(gè)樣本,我們能在最后一個(gè)條件語句中修改抽取的樣本數(shù)。如果我們希望識(shí)別新的用戶或修改已存在用戶的相片,我們就必須以上腳本。
第六步:訓(xùn)練
在第二階段中,我們需要從數(shù)據(jù)集中抽取所有的用戶數(shù)據(jù),并訓(xùn)練 OpenCV 識(shí)別器,這一過程可由特定的 OpenCV 函數(shù)直接完成。這一步將在「trainer/」目錄中保存為.yml 文件。
所以,下面開始創(chuàng)建子目錄以儲(chǔ)存訓(xùn)練數(shù)據(jù):
mkdir trainer
從我的 GitHub 中下載第二個(gè) Python 腳本:02_face_training.py。
importcv2
importnumpy asnp
fromPIL importImage
importos
# Path for face image database
path = ‘dataset’
recognizer = cv2.face.LBPHFaceRecognizer_create()
detector = cv2.CascadeClassifier(“haarcascade_frontalface_default.xml”);
# function to get the images and label data
defgetImagesAndLabels(path):
imagePaths = [os.path.join(path,f) forf inos.listdir(path)]
faceSamples=[]
ids = []
forimagePath inimagePaths:
PIL_img = Image.open(imagePath).convert(‘L’) # convert it to grayscale
img_numpy = np.array(PIL_img,‘uint8’)
id = int(os.path.split(imagePath)[-1].split(“。”)[1])
faces = detector.detectMultiScale(img_numpy)
for(x,y,w,h) infaces:
faceSamples.append(img_numpy[y:y+h,x:x+w])
ids.append(id)
returnfaceSamples,ids
print(“n [INFO] Training faces. It will take a few seconds. Wait 。。。”)
faces,ids = getImagesAndLabels(path)
recognizer.train(faces, np.array(ids))
# Save the model into trainer/trainer.yml
recognizer.write(‘trainer/trainer.yml’) # recognizer.save() worked on Mac, but not on Pi
# Print the numer of faces trained and end program
print(“n [INFO] {0} faces trained. Exiting Program”.format(len(np.unique(ids))))
確定在 Rpi 中已經(jīng)安裝了 PIL 庫,如果沒有的話,在終端運(yùn)行以下命令:
pip install pillow
我們將使用 LBPH(LOCAL BINARY PATTERNS HISTOGRAMS)人臉識(shí)別器,它由 OpenCV 提供:
recognizer = cv2.face.LBPHFaceRecognizer_create()
函數(shù)「getImagesAndLabels (path)」將抽取所有在目錄「dataset/」中的照片,并返回 2 個(gè)數(shù)組:「Ids」和「faces」。通過將這些數(shù)組作為輸入,我們就可以訓(xùn)練識(shí)別器。
recognizer.train(faces, ids)
在訓(xùn)練過后,文件「trainer.yml」將保存在我們前面定義的 trainer 目錄下。此外,我們還在最后使用了 print 函數(shù)以確認(rèn)已經(jīng)訓(xùn)練的用戶面部數(shù)量。
第7步:識(shí)別器
這是該項(xiàng)目的最后階段。這里,我們將通過攝像頭捕捉一個(gè)新人臉,如果這個(gè)人的面孔之前被捕捉和訓(xùn)練過,我們的識(shí)別器將會(huì)返回其預(yù)測(cè)的 id 和索引,并展示識(shí)別器對(duì)于該判斷有多大的信心。
讓我們從 GitHub 03_face_recognition.py 上下載第三階段的 python 腳本。
importcv2
importnumpy asnp
importos
recognizer = cv2.face.LBPHFaceRecognizer_create()
recognizer.read(‘trainer/trainer.yml’)
cascadePath = “haarcascade_frontalface_default.xml”
faceCascade = cv2.CascadeClassifier(cascadePath);
font = cv2.FONT_HERSHEY_SIMPLEX
#iniciate id counter
id = 0
# names related to ids: example ==》 Marcelo: id=1, etc
names = [‘None’, ‘Marcelo’, ‘Paula’, ‘Ilza’, ‘Z’, ‘W’]
# Initialize and start realtime video capture
cam = cv2.VideoCapture(0)
cam.set(3, 640) # set video widht
cam.set(4, 480) # set video height
# Define min window size to be recognized as a face
minW = 0.1*cam.get(3)
minH = 0.1*cam.get(4)
whileTrue:
ret, img =cam.read()
img = cv2.flip(img, -1) # Flip vertically
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
faces = faceCascade.detectMultiScale(
gray,
scaleFactor = 1.2,
minNeighbors = 5,
minSize = (int(minW), int(minH)),
)
for(x,y,w,h) infaces:
cv2.rectangle(img, (x,y), (x+w,y+h), (0,255,0), 2)
id, confidence = recognizer.predict(gray[y:y+h,x:x+w])
# Check if confidence is less them 100 ==》 “0” is perfect match
if(confidence 《 100):
id = names[id]
confidence = “ {0}%”.format(round(100- confidence))
else:
id = “unknown”
confidence = “ {0}%”.format(round(100- confidence))
cv2.putText(img, str(id), (x+5,y-5), font, 1, (255,255,255), 2)
cv2.putText(img, str(confidence), (x+5,y+h-5), font, 1, (255,255,0), 1)
cv2.imshow(‘camera’,img)
k = cv2.waitKey(10) & 0xff# Press ‘ESC’ for exiting video
ifk == 27:
break
# Do a bit of cleanup
print(“n [INFO] Exiting Program and cleanup stuff”)
cam.release()
cv2.destroyAllWindows()
這里我們包含了一個(gè)新數(shù)組,因此我們將會(huì)展示「名稱」,而不是編號(hào)的 id:
names = [‘None’, ‘Marcelo’, ‘Paula’, ‘Ilza’, ‘Z’, ‘W’]
所以,如上所示的列表,Marcelo 的 ID 或索引為 1,Paula 的 ID 等于 2。
下一步,我們將檢測(cè)一張人臉,正如我們?cè)谥暗?haasCascade 分類器中所做的那樣。
id, confidence = recognizer.predict(gray portion of the face)
recognizer.predict () 將把待分析人臉的已捕捉部分作為一個(gè)參數(shù),并返回其可能的所有者,指示其 id 以及識(shí)別器與這一匹配相關(guān)的置信度。
注意,如果匹配是完美的,置信度指數(shù)將返回「零」。
最后,如果識(shí)別器可以預(yù)測(cè)人臉,我們將在圖像上放置一個(gè)文本,帶有可能的 id,以及匹配是否正確的概率(概率=100 - 置信度指數(shù))。如果沒有,則把「未知」的標(biāo)簽放在人臉上。
下面是這一結(jié)果的圖片:
在這張圖像上,我展示了一些由該項(xiàng)目完成的測(cè)試,其中我也使用圖像驗(yàn)證識(shí)別器是否有效。
第 8 步:結(jié)語
我希望該項(xiàng)目能幫助其他人發(fā)現(xiàn)更好玩的項(xiàng)目,也希望有助于各位讀者實(shí)現(xiàn)自己的人臉識(shí)別應(yīng)用。
-
人臉識(shí)別
+關(guān)注
關(guān)注
76文章
4012瀏覽量
81903 -
OpenCV
+關(guān)注
關(guān)注
31文章
635瀏覽量
41350 -
python
+關(guān)注
關(guān)注
56文章
4797瀏覽量
84688 -
樹莓派
+關(guān)注
關(guān)注
116文章
1707瀏覽量
105633
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論