瑞薩基于RZ/V2L AI MPU開發(fā)了大量可拿來即用的AI應(yīng)用程序，并提供源代碼、預(yù)編譯應(yīng)用程序二進(jìn)制文件和預(yù)訓(xùn)練的人工智能模型對象。您可以從各種用例中選擇感興趣的應(yīng)用程序，并立即在RZ/V2L評估板上運(yùn)行。截至當(dāng)前，已開發(fā)好13個(gè)預(yù)訓(xùn)練AI應(yīng)用程序庫：

01Head_count

功能描述：計(jì)算圖像或視頻中出現(xiàn)的人頭（側(cè)面視角）

02Line_crossing_object_counting

功能描述：識別是否有人越過了用戶繪制的虛擬線，并進(jìn)行人數(shù)計(jì)數(shù)

03Elderly_fall_detection

功能描述：檢查人體運(yùn)動(dòng)以判斷是否有跌倒事件

04Safety_helmet_vest_detection

功能描述：工服工帽檢測，識別工作是否穿戴了工作背心和安全帽

05Age_gender_detection

功能描述：預(yù)測年齡段和檢測人的性別

06Face_recognition_spoof_detection

功能描述：人臉識別及面部欺騙檢測，可區(qū)分真實(shí)人臉與非真實(shí)人臉（照片、視頻、面具）

07Animal_detection

功能描述：檢測給定圖像或Camera輸入中的特定動(dòng)物集

08Hand_gesture_recognition

功能描述：可識別特定識別手勢，如1、2、3、4、5，剪刀、石頭、布等

09Human_gaze_detection

功能描述：檢測并預(yù)測人的眼睛注視方向

10Driver_monitoring_system

功能描述：識別駕駛員的注意力狀態(tài)，包括頭部姿勢、眨眼睛、打哈欠等

11Head_count_topview

功能描述：計(jì)算圖像或視頻中出現(xiàn)的人頭（頂部視角）

12Hand_gesture_recognition_v2

功能描述：可識別特定的手勢，如1、2、3、4、5，剪刀、石頭、布等

13Car_ahead_departure_detection

功能描述：檢測前方汽車是否移動(dòng)

本文將介紹以上預(yù)訓(xùn)練庫中的第一個(gè)AI應(yīng)用：人頭計(jì)算應(yīng)用。該AI應(yīng)用可以動(dòng)態(tài)檢測Camera中的人員并進(jìn)行數(shù)量統(tǒng)計(jì)，可應(yīng)用在各種不同的場景中，例如

會議室監(jiān)控：通過對會議室中人數(shù)的計(jì)算得知會議室是否為空閑狀態(tài)

照明控制：通過對房間人數(shù)的計(jì)算控制燈光照明

車廂擁擠檢測：通過公交，地鐵，火車車廂內(nèi)人數(shù)的統(tǒng)計(jì)監(jiān)控?fù)頂D程度

示例程序運(yùn)行如下：

示例中提供了人頭計(jì)數(shù)API "PRET_HC()"。該API的輸入參數(shù)為圖像緩沖區(qū)地址以及圖像的高度和寬度。

在此應(yīng)用中，頭部檢測使用了YOLOv3模型，輸入圖像既可以是一副靜態(tài)圖片，也可以是攝像頭輸入視頻。

當(dāng)輸入為圖片時(shí)

用戶應(yīng)輸入圖像的相對路徑、寬度和高度。

圖像中的頭數(shù)會被檢測出來并顯示在終端上。

當(dāng)輸入為攝像頭時(shí)

攝像頭輸入經(jīng)適當(dāng)預(yù)處理后送入模型。

根據(jù)檢測到的頭部計(jì)算并顯示計(jì)數(shù)。

示例源碼

1側(cè)面視角

https://github.com/Ignitarium-Renesas/RZV2L_AiLibrary/tree/main/11_Head_count_topview

2頂部視角

https://github.com/Ignitarium-Renesas/RZV2L_AiLibrary/tree/main/01_Head_count

接下來我們介紹如何基于RZ/V2L AI SDK構(gòu)建該示例：

1示例應(yīng)用程序的編譯

這是一個(gè)可選步驟，因?yàn)?exe/ 文件夾中已有編譯好的應(yīng)用程序。這些步驟必須在支持RZ/V2L工具鏈的筆記本/電腦上執(zhí)行。

cd $work_dir
git clone https://github.com/Ignitarium-Renesas/RZV2L_AiLibrary 
cd RZV2L_AiLibrary/11_Head_count_topview/
make

左右滑動(dòng)查看完整內(nèi)容

2運(yùn)行示例應(yīng)用程序

在筆記本電腦上安裝：

從以下鏈接下載模型權(quán)重文件(*.dat)

https://github.com/Ignitarium-Renesas/RZV2L_AiLibrary/releases/tag/v1.2.5

將權(quán)重文件放置在正確位置

11_Head_count_topview/Head_count_topview_img/exe/yolov3_headcount_topview_img

或

11_Head_count_topview/Head_count_topview_usbcam/exe/yolov3_headcount_topview_cam

或

11_Head_count_topview/Head_count_topview_cam/exe/yolov3_headcount_topview_cam

現(xiàn)在，將RZV2L_AiLibrary 目錄復(fù)制到RZV2L板 (/home/root/)

請按照以下步驟操作：

當(dāng)輸入為圖片時(shí)

cd /home/root/RZV2L_AiLibrary 
cd 11_Head_detection_from_top/Head_count_topview_img/exe/
./headcount_topview_img_app
../test_images/01.bmp

左右滑動(dòng)查看完整內(nèi)容

當(dāng)輸入為USB攝像頭時(shí)

cd /home/root/RZV2L_AiLibrary 
cd 11_Head_count_topview/Head_count_topview_/exe/
./headcount_topview__app

左右滑動(dòng)查看完整內(nèi)容

審核編輯：湯梓紅