上一篇文章已經(jīng)帶著大家安裝 DeepStream 的 Python 開(kāi)發(fā)環(huán)境，并且執(zhí)行最簡(jiǎn)單的 deepstream-test1.py，讓大家體驗(yàn)一下這個(gè)范例的效果。本文則進(jìn)一步以這個(gè) Python 代碼講解 DeepStream 插件工作流，并且擴(kuò)充 USB 攝像頭作為輸入，以及將輸出透過(guò) RTSP 轉(zhuǎn)發(fā)到其他電腦上觀看。

如果還未安裝 Python 環(huán)境或下載 Python 范例的，請(qǐng)至前一篇文章中找安裝與下載的步驟，這里不再重復(fù)。

前面文章中已經(jīng)簡(jiǎn)單提過(guò) DeepStream 所用到的插件內(nèi)容，但那只是整個(gè)框架中非常基礎(chǔ)的一小部分，本文要用代碼開(kāi)始解說(shuō)范例的時(shí)候，還是得將 Gstreamer 一些重要構(gòu)成元素之間的關(guān)系說(shuō)明清楚，這樣才能讓大家在代碼過(guò)程得以一目了然。

現(xiàn)在先把這個(gè) test1 范例的執(zhí)行流程先講解清楚，這樣在閱讀后面的代碼就會(huì)更加容易掌握上下之間的交互關(guān)系。這里的流程對(duì) C/C++ 版本與 Python 版本是完全一樣的，只不過(guò)代碼不過(guò)用 Python 來(lái)說(shuō)明：

首先 filesrc 數(shù)據(jù)源元件負(fù)責(zé)從磁盤(pán)上讀取視頻數(shù)據(jù)

h264parse 解析器元件負(fù)責(zé)對(duì)數(shù)據(jù)進(jìn)行解析

nvv4l2decoder 編碼器元件負(fù)責(zé)對(duì)數(shù)據(jù)進(jìn)行解碼

nvstreammux 流多路復(fù)用器元件負(fù)責(zé)批處理幀以實(shí)現(xiàn)最佳推理性能

nvinfer 推理元件負(fù)責(zé)實(shí)現(xiàn)加速推理

nvvideoconvert 轉(zhuǎn)換器元件負(fù)責(zé)將數(shù)據(jù)格式轉(zhuǎn)換為輸出顯示支持的格式

nvdsosd 可視化元件負(fù)責(zé)將邊框與文本等信息繪制到圖像中

nvegltransform 渲染元件和 nveglglessink 接收器元件負(fù)責(zé)輸出到屏幕上

建立 DeepStream 應(yīng)用程式的步驟與 Gstreamer 幾乎一樣，都是有固定的步驟，只要熟悉之后就會(huì)發(fā)現(xiàn)其實(shí)并沒(méi)有什么難度，接下去就開(kāi)始我們的執(zhí)行步驟。

創(chuàng)建 DeepStream 應(yīng)用的7大步驟初始化 Gstreamer 與創(chuàng)建管道（pipeline）

1. 初始化 Gstreamer 與創(chuàng)建管道（pipeline）

# 從“def main（args）：”開(kāi)始

GObject.threads_init（）

# 標(biāo)準(zhǔn)GStreamer初始化

Gst.init（None）

# 創(chuàng)建Gst物件與初始化

pipeline = Gst.Pipeline（）

# 創(chuàng)建與其他元素相連接的管道元素

2. 創(chuàng)建所有需要的元件（element）：用Gst.ElementFactory.make（） 創(chuàng)建所需要的元素，每個(gè)元素內(nèi)指定插件類(lèi)別（粗體部分）并給定名稱(chēng)（自行設(shè)定）：

# 階段1-處理輸入源的插件：

# 建立“源”元素負(fù)責(zé)從文件讀入數(shù)據(jù)

source = Gst.ElementFactory.make（“filesrc”， “file-source”）

# 解析文件是否為要求的h264格式

h264parser = Gst.ElementFactory.make（“h264parse”， “h264-parser”）

# 調(diào)用NVIDIA的nvdec_h264硬件解碼器

decoder = Gst.ElementFactory.make（“nvv4l2decoder”， “nvv4l2-decoder”）

# 創(chuàng)建nvstreammux實(shí)例，將單個(gè)或多個(gè)源數(shù)據(jù)，復(fù)用成一個(gè)“批（batch）”

streammux = Gst.ElementFactory.make（“nvstreammux”， “Stream-muxer”）

# 階段2-執(zhí)行推理的插件：

# 使用NVINFERE對(duì)解碼器的輸出執(zhí)行推理，推理行為是通過(guò)配置文件設(shè)置

pgie = Gst.ElementFactory.make（“nvinfer”， “primary-inference”）

# 階段3-處理輸出的插件：

# 根據(jù)nvosd的要求，使用轉(zhuǎn)換器將NV12轉(zhuǎn)換為RGBA

nvvidconv = Gst.ElementFactory.make（“nvvideoconvert”， “convertor”）

# 創(chuàng)建OSD以在轉(zhuǎn)換的RGBA緩沖區(qū)上繪制

nvosd = Gst.ElementFactory.make（“nvdsosd”， “onscreendisplay”）

# 最后將osd的繪制，進(jìn)行渲染后在屏幕上顯示結(jié)果

transform=Gst.ElementFactory.make（“nvegltransform”， “egltransform”）

sink = Gst.ElementFactory.make（“nveglglessink”， “nvvideo-renderer”）

3. 配置元件的參數(shù)：

# 以args［1］給定的文件名為輸入源視頻文件

source.set_property（‘location’， args［1］）

# 設(shè)定流復(fù)用器的尺寸、數(shù)量

streammux.set_property（‘width’， 1920）

streammux.set_property（‘height’， 1080）

streammux.set_property（‘batch-size’， 1）

streammux.set_property（‘batched-push-timeout’， 4000000）

# 設(shè)定pgie的配置文件

pgie.set_property（‘config-file-path’， “dstest1_pgie_config.txt”）

4. 將元件添加到導(dǎo)管之中：用pipeline.add（）

pipeline.add（source）

pipeline.add（h264parser）

pipeline.add（decoder）

pipeline.add（streammux）

pipeline.add（pgie）

pipeline.add（nvvidconv）

pipeline.add（nvosd）

pipeline.add（sink）

if is_aarch64（）：

pipeline.add（transform）

5. 將元件按照要求連接起來(lái)：本范例的管道流為file-source -》 h264-parser -》 nvh264-decoder -》 streammux -》 nvinfer -》 nvvidconv -》 nvosd -》 video-renderer

source.link（h264parser） # file-source -》 h264-parser

h264parser.link（decoder） # h264-parser -》 nvh264-decoder

# 下面粗線(xiàn)的三行，是streammux的特殊處理方式

sinkpad = streammux.get_request_pad（“sink_0”）

srcpad = decoder.get_static_pad（“src”）

srcpad.link（sinkpad）

streammux.link（pgie） # streammux -》 nvinfer

pgie.link（nvvidconv） # nvinfer -》 nvvidconv

nvvidconv.link（nvosd） # nvvidconv -》 nvosd

nvosd.link（transform） # nvosd -》 transform

transform.link（sink） # transform -》 video-renderer

前面5個(gè)步驟都是比較靜態(tài)的固定步驟，只要將想開(kāi)發(fā)的應(yīng)用所需要的插件元件進(jìn)行“創(chuàng)建”、“給值”、“連接”就可以。

接下去的部分是整個(gè)應(yīng)用中非常關(guān)鍵的靈魂，就是我們得為整個(gè)應(yīng)用去建構(gòu)“信息（message）傳遞系統(tǒng)”，這樣才能讓這個(gè)應(yīng)用與插件元件之間形成互動(dòng)，進(jìn)而正確執(zhí)行我們想要得到的結(jié)果。其相互關(guān)系圖如下，這里并不花時(shí)間去講解調(diào)用細(xì)節(jié)，想了解的請(qǐng)自行參考 Gstreamer 框架的詳細(xì)使用。

6. 創(chuàng)建一個(gè)事件循環(huán)（evnet loop）：將信息（mesages）傳入并監(jiān)控bus的信號(hào)

loop = GObject.MainLoop（）

bus = pipeline.get_bus（）

bus.add_signal_watch（）

bus.connect （“message”， bus_call， loop）

# 用osdsinkpad來(lái)確認(rèn)nvosd插件是否獲得輸入

osdsinkpad = nvosd.get_static_pad（“sink”）

# 添加探針（probe）以獲得生成的元數(shù)據(jù)的通知，我們將probe添加到osd元素的接收器板中，因?yàn)榈侥菚r(shí)，緩沖區(qū)將具有已經(jīng)得到了所有的元數(shù)據(jù)。

osdsinkpad.add_probe（Gst.PadProbeType.BUFFER，

osd_sink_pad_buffer_probe， 0）

注意粗體“osd_sink_pad_buffer_probe”部分，這是代碼中另一個(gè)重點(diǎn)，需要自行撰寫(xiě)代碼去執(zhí)行的部分，就是代碼中第41~126行的內(nèi)容，這里面的處理以“幀”為單位（在“while l_frame is not None：”里面），將該幀所檢測(cè)到的物件種類(lèi)進(jìn)行加總，并且將物件根據(jù)種類(lèi)的顏色畫(huà)出框框。

事實(shí)上在這80+行代碼中，真正與數(shù)據(jù)處理相關(guān)的部分，只有20行左右的內(nèi)容，注釋的部分占用不小的篇幅，這是作者為大家提供非常重要的說(shuō)明，只要耐心地去閱讀，就能輕松地掌握里面的要領(lǐng)。

7. 播放并收聽(tīng)事件：這部分就是個(gè)“啟動(dòng)器”，如同汽車(chē)鑰匙“執(zhí)行發(fā)動(dòng)”功能一樣。

# 配置導(dǎo)管狀態(tài)為PLAYING就可以

pipeline.set_state（Gst.State.PLAYING）

try：

loop.run（） # 執(zhí)行前面創(chuàng)建的事件循環(huán)

except：

pass

# 執(zhí)行結(jié)束之后，需要清除導(dǎo)管，將狀態(tài)為NULL就可以

pipeline.set_state（Gst.State.NULL）

以上就是建立DeepStream應(yīng)用的標(biāo)準(zhǔn)步驟，可以將“def main（args）：”部分的代碼當(dāng)作是個(gè)模板去加以利用。

至于“osd_sink_pad_buffer_probe”函數(shù)的作用，就是從osd接收器提取接收的元數(shù)據(jù)，并更新繪圖矩形、對(duì)象信息等的參數(shù)，里面的代碼也都是標(biāo)準(zhǔn)內(nèi)容，可以在別的應(yīng)用在重復(fù)套用。更多參數(shù)優(yōu)化的細(xì)節(jié)部分，須花時(shí)間詳細(xì)閱讀DeepStream開(kāi)發(fā)手冊(cè)。

接下來(lái)就實(shí)際執(zhí)行一下Python版本的deepstream-test1代碼，看看效果如何！

執(zhí)行deepstream_test_1.py

前面文章中已經(jīng)將NVIDIA/AI-IOT/deepstream-python-apps項(xiàng)目下載到Jetson Nano 2GB上的《deepstream《 span=“”》根目錄》/sources下面，現(xiàn)在就到這個(gè)目錄下去執(zhí)行

cd《deepstream《 span=“”》根目錄》/sources/deepstream_python_apps/apps

cd deepstream-test1

下面有執(zhí)行文件deepstream_test_1.py、配置文件dstest1_pgie_config.txt與說(shuō)明文件README，這個(gè)配置文件就是步驟3最后“pgie.set_property”里面指定的文件，在執(zhí)行文件里看不到任何與推理模型相關(guān)的內(nèi)容，原來(lái)都放在設(shè)定文件里面去指定了。

關(guān)于設(shè)定文件的參數(shù)設(shè)定部分，是相對(duì)容易了解的，這里不多花時(shí)間說(shuō)明，接下去直接執(zhí)行以下指令看看執(zhí)行結(jié)果：

python3 deepstream_test_1.py 。。/。。/。。/。。/samples/streams/sample_720p.h264

就能跑出我們熟悉的結(jié)果，

如果覺(jué)得左上方顯示的字體太小，請(qǐng)自行改動(dòng)代碼第110行的字體號(hào)數(shù)。字體放大到20號(hào)時(shí)候的顯示結(jié)果，現(xiàn)在就可以看到很清楚了。

到這里，相信您應(yīng)該對(duì)DeepStream代碼有更深層次的了解，在了解整個(gè)框架與工作流程之后，可以發(fā)現(xiàn)要開(kāi)發(fā)一個(gè)基礎(chǔ)應(yīng)用，并不是一件太困難的事情，不過(guò)建議您多反復(fù)閱讀代碼內(nèi)的每一行說(shuō)明，并且自行適度修改些參數(shù)看看效果會(huì)有什么變化，一旦熟悉這些邏輯與交互關(guān)系之后，就會(huì)覺(jué)得DeepStream其實(shí)很簡(jiǎn)單。

編輯：jq