作者：尹參軍 英特爾高級應用工程師

01Telemetry 介紹

Telemetry（遙測）是指Intel Developer Cloud 幫助開發(fā)者收集應用程序執(zhí)行時開發(fā)者指定的信息，并通過 UI 的形式展現(xiàn)的功能，該功能可以被啟動或關閉。

Intel Developer Cloud 提供的遙測指標，包括有關計算設備運行狀態(tài)和應用運行數(shù)據(jù)。在IntelDeveloper Cloud 的部分實例調(diào)用了 Telemetry Dashboard 模塊，我們可以通過運行這塊單元格來查看邊緣節(jié)點上運行應用過程中實際數(shù)據(jù)，這些數(shù)據(jù)對于想要為其應用程序做出數(shù)據(jù)驅動決策以確定適合其解決方案的最佳硬件的用戶來說是很有參考價值的。

Telemetry 涉及的內(nèi)容比較多，我們本文僅從 Telemetry 概念，功能做介紹，對于如何把 Telemetry 功能集成到自己的應用中去，我們后面會再做分析。

02Telemetry 流程

Intel Developer Cloud示例的整體工作流程如下：

圖 1-1 工作流程圖

1．注冊 Intel Developer Cloud

2．啟動并打開 Jupyter Notebook

3．使用指定的目標硬件開發(fā)模型并將作業(yè)發(fā)送到作業(yè)隊列

4. 應用運行時調(diào)用 Telemetry 接口記錄數(shù)據(jù)

5．指標/結果由 Jupyter Notebook 訪問

6．通過 Grafana 儀表板生成遙測數(shù)據(jù)

Telemetry 數(shù)據(jù)包含在給定作業(yè)運行期間的應用程序詳細信息——即：平均推理時間 (MS)、推理計數(shù)、目標硬件。它還包括以下指標：每秒幀數(shù)、推理時間、推理期間的 CPU/GPU 使用率、平均 CPU/GPU 溫度以及推理期間的內(nèi)存使用率。

03裸機實例演示

Step1. 進入 Jupyter Lab 環(huán)境

登錄主頁后，選擇“Bare Metal Deployment”的 “Get Started”，進入 Jupyter Notebook 開發(fā)環(huán)境。

圖 2-1 點擊進入Jupyter Notebook

Step2. 運行參考實例

這次我們并不去細究 Telemetry 調(diào)用，所以選擇已經(jīng)集成了 Telemetry 的預置實例——物體檢測。我在多個介紹文章里選擇把這個預置實例拎出來，主要是因為它功能非常齊全，很適合做演示。當然平臺還有很多預置程序，可以自行去探索，大可不必局限于這個實例。

進入Jupyter Notebook開發(fā)環(huán)境后，依次點擊文件夾：

~/Reference-samples/iot-devcloud/openvino-dev-latest/developer-samples/python/

然后找到 object-detection-python 應用，打開 object_detection_demo.ipynb 文件：

依次運行 notebook 上模塊（Cell），需要注意的是要等在邊緣節(jié)點上的應用運行完畢后，再去點擊 notebook 最后 Telemetry Dashboard 模塊，會生成進入 Telemetry 數(shù)據(jù)頁面的鏈接地址，點擊即可進入數(shù)據(jù)頁面，觀察邊緣設備運行對象檢測應用的數(shù)據(jù)指標。注意：數(shù)據(jù)收集發(fā)生在應用過程，并隨應用終止而結束，需等收集結束后才可查看數(shù)據(jù)。

圖 2-2 Submit jobs

圖 2-3 Telemetry Dashboard

圖 2-4 觀察數(shù)據(jù)

04總結

Telemetry 雖然功能簡單，卻是十分關鍵。獲取AI應用執(zhí)行過程中設備的狀態(tài)，通過數(shù)據(jù)分析，找到一個更合理的硬件搭配，發(fā)現(xiàn)我們設備資源瓶頸，才能更好地優(yōu)化我們的方案。

上面只是演示了裸機部署實例，在 DevCloud 容器化環(huán)境下也是支持 Telemetry 功能的，原理一樣，這里不再贅述，可以自行去探索一下。

審核編輯：湯梓紅