import matplotlib.pyplot as plt
import cv2
plt.figure(figsize=(20,20))
tama?o = 50
for i, (imagen, etiqueta) in enumerate(datos['train'].take(25)):
imagen = cv2.resize(imagen.numpy(), (tama?o, tama?o))
plt.subplot(5, 5, i+1)
plt.imshow(imagen)

?

3.拆分數據庫進行訓練

train_data = []
for i, (imagen, etiqueta) in enumerate(datos['train']):
imagen = cv2.resize(imagen.numpy(), (tama?o, tama?o))
imagen = imagen.reshape(tama?o, tama?o, 3)
train_data.append([imagen, etiqueta])

#Prepare my variables X (inputs) and y (labels) separately
X_data = [] #imagenes de entrada (pixeles)
y_data = [] #etiquetas
for imagen, etiqueta in train_data:
X_data.append(imagen)
y_data.append(etiqueta)

4.將Xdata和Ydata轉換為數組

import numpy as np
X_data = np.array(X_data).astype(float) / 255

y_data = np.array(y_data)

5. 構建神經網絡：初始層、隱藏層和輸出層具有各自的激活函數

modeloCNN = tf.keras.models.Sequential([
tf.keras.layers.Conv2D(32, (3,3), activation='relu', input_shape=(50, 50, 3)),
tf.keras.layers.MaxPooling2D(2, 2),
tf.keras.layers.Conv2D(64, (3,3), activation='relu'),
tf.keras.layers.MaxPooling2D(2, 2),
tf.keras.layers.Conv2D(128, (3,3), activation='relu'),
tf.keras.layers.MaxPooling2D(2, 2),
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(100, activation='relu'),
tf.keras.layers.Dense(38, activation='softmax')
])

?

6.我們編譯模型：

modeloCNN.compile(optimizer='adam',
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
modeloCNN2.compile(optimizer='adam',
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])

7.我們重新訓練模型：

from tensorflow.keras.callbacks import TensorBoard
from tensorflow.keras.preprocessing.image import ImageDataGenerator
datagen = ImageDataGenerator(
rotation_range=30,
width_shift_range=0.2,
height_shift_range=0.2,
shear_range=15,
zoom_range=[0.7, 1.4],
horizontal_flip=True,
vertical_flip=True
)
datagen.fit(X_data)
plt.figure(figsize=(20,8))
for imagen, etiqueta in datagen.flow(X_data, y_data, batch_size=10, shuffle=False):
for i in range(10):
plt.subplot(2, 5, i+1)
plt.xticks([])
plt.yticks([])
plt.imshow(imagen[i].reshape(50, 50, 3))
break

from keras.models import Sequential
from keras.layers import Convolution2D, MaxPooling2D, Dropout
from keras.layers import Flatten, Dense
from keras.layers import Conv2D, GlobalAveragePooling2D
from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D
from keras.layers import Activation, Dropout, Flatten, Dense
from keras.layers import Conv2D, MaxPooling2D, GlobalAveragePooling2D
from keras.layers import Dropout, Flatten, Dense
from keras.models import Sequential

8. 我們創建初始模型：

modeloCNN_AD = tf.keras.models.Sequential([
tf.keras.layers.Conv2D(32, (3,3), activation='relu', input_shape=(50, 50, 3)),
tf.keras.layers.MaxPooling2D(2, 2),
tf.keras.layers.Conv2D(64, (3,3), activation='relu'),
tf.keras.layers.MaxPooling2D(2, 2),
tf.keras.layers.Conv2D(128, (3,3), activation='relu'),
tf.keras.layers.MaxPooling2D(2, 2),
tf.keras.layers.Flatten(),
tf.keras.layers.Dense(100, activation='relu'),
tf.keras.layers.Dense(38, activation='softmax')
])
X_train = X_data[:40000]
X_valid = X_data[40000:]
y_train = y_data[:40000]
y_valid = y_data[40000:]

modeloCNN_AD.compile(optimizer='adam',
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])

data_gen_train = datagen.flow(X_train, y_train, batch_size=32)

tensorboardCNN_AD = TensorBoard(log_dir='logs/cnn_AD')
modeloCNN_AD.fit(
data_gen_train,
epochs=100, batch_size=32,
validation_data=(X_valid, y_valid),
steps_per_epoch=int(np.ceil(len(X_train) / float(32))),
validation_steps=int(np.ceil(len(X_valid) / float(32))),
callbacks=[tensorboardCNN_AD]
)

9、訓練結果：

?

10.我們下載模型：

modeloCNN_AD.save('my_model-cnn-ad.h5')

模型量化

1. 將訓練和數據庫產生的模型導入 Vitis AI 中創建的量化代碼。

2.我們定義我們的量化模型：

def quantize(train_generator, model):
    
    # run quantization
    quantizer = vitis_quantize.VitisQuantizer(model)
    #quantizer = tfmot.quantization.keras.quantize_model(model)
    quantized_model = quantizer.quantize_model(calib_dataset=train_generator, calib_batch_size=10)

3.我們保存量化模型：

# save quantized model
    quantized_model.save('quantized_model.h5')
    return (quantized_model)

匯編

1. 創建 unarchivo llamado arch.json donde asignamos la configuración de la DPU

{
    "fingerprint":"0x1000020F6014406"
}

2. Aplicamos el comando source compile.sh donde aparece la ubicación del archivo arch.json。

compile() {
      vai_c_tensorflow2 \
            --model           quantized_model.h5 \
            --arch            $ARCH \
            --output_dir      build/compiled_$TARGET \
            --net_name        customcnn
}


compile 2>&1 | tee build/logs/compile_$TARGET.log

3.我們的模型生成的這些.xmodel文件通過SFTP連接上傳到板子。

sftp petalinux@ 

4.我們執行以下命令：

lcd ..
put -r compiled_$TARGET

5. 接下來，在開發板上啟動 petalinux，我們繼續創建以下文件：

• aiiference.json
• 繪制結果.json
• 預處理.json

6.這三個文件必須位于目錄中：

sudo cp yolov2tiny/aiinference.json /opt/xilinx/share/ivas/smartcam/ssd/aiinference.json
sudo cp yolov2tiny/preprocess.json /opt/xilinx/share/ivas/smartcam/ssd/preproces.json
sudo cp yolov2tiny/drawresult.json /opt/xilinx/share/ivas/smartcam/ssd/drawresult.json

7. 我們測試我們的項目在相機上運行良好，并且我們的機器學習模型運行良好：

sudo xmutil unloadapp
sudo xmutil loadapp kv260-smartcam
sudo smartcam --usb 0 -W 1920 -H 1080 --target rtsp --aitask ssd

?

使用 Pynq 配置傳感器

對于這個項目，我們需要啟用和使用 Pmod 端口并將傳感器與Pynq Grove 適配器連接。

我們將初步分析：

• 溫度
• 濕度
• 水位

?

?

?

?

1.創建一個目錄來包含我們需要的所有文件：

project-spec/meta-user/recipes-apps

2.創建一個.bb文件：

> vim python3-pynq-temp&hum.bb

3. 我們直接從根目錄安裝傳感器的包。

SRC_URI = "https://pynq.readthedocs.io/en/v2.0/_modules/pynq/lib/pmod/pmod_tmp2.html#:~:text=lib.pmod.pmod_tmp2-,Edit%20on%20GitHub,-Note" 
SRC_URI[md5sum] = "ac1bfe94a18301b26ae5110ea26ca596"
SRC_URI[sha256sum] = "f522c54c9418d1b1fdb6098cd7139439d47b041900000812c51200482d423460" 
SRCREV = "0e10a7ee06c3e7d873f4468e06e523e2d58d07f8"S = "${WORKDIR}/git"

inherit xilinx-pynq setuptools3

4. Xilinx-pynqclass 將創建一個PYNQ_NOTEBOOK_DIR變量，該變量將被打包在 notebook 子包中，但我們仍然需要確保環境正確，配方才能正確運行。在這種情況下，我們需要設置PYNQ_JUPYTER_NOTEBOOK環境變量。 BOARD setup.py還期望筆記本目錄存在，因此我們需要創建它。為此，我們可以在編譯的不同步驟之前添加說明。

do_compile_prepend() {   export BOARD=KV260   export PYNQ_JUPYTER_NOTEBOOKS=${D}${PYNQ_NOTEBOOK_DIR}}  
do_install_prepend() {   export BOARD=KV260   export PYNQ_JUPYTER_NOTEBOOKS=${D}${PYNQ_NOTEBOOK_DIR}  install -d ${PYNQ_JUPYTER_NOTEBOOKS}}  
do_configure_prepend() {   export BOARD=KV260   export PYNQ_JUPYTER_NOTEBOOKS=${D}${PYNQ_NOTEBOOK_DIR}  install -d ${PYNQ_JUPYTER_NOTEBOOKS}}

5. 我們需要定義獨立性。

RDEPENDS_${PN} += "\         
python3-pynq \         
python3-pillow \         
pynq-overlay \         
libstdc++ \         "  

RDEPENDS_${PN}-notebooks += "\         
python3-jupyter \ "

6. 運行：

> petalinux-build -c python3-pynq-temp&hum

7. 我們可能會遇到需要修復的兼容性錯誤，方法是創建一個用簡單添加替換格式字符串的補丁。

8. 我們必須將補丁放在一個子文件夾中才能被識別。

> mkdir python3-pynq-temp&hum 
> cp $patch_file python3-pynq-temp?hum/build-fixes.patch

有必要用一個頁面來告訴我們。

?

9. 現在我們必須執行命令，以便 Petalinux 識別新安裝的軟件包。

> cd ../../ 
> vim conf/user-rootfsconfig
CONFIG_python3-pynq-temp?hum 
CONFIG_python3-pynq-temp?hum-notebooks

> petalinux-config -c rootfs

10. 現在我們可以創建完整的圖像了：

> petalinux-build
> petalinux-package --boot --u-boot --atf --pmufw

11. 我們可以測試板子，它會給我們終端地址來直接啟動 Jupyter。

12. 我們為我們的傳感器運行代碼，它們可以在這個項目的最后找到。

谷歌云物聯網配置

為了實時可視化我們的作物并獲取傳感器記錄的圖表，我們使用 Jupyter Notebook 配置了 Google Cloud。

?

?

?

?

?

1 / 2

?

?

https://cloud.google.com/sql/docs/mysql/high-availability#normal

?

?

驚厥神經網絡模型的表格數據庫

它使用了 20 多種不同類型農作物的 5000 多張參考圖像，您可以在此處獲取。

?

賽后進展：我們希望能夠整合用于噴灑除草劑的電動泵系統、用于作物灌溉的水以及開發與谷歌云集成的移動應用程序，從而使農場實現自動化。

同樣，我們希望與賽靈思一起，通過 Pynq 實現更多對極端條件具有更強抵抗力的傳感器，以實時和持續監測新變量，例如磷、鉀的水平、氣體的存在、我們系統中的紅外攝像機。農業氣候監測。

非常感謝整個 Xilinx 團隊有機會使用最先進的產品開發項目，并隨時為我們提供支持，使該項目的開發得以實現。

?