在當今制造業轉型升級的浪潮中，工廠自動化正以前所未有的速度發展，而計算機視覺作為其中的關鍵一環，賦予了機器“看”和理解周圍環境的能力，可幫助工廠提高生產效率，優化產品質量，降低總成本，為制造業帶來了諸多變革。

計算機視覺在工廠自動化中的應用主要包括四個應用場景：

◆質量檢測：精準識別產品表面的微小缺陷，如劃痕、裂紋等，有效提升產品質量，降低次品率。

◆機器人技術與自動化：支持引導系統和拾取與放置功能，提升生產效率。

◆過程控制：實現對生產過程的實時監控及分揀和分級，提高可控性。

◆提升安全性：降低風險和確保合規，保障工廠安全運行。

隨著人工智能和深度學習算法的融入，計算機視覺的性能將得到進一步提升，能夠處理更復雜的任務，為工廠自動化提供更強大的支持。

為滿足工廠自動化計算機視覺應用的發展需求，意法半導體憑借深厚的技術積累與敏銳的市場洞察力，精心打造出一款基于STM32N6和STM32MP257的手勢識別與控制系統。該系統主要由三大部分構成：基于STM32N6的手勢識別與數據采集的感知部分，基于STM32MP257的數據轉換與處理任務的PLC部分，基于STM32G431實現運動控制與手勢跟隨的靈巧手部分。接下來，就讓我們深入探索這套系統的精妙之處。

感知部分：手勢識別與數據采集

系統的“眼睛”是攝像頭，它像不知疲倦的觀察者，實時采集手部視頻。而負責處理這些視頻的“智慧大腦”，則是STM32N6微控制器。它集成了意法半導體強大的Neural-ART加速器神經處理單元（NPU），在視覺數據處理方面有著卓越的計算能力，為手勢識別的高效與精準提供了堅實保障。

手勢識別技術采用的是Google提供的MediaPipe Hand Landmarker技術。其核心是深度卷積神經網絡（CNN）訓練出的掌部檢測與手部關鍵點檢測兩個模型，二者協同合作。掌部檢測模型率先在圖像中精準定位手部區域，并裁剪出手掌圖像；接著，手部關鍵點檢測模型在裁剪后的圖像上大展身手，迅速提取出21個關鍵點的xyz坐標（z軸代表相對深度信息）。

STM32N6憑借出色的計算能力，能讓手勢識別達到每秒超過30幀的高識別速率，真正實現實時處理。而且，借助ST的X-CUBE-AI軟件擴展包及ST提供的完整AI生態系統，該模型能輕松部署到STM32N6平臺，無需復雜優化即可高效運行。最后，STM32N6通過485總線，將計算得出的21個關鍵點坐標數據發送給PLC，為后續控制提供精確的輸入。

數據轉換與處理：關節角度計算與控制

數據處理的關鍵環節由基于STM32MP257的PLC承擔。STM32MP257是一款專為工業自動化打造的高性能工業級MPU，采用雙核Cortex-A35處理器和單核Cortex-M33組成的異構架構，擁有強大的計算和實時處理能力。豐富的通信接口、圖形加速、AI加速以及多種安全功能，使其在工業自動化、機器人控制和智能邊緣計算等領域大顯身手。

這款PLC的一大亮點是集成了CODESYS軟件平臺。它在自動化控制系統中應用廣泛，開發者可以通過它輕松創建、調試和部署控制程序，極大縮短開發周期。

在本系統里，PLC借助CODESYS平臺完成多項關鍵任務：

◆關節角度計算：根據視覺系統傳來的21個關鍵點坐標，精確計算每個手指三個關節的角度數據，并轉化為與機械手電機目標位置的映射關系；

◆數據處理與轉換：對關節角度數據進行坐標轉換、目標位置設定等處理，生成最終的控制幀；

◆實時通信與控制：通過標準CAN協議，將計算出的目標位置實時發送給機械手電機驅動系統，確保運動精確執行。

在本系統里，基于STM32MP257的PLC僅承擔數據轉換與傳輸的功能，但它的功能非常豐富，包括支持EtherCAT、Modbus TCP/RTU、Ethernet等常用的通信協議和邏輯控制功能，能靈活適應不同工業環境，連接和控制各種設備，保障系統在多樣化場景中穩定運行，同時STM32MP257也是異構架構，這意味著用戶將具備更多升級空間。

此外，ST還提供了基于STM32MP135的PLC方案。它與STM32MP257在整體結構上相似，主頻與網口數量稍差，但性價比較高。在實際工業自動化場景中用戶可以根據自身實際需求和預算，靈活選擇合適的PLC方案，為系統的優化和拓展提供了便利。

靈巧手部分：運動控制與手勢跟隨

本系統選用睿研RY-H1靈巧手進行跟隨演示，它就像一位訓練有素的“模仿大師”。這款機械手有15個自由度和20個運動關節，內置15個高速精密空心杯電機，創新的直線驅動設計讓它高度仿生，動作協調自然，擬人度極高。而且，它無需觸覺傳感器就能自適應各種物體形態，抓取精準度令人贊嘆。

RY-H1機械手搭載獨家專利的力位混合智能控制算法，由STM32G431 MCU實現高精度、高速控制，能模擬人手完成猜拳、握筆、握雞蛋、摘草莓、遞名片等復雜動作。它通過接收PLC傳來的目標位置數據進行插補控制，與手勢識別系統完美協同，精準跟隨手勢運動。

系統優勢與應用前景

這套手勢識別與控制系統融合了先進的視覺識別技術和高效的工業控制方案。STM32N6的NPU提供強大AI計算能力，實時識別手掌并提取手部關鍵點數據；PLC通過CODESYS平臺和多種通信協議，實現數據高效傳輸和精確控制。二者配合默契，將手勢精準轉化為機械手運動，整個過程高效又可靠。

從實際應用來看，它可以顯著提升高危場景（如輻射、化工廠）的作業安全性及裝配線的柔性控制能力。此外，本系統采用低功耗、高響應的嵌入式部署方式，將邊緣計算實際落地，為工業自動化帶來了新的解決方案，有廣闊的發展前景。