智能機器人在服務國家重大需求,引領國民經濟發展和保障國防安全中起到重要作用,被譽為“制造業皇冠頂端的明珠”。隨著新一輪工業革命的到來,世界主要工業國家都開始加快機器人技術的戰略部署。而智能機器人作為智能制造的重要載體,在深入實施制造強國戰略,推動制造業的高端化、智能化、綠色化過程中將發揮重要作用。 本文從智能機器人的感知與控制等關鍵技術的視角出發,重點闡述了機器人的三維環境感知、點云配準、位姿估計、任務規劃、多機協同、柔順控制、視覺伺服等共性關鍵技術的國內外發展現狀。然后,以復雜曲面機器人三維測量、復雜部件機器人打磨、機器人力控智裝配等機器人智能制造系統為例,闡述了機器人的智能制造的應用關鍵技術,并介紹了工程機械智能化無人工廠、無菌化機器人制藥生產線等典型案例。最后探討了智能制造機器人的發展趨勢和所面臨的挑戰。 00引言近年來,智能機器人作為國民經濟與社會發展的基礎性與戰略性產品。在服務國家航空航天、軌道交通、海洋艦船、工程機械制造等領域重大需求。引領國民經濟發展和保障國防安全中起到重要作用。被譽為“制造業皇冠頂端的明珠”。隨著新一輪工業革命的到來以及人工智能、云計算、物聯網等技術快速發展。機器人技術受到美國、歐盟等世界發達國家的高度重視。同時世界主要工業國家都開始加快機器人部署的步伐。 2013年。德國率先提出“工業4.0”。旨在推動工業現代化和數字化轉型。在新一輪工業革命中占領先機;2017年。美國推出“國家機器人計劃2.0”。強調機器人可擴展性。通過多機器人協作實現復雜環境下分布式的感知、規劃、行動和學習。提升機器人的作業范圍。2020年美國發布的“機器人發展路線圖”以及2021年發布的“無盡前沿法案”。均將機器人與先進制造技術列為發展重點;而歐盟早在其“火花計劃”、“地平線2020”等計劃。以及日本發布的“機器人新戰略”。都著重強調了機器人的作業能力;此外。我國的“智能制造2025”等。也明確了機器人在推動制造業智能化轉型升級中將發揮重要作用[1?3]。
機器人感知與控制是實現機器人智能化作業的關鍵核心技術。機器人需要感知周圍環境和識別作業對象。從二維到多維信息的感知和融合。實現快速、精準的環境感知和目標識別。充當機器人系統“眼睛”。感知環境之后。結合智能規劃決策和自適應控制等方法。像“大腦”一樣為機器人系統提供最恰當的控制命令。以使得機器人做出相應的動作和反應。 近年來,隨著深度學習、大數據、智能控制等技術的快速發展。機器人的智能感知與自主作業的水平也在迅速提升。如DeepMind開發的AlphaGo。可以讓機器人在不斷的游戲中自我學習與提高。從而實現更加智能的決策與控制;特斯拉的人形機器人。其搭載了激光雷達、攝像頭、超聲波傳感器等。用于感知周圍環境和避開障礙物。還配備了一個自主學習系統。可以不斷學習和改進自己的行為和決策。從而更好地適應不同的任務和場景;波士頓動力的Spot機器狗。可以與人類進行互動。如識別和追蹤人類。并在人類的指示下執行指定任務如檢查和搬運物體。
當前,云計算、物聯網和大數據等新興信息通信技術快速發展。為機器人的高端制造應用提供了新的思路和發展契機。數字化、網絡化、智能化融合創新引領未來工業發展已取得廣泛共識。我國在《十四五規劃和2035年遠景目標綱要》也明確提出要“加快推進制造強國、質量強國建設。深入實施智能制造和綠色制造工程。發展服務型制造新模式。推動制造業高端化智能化綠色化”。而傳統的人工以及專機加工。加工質量一致性差、效率低且只能實現小批量生產。已無法滿足智能制造需求。區別于傳統工業機器人簡單、重復性勞動。高端制造機器人是更信息化、網絡化、智能化、柔性化的機器人[4]。在智能工廠中,機器人的作業環境日益非結構化。作業工序趨于柔性化,作業對象日趨定制化,生產的動態性對機器人的環境感知與控制技術提出了越來越高的要求。在未來的智能工廠中,變批量、多品種、定制化、高柔性的生產模式將成為主流。機器人也將得到更加廣泛的應用。機器人感知與控制技術為智能工廠的高適應、高精度、智能化作業提供保障。
01智能制造機器人共性關鍵技術1.1 機器人感知關鍵技術視覺感知是機器人系統的重要組成部分,在復雜的三維工業場景中利用視覺傳感器獲取周圍環境的真實空間信息,并進行預處理、配準融合以及空間場景表面生成等過程,實現對外界環境真實的刻畫及數字模型的重建,為機器人在工業制造中提供豐富的二維和三維信息。智能制造機器人通過視覺等感知系統,具備了實時觀察作業場景的能力,可以極大地增強其智能化程度,如圖1所示。本節將對雙目三維環境感知、3D點云配準、位姿估計等技術進行介紹。
1.1.1 三維環境感知三維環境感知是計算機視覺領域的核心,它通過模擬人類雙眼視覺系統的觀測原理,利用雙目相機對獲取圖像進行立體匹配得到圖像中像素點的準確視差,結合雙目相機參數獲取周圍環境的準確深度信息,并利用機器學習算法實現場景目標感知識別與定位(圖2)。機器人通過雙目視覺感知系統,具備了實時觀察作業場景的能力,極大地增強了其智能化程度,能夠更加智能地完成復雜非結構化作業環境下的各種加工作業任務。
雙目立體匹配算法可劃分為匹配代價計算,匹配代價聚合,視差計算,視差優化等四個步驟[5]。匹配代價計算通過找出參考圖像(通常為雙目圖像的左圖像)中待匹配像素與目標圖像(通常為雙目圖像的右圖像)中候選像素的匹配對應關系。為了提高匹配代價計算方法的魯棒性,代價匹配函數[6?7]以像素為中心的局部鄰域窗口為匹配單元,計算參考圖像與目標圖像中對應匹配像素間的相關性。 Martin等[6]提出一種零均值歸一化互相關代價函數方法,可以補償圖像局部增益的變化,并且可以消除高斯噪聲的影響,同時保持像素值的空間仿射一致性。Zabih和Woodfill[7]提出了Rank變換,利用局部區域像素值的相對次序性統計信息來實現匹配代價計算。匹配代價聚合[8?10]主要通過對匹配代價空間進行代價聚合來減少錯誤匹配或歧義匹配的像素區域。由于單個像素匹配代價的不穩定性,代價聚合往往在代價空間中通過對局部鄰域內的匹配代價進行加權聚合,來提高立體匹配算法的性能。Tomasi等[8]利用邊緣等特征信息,采用傳統的雙邊濾波器算法實現代價聚合。Zhang等[11]提出一種基于非規則局部十字臂區域的代價聚合算法,能夠很好地利用場景的結構和輪廓等特征信息,減少深度不連續區域的視差估計誤差。視差計算通常使用WTA(Winner take all)策略選取最佳匹配視差,但是直接使用WTA方法來計算視差可能會導致視差估計誤差大。因此,為了獲得準確的視差估計結果,視差計算通常可以轉化為能量最小化與優化問題,通過構造能量函數,求取能量函數的最小化來確定最優視差,如基于圖割[12]的視差優化方法、基于置信度傳播[13]的視差優化方法、基于動態規劃[14]的視差優化方法和基于隨機行走[15]的視差優化方法。視差優化是雙目立體匹配算法的后處理步驟,來進一步優化細化預測視差圖的誤差。常用視差后處理算法主要包括基于分割[16]算法和基于置信度度量[17?19]算法。基于分割的視差后處理方法通過利用雙目圖像的邊緣和輪廓等圖像細節特征信息,來引導視差優化算法細化視差估計錯誤,進一步提高雙目立體匹配方法的性能。如Yan等[20]提出一種基于超像素分割的視差優化算法來解決雙目立體匹配遮擋的問題。該方法利于超像素分割算法來提取圖像的邊緣和輪廓特征信息,并結合超像素分割圖預測出粗糙的視差結果,利用馬爾科夫隨機場在粗糙視差圖的3D鄰域空間中檢測并優化遮擋目標的匹配視差。場景目標感知算法主要利用機器學習算法實現場景目標感知識別、檢測與定位。如Yang等提出一種基于深度學習的單階段目標檢測網絡模型,通過建立一種目標預測解耦檢測新范式,來合理推斷不同目標的最合適位置,實現目標識別與定位[21]。Wang等提出一種新型邊緣保持和多尺度上下文神經網絡,高效生成具有尖銳對象邊界的顯著性特征圖,實現高精度目標檢測,解決傳統基于像素的卷積神經網絡(Convolutional neural network,CNN)方法由于卷積層和池化層而產生的模糊邊界問題[22]。
裝備雙目視覺感知系統的機器人可以作為智能制造自動化生產線中的生產作業單元,承擔產品、元件和零部件等目標物體的測量、檢測、識別與引導加工等作業任務。根據機器人雙目視覺感知系統的應用場景,可將其劃分為識別、檢測、測量與定位等四個方面的應用場景; 1)基于雙目視覺的識別功能[23]是指識別目標物體的物理特征,包括形狀、顏色、字符、條形碼等,其準確性和識別速度是衡量的重要指標,廣泛應用于機器人自動化產品識別、分類與分揀中。 2)雙目視覺檢測系統[24]具有非接觸、高效、低成本、自動化程度高等優點。基于雙目視覺的機器人自動化檢測能夠替代傳統的人工檢測,解放人工,去除人工抽檢帶來的低效、誤檢與漏檢等問題。 3)通過基于雙目視覺的精密測量系統[25],機器人可以獲得加工作業對象的形狀、位置、尺寸和方向等作業信息,比如打磨、焊接、銑邊等加工目標的余量測量,然后進一步在視覺的引導下進行加工作業。 4)基于雙目視覺定位的機器人作業[26]是指通過雙目視覺獲取目標物體的坐標和角度信息,自動判斷物體的位置,來進一步引導機器人抓取、搬運、焊接與裝配等。
1.1.2 3D 點云配準技術3D 點云配準在工業場景具有重要應用,通過求解出同一坐標下不同姿態點云的變換矩陣,利用該矩陣實現多視點掃描點云的精確配準,最終獲取完整的3D數字模型,在三維測量、逆向工程、即時定位與建圖等領域有諸多應用。 1.1.3 位姿估計技術機器人在智能工廠中準確完成上料、裝配、分揀、搬運任務,必須利用視覺系統從作業場景中檢測出目標物體并預測其三維位姿[49] 1.2 機器人規劃關鍵技術在智能工廠中,機器人安全合理的運動規劃和任務分配是實現高效、穩定和安全完成復雜作業任務的重要基礎。在執行制造任務時,考慮到狹小空間以及機器人復雜多維結構,如圖4所示,機器人有自主運動規劃能力,能夠實現避碰規劃,滿足由機械結構環境等帶來的運動限制,是機器人在智能工廠中運行的必要因素。
1.3 機器人控制關鍵技術在智能工廠中,機器人的控制性能不僅影響到最終的加工效果,還影響到加工過程的安全。高精、高效、高柔性、高穩定性的控制策略為工件的安全制造提供了保障(圖4)。
02智能制造機器人應用關鍵技術2.1 復雜部件機器人三維測量三維測量在工業制造領域有大量的應用,按照基本功能可以分為尺寸測量、表面測量、坐標測量[114]。目前主流的工業三維測量方法包括,激光跟蹤儀、激光三角測量、攝影測量系統、結構光、飛行時間技術等,圖6為工業三維測量技術發展歷程。三維測量包括數據獲取、數據處理、測量分析等主要過程,然而由于傳統手工測量方式在數據獲取過程缺乏自主性,需要引入視點規劃、點云配準等技術,提高機器人三維測量的智能自主化程度。
2.2 復雜部件機器人力控磨拋磨拋加工是表面改性技術的一種,能夠有效提高部件表面的平整度和光潔度,獲取特定的表面粗糙度,消除焊接等加工過程中產生的應力,具有柔性靈活性強、作業效率高、加工一致性好等優點。KUKA、ABB、FANUC、YASKAWA等機器人企業均開展了磨拋機器人的應用研究。如圖9(a)所示,KUKA公司研制的KR 120 R2900 Fextra機器人,通過將該機器人和負荷能力為750kg的三軸式定位裝置,在不損傷工具且毛刺外形不同的情況下,能夠確保高標準、高質量完成打磨任務。如圖9(b)所示,奧地利FerRobotics公司開發了基于氣控系統的浮動打磨與拋光末端系統,實現在單一方向上的快速浮動打磨與拋光,浮動力控制精度最高可達到1N,用戶通過快速簡便的編程,在提升質量的同時節約更多成本。如圖9(c)所示,加拿大ESI公司依托自研的協作機器人,開發了E-Stial柔性打磨機器人工作站,利用實時力控反饋、精密軌跡調整、精密接觸力調整等先進技術實現了安全、穩定、高效的拋光打磨作業,克服了傳統磨拋方式調試時間長、成品質量不一致等缺點。美國Carnegie Mellon University[133]等科研機構從前沿理論探索的角度對磨拋機器人進行了研究。文獻[134?135]設計了磨拋機器人模糊PID控制方法,采用末端位置和關節角度參數設計模糊規則,使PID控制器參數在每次采樣時在線更新,提高了系統的響應速度和穩態精度。基于模糊邏輯方法[136]和基于機器學習的方法[137]被用于對磨拋機器人關鍵模型信息進行估算,從而減小對于模型信息的依賴。國內的科研機構也對磨拋機器人的相關技術開展了持續的研究,華中科技大學陶波教授等針對大型風電葉片加工區域大、形狀復雜、任務規劃難等問題,提出了基于幾何及任務信息的大型復雜構件加工區域劃分方法[138]。Zhao等以風電葉片表面打磨為應用背景,構建了大型復雜構件機器人移動打磨硬件系統,并在風電葉片表面打磨實驗中進行了系統性驗證[139?140]。
2.3 機器人柔順智能裝配軸孔類零部件裝配是工業機器人應用的重要場景。傳統機器人裝配按照示教或者離線編程所設定的動作進行,難以適應不斷變化的環境。為滿足小批量多品種的生產模式,完成更加復雜的裝配任務,現有研究通過將視覺傳感器、力傳感器和工業機器人結合應用,使機器人具備對周圍環境高度感知的能力,能夠根據環境變化做出相應調整Dietrich等建立軸孔接觸狀態與力信息的關系圖,通過關系圖糾正軸孔之間的位姿誤差,完成軸孔裝配任務[141]。Liu等提出了基于螺旋插裝策略的飛機尾翼軸孔裝配方法[142]。Lefebvre等[143]提出機器人主動柔順控制方法,通過接觸狀態規劃結合力控算法,能夠實現自主裝配運動。Abdullah等[144]建立了裝配過程中軸孔之間的相對位置與接觸力/力矩的映射關系,并根據人為制定的決策規則來規劃裝配運動軌跡。
近年來基于強化學習的機器人裝配方法也受到廣泛關注。傳統機器人裝配方法中不具備自學習的能力,強化學習算法通過控制機器人和環境不斷接觸試錯學習到合適裝配策略,能夠自主完成復雜裝配任務。Inoue等提出了基于深度強化學習的高精度軸孔裝配方法,利用長短時記憶網絡和強化學習算法結合有效的現實機器人裝配任務[145]。Chen等提出了一種基礎策略迭代的強化學習方法,實現了具有未知系統動態的連續時間系統的穩定控制[146]。Luo等提出了面向齒輪的軸孔裝配任務的機器人控制器,通過最優控制方法生成裝配過程中的運動軌跡,能夠通過幾次訓練穩定的完成裝配任務[147]。
03智能制造機器人典型應用案例3.1 高端制造智能無人工廠智能無人工廠也稱智慧工廠,是在數字化工廠的基礎上,利用工業互聯網等技術提升工廠制造效率和運營水平,提高生產過程的可控率,從而實現制造企業的降本提質增效以及轉型升級。按照德國的Scheer教授提出的智能工廠構架理論,智能工廠可以分為基礎設施層、智能裝備層、智能產線層、智能車間層和工廠管控層五個層級[148]。隨著機器人、人工智能及增材制造等新興技術信息迅速升級,為制造業推進智能工廠建設提供了良好的技術支撐。德國梅賽德斯奔馳的56號工廠是按照工業4.0標準打造的未來工廠,采用了無人運輸系統、數字孿生、自動分揀等技術。工廠大量的使用了AGV裝配線,可以實現無軌裝配工位,無軌自動運輸,并與自動分揀、DTS(Data transmission service)系統相匹配使用,可實現多種車型混線生產。在保證大規模生產的同時,也保障產品質量并降低生產成本。三一集團的“18號廠房”工程機械總裝車間,采用5G+AGV小車完成智能分揀和精準配送,在智能化調度系統的控制下,上百臺機器人能夠高效協同工作(圖10);采用5G高清傳感器,組裝作業時可以自動修復偏差,減少因磕碰導致的質量缺陷;大件激光切割軟件及系統,在多品種鋼板物料特征識別技術、基于激光測量的物料精確定位技術、激光跟蹤與實時尋邊技術、機器人位姿魯棒控制與在線補償技術以及基于激光尋邊的切割軌跡光順與優化技術等五個方面取得創新突破;通過制造運營系統、物流管理系統、遠程控制系統、智能搬運機器人等系統優化運用與深度融合,在數字化“加持”下,實現了從一塊鋼板進來到一臺整車出去的全流程自動化生產。
3.2 高端制藥機器人智能檢測生產線高端智能醫藥質量檢測主要是指通過新興的機器人技術來代替人工進行質量檢測的過程。相比于傳統人工檢測而言,它具有穩定性好、持續工作時間長、精度和效率高等優點。日本Eisai公司、德國BrevettiCEA集團、意大利Seidenader等企業紛紛開展機器人醫藥檢測技術研究。
我國制藥裝備需求量大,醫藥制造裝備的性能是保證藥品質量的基礎。為解決傳統藥品質量檢測環節依賴人工、漏檢、誤檢頻發等問題,需研制高端制藥機器人視覺檢測控制關鍵技術與裝備,實現制藥過程無菌化、無人化生產,保障藥品質量安全。高端無菌化制藥機器人面臨的主要挑戰包括:制藥技術裝備工藝復雜,無菌化控制難;制藥過程污染顆粒微小、種類多、檢測難;高端制藥過程中多工序、多任務、多機器的協同控制難。湖南大學團隊針對高端制藥裝備感知與控制的重大需求,攻克高端制藥灌裝封口機器人協作控制、高端制藥檢測機器人視覺識別、高端制藥分揀機器人視覺控制等關鍵技術,研制出無菌化配藥雙臂機器人、藥品灌裝?轉運?封口機器人、藥品質量視覺檢測機器人、藥品分揀機器人等自動化生產線裝備,如圖11所示。
基于機器視覺的醫藥檢測是在藥物出廠前,通過對藥物的運動圖像或視頻進行分析和處理,從而實現對藥物的一系列質量檢測,例如,液體環境中的外來異物檢測、凍干粉中的雜質檢測、外包裝和標簽檢測等。針對安瓿瓶型,Ge等設計了一種自動檢測安瓿注射雜質的系統,采用空間在線極限學習機算法,驗證了該算法在區分氣泡和異物上的可行性[149]。針對藥液中的不溶異物檢測方法,張輝等提出了一種可行的高速度、高精度的機器視覺檢測方法,能在線檢測30多種微弱異物,檢測精度達到50μm,異物檢出率99。7%以上,滿足醫藥微弱異物種類繁多、特征多樣、高速高精度的在線檢測要求[150]。
04智能制造機器人發展趨勢及挑戰當前,云計算、物聯網和大數據等新興信息通信技術快速發展,為高端制造業的發展提供了新的思路和契機。 1)“云?邊?端”融合的智能制造。“云?邊?端”融合的作業模式通過深度感知制造過程中生產實體的特性和狀態,動態/在線地在工業云(云)和生產單元(邊、端)間進行數據交換和計算分發,進而高效、無縫、透明地協同使用云端和邊緣端的計算、存儲及數據等資源,以實現網絡化、智能化、柔性化生產。在智能制造機器人協同作業場景中,在“云?邊?端”融合的架構集成了通信與計算技術,克服了個體設備信息存儲和計算資源等的固有局限,能夠較好地支撐機器人系統運行(如圖12)。有效地建立云邊融合的網絡架構,加強云邊端協同、智能共享的頂層設計,將是未來智能制造機器人研究的重點。
2)新一代智能制造系統由通信、計算、感知、控制與安全體系等組成,通過新一代人工智能技術,智能制造系統將具備“感知?決策?執行”的閉環特征,而在動態環境中構建機器人的感知?決策?控制協同作業機制具有重要意義。在工業互聯網平臺設備互聯互通的基礎上,利用分布式傳感技術實現生產場景要素的全面感知,以適應復雜制造場景下感知對象異構、干擾因素多等挑戰;靈活運用集中式、分布式與群體智能,建立安全高效、強魯棒、易擴展的任務調度和動態規劃體系,設計機器人自主決策機制,保障大規模制造任務和工序井然有序地運行。
3)人機融合智能。人機融合技術不斷深化,標準化結構、柔性人機交互技術不斷發展,促進智能制造領域工業機器人的便捷性和可靠程度越來越高。人機融合在智能機器人生產設計中,越來越受到重視。人機協同既具備人類認知能力,又具備機器人的高效率,通過人類與機器人的智能協作,能夠完成復雜的加工、裝配等任務,同時提升了安全性與便捷性,是人機融合的一個重要發展方向。同時,隨著機器人技術日益成熟、智能倉儲機器人等產品的快速發展,人機協作技術在電子、建筑、家居等一般行業的應用也在迅速演進。
4)集群機器人技術。智能制造機器人涉及先進信息技術、機器人技術、自動化技術以及機械工程與材料工程交叉融合等前沿制造技術。面對大規模的智能制造任務,機器人往往處于分散、低連通環境,為適應需求多變、異構感知對象、突發問題等情況,需根據特定感知任務,準確描述跨域多實體、多機器的動態協作關系,進而探索自適應的群組動態協作感知與融合策略,實現智能制造機器人的跨域融合感知。還需在動態和多維信息收集的基礎上,對復雜問題進行自主識別、判斷、推理,并做出實時性的決策,實現集群機器人的精準感知與實時規劃,集群機器人有望在新一代智能制造系統發揮重要作用,如圖13所示。
05結論 隨著新一輪工業革命的到來以及人工智能、云計算、物聯網技術的快速發展,世界主要工業國家都開始加快機器人技術戰略部署。本文首先對機器人感知與控制的關鍵共性技術進行了綜述和介紹,如三維環境感知、3D點云配準技術、位姿估計技術、運動規劃技術、多機協同規劃、精準控制技術、柔順控制技術、視覺伺服技術等。然后介紹了機器人應用的關鍵技術,如機器人三維測量、機器人加工與裝配等,最后總結了機器人系統在智能制造領域應用典型案例,并探討了智能制造機器人的發展趨勢和所面臨的挑戰。
審核編輯 :李倩
-
機器人
+關注
關注
211文章
28437瀏覽量
207175 -
人工智能
+關注
關注
1791文章
47294瀏覽量
238578 -
智能制造
+關注
關注
48文章
5565瀏覽量
76355
原文標題:「機器人感知與控制關鍵技術」最新2023研究綜述
文章出處:【微信號:vision263com,微信公眾號:新機器視覺】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論