是時候給大模型造個身體了。

近期，奧比中光研發(fā)團(tuán)隊結(jié)合機(jī)械臂與大模型，利用語音、語言、視覺-語言大模型，輔以Orbbec Gemini 2系列深度相機(jī)的數(shù)據(jù)輸入，打造出一個能夠理解、執(zhí)行語音任務(wù)的機(jī)械臂。

該項目以斯坦福大學(xué)李飛飛教授團(tuán)隊打造的機(jī)器人智能體為基礎(chǔ)，通過解決泛化、觀測、控制等一系列工程化難題，將基于多模態(tài)大模型的機(jī)械臂從仿真環(huán)境落地到現(xiàn)實世界，拓展智能機(jī)械臂應(yīng)用潛能。

融合多種大模型能力

讓機(jī)械臂理解、執(zhí)行語音指令

去年以來，各類大模型的涌現(xiàn)引發(fā)了機(jī)器人產(chǎn)業(yè)新一輪發(fā)展浪潮。盡管“大模型+機(jī)器人”還處于早期技術(shù)探索階段，但隨著二者深入融合，機(jī)器人有望具備更智能的“大腦”，配合更強(qiáng)大的“眼睛”與“身體”，實現(xiàn)向具身智能的進(jìn)化。

奧比中光最新打造的大模型機(jī)械臂，可以通過語音Prompts作為輸入，利用多種大模型的理解能力和視覺感知能力，生成空間語義信息，讓機(jī)械臂理解、執(zhí)行動作。

首先，機(jī)械臂可借助語音大模型，識別任務(wù)下發(fā)者的語音指令；同時，通過兩臺Orbbec Gemini 2雙目結(jié)構(gòu)光相機(jī)，獲取高質(zhì)量環(huán)境RGB和Depth數(shù)據(jù)；再利用SAM、CLIP等視覺-語言大模型，理解場景信息，并進(jìn)行實時碰撞檢測，最終執(zhí)行任務(wù)。

基于這一原理，奧比中光可以讓機(jī)械臂完成一系列指令，比如：

請記住當(dāng)前的狀態(tài)

把紅色的方塊放到黃色的框中

把綠色的方塊放到白色的框里面

把藍(lán)色的方塊逆時針旋轉(zhuǎn)30°

將藍(lán)色方塊朝著綠色方塊的方向移動10cm

把藍(lán)色方塊放到綠色的方塊上面

請恢復(fù)最開始的狀態(tài)

請把所有的方塊放到黃色的框中

目前，該項目在1.0階段打通了多模態(tài)大模型在機(jī)械臂上的應(yīng)用部署baseline。奧比中光正在進(jìn)一步優(yōu)化多模態(tài)指令理解、多傳感器融合感知、機(jī)械臂軌跡規(guī)劃控制、末端抓取控制等方面，未來將推出大模型機(jī)器人控制系統(tǒng)，讓機(jī)器人更加智能、靈活，適應(yīng)更加復(fù)雜的操作場景。

克服泛化、觀測、控制難題

從仿真變?yōu)楝F(xiàn)實

目前，國內(nèi)外眾多針對機(jī)器人智能體的研究多在仿真環(huán)境中完成。而從虛擬仿真到真實世界，還需要克服一系列工程化落地難題。比如，在仿真環(huán)境中，相機(jī)基于理想的成像模型，可以不受成像畸變、環(huán)境光照等影響，這就對智能體在真實場景中的泛化能力提出了挑戰(zhàn)。

奧比中光的研發(fā)團(tuán)隊基于預(yù)訓(xùn)練的多模態(tài)機(jī)械臂模型，克服了泛化、觀測、控制等一系列落地難題：

為實現(xiàn)快速準(zhǔn)確的語音輸入與理解，引入語音預(yù)訓(xùn)練大模型，使得機(jī)械臂靈敏響應(yīng)語音指令。

為確保機(jī)械臂在真實世界中具備足夠的泛化能力，采用視覺-語言大模型，使機(jī)械臂理解適應(yīng)復(fù)雜場景，在多樣化的環(huán)境中穩(wěn)健執(zhí)行任務(wù)。

為處理預(yù)訓(xùn)練模型的理想相機(jī)成像問題，設(shè)計全新標(biāo)定方案，優(yōu)化相機(jī)自動曝光（AE）策略，解決受環(huán)境光、成像畸變、透視形變等因素帶來的挑戰(zhàn)，使機(jī)械臂擁有更強(qiáng)的魯棒性。

為提高機(jī)械臂在復(fù)雜環(huán)境中的安全性，引入深度相機(jī)碰撞檢測和抓取修正，優(yōu)化機(jī)械臂控制，提高機(jī)械臂抓取場景的性能、精度和適應(yīng)性。

基于關(guān)鍵技術(shù)的引入與創(chuàng)新，奧比中光成功地克服了多模態(tài)機(jī)械臂在多個交叉領(lǐng)域的難題，打通工程化應(yīng)用落地的“最后一公里”。

在機(jī)器人視覺領(lǐng)域，奧比中光擁有超過8年的行業(yè)落地經(jīng)驗，服務(wù)超過100家機(jī)器人產(chǎn)業(yè)企業(yè)。通過多年合作，奧比中光在機(jī)器人3D傳感器、激光雷達(dá)、模型算法等方面積累了豐富的經(jīng)驗，助力機(jī)器人客戶快速實現(xiàn)創(chuàng)新應(yīng)用開發(fā)與量產(chǎn)制造。

布局多模態(tài)視覺大模型

升維機(jī)器人應(yīng)用潛力

融合多種大模型能力的機(jī)械臂，可以應(yīng)用在哪些場景？

隨著機(jī)器人的“眼睛”（視覺傳感器）、“大腦”（大模型）、“身體”（本體）不斷發(fā)展進(jìn)化，智能機(jī)器人及機(jī)械臂有望在工業(yè)制造、柔性物流、商用服務(wù)等場景中率先落地。

例如，在自動化工廠場景，基于多模態(tài)大模型的機(jī)器臂可以結(jié)合無人小車，進(jìn)行智能分揀、搬運；在家用服務(wù)機(jī)器人場景，人們可以通過簡單的自然語言指令，讓機(jī)器人幫忙倒水、取快遞。

當(dāng)前，面向機(jī)器人產(chǎn)業(yè)，奧比中光可提供單目結(jié)構(gòu)光、雙目結(jié)構(gòu)光、iToF、激光雷達(dá)、dToF等全技術(shù)路線3D視覺傳感器，并提供多傳感器融合支持。同時，針對AI大模型、具身智能機(jī)器人等科技發(fā)展趨勢，奧比中光正在致力于搭建機(jī)器人及AI視覺中臺，通過多模態(tài)視覺大模型及智能算法的研發(fā)，結(jié)合機(jī)器人視覺傳感器，將形成自主移動定位導(dǎo)航和避障的完整產(chǎn)品方案，為全產(chǎn)業(yè)下游客戶提供全方位能力平臺及系列化產(chǎn)品方案，迎接智能機(jī)器人時代。

審核編輯：彭菁