一款常用于常規(guī)手術(shù)的由外科醫(yī)生手動(dòng)操作的機(jī)器人，如今已能像人類一樣精準(zhǔn)地自主執(zhí)行關(guān)鍵手術(shù)任務(wù)。

約翰斯·霍普金斯大學(xué)和斯坦福大學(xué)的研究人員透露，他們將一個(gè)經(jīng)過數(shù)小時(shí)手術(shù)視頻訓(xùn)練的視覺語言模型（VLM）與廣泛使用的達(dá)芬奇外科手術(shù)機(jī)器人系統(tǒng)進(jìn)行了整合。

基于這一視覺語言模型，達(dá)芬奇機(jī)器人的微型夾爪（即“手”）可以自主執(zhí)行三項(xiàng)關(guān)鍵手術(shù)任務(wù)：小心提起人體組織、操控手術(shù)針以及縫合傷口。

傳統(tǒng)的機(jī)器人訓(xùn)練方法需要對(duì)機(jī)器人動(dòng)作的每個(gè)組成部分進(jìn)行詳細(xì)編程，與之不同的是，經(jīng)過改裝的達(dá)芬奇機(jī)器人僅通過模仿學(xué)習(xí)就能完成“零樣本”手術(shù)任務(wù)。僅依靠其視覺語言模型，這款機(jī)器人就能實(shí)現(xiàn)模仿手術(shù)視頻中醫(yī)生的操作。

這一成果讓我們得以窺見未來完全由自主機(jī)器人開展的手術(shù)可能會(huì)是什么樣子。

“這些機(jī)器人如今能夠自主完成如此復(fù)雜的任務(wù)，實(shí)在令人驚嘆，”約翰斯?霍普金斯大學(xué)的博士后研究員 Ji Woong Brian Kim 說道，“通過模仿學(xué)習(xí)來為機(jī)器人編程，使其能夠進(jìn)行手術(shù)操作，這是機(jī)器人技術(shù)發(fā)展的一項(xiàng)重要突破。我認(rèn)為，這是自主手術(shù)機(jī)器人的未來發(fā)展方向。”

為了訓(xùn)練模型，研究人員使用了NVIDIA GeForce RTX GPU、PyTorch 以及NVIDIA CUDA - X。

11 月，研究人員在慕尼黑舉行的機(jī)器人學(xué)習(xí)大會(huì)（Conference on Robot Learning）上公布了這一研究成果。在這項(xiàng)實(shí)驗(yàn)中，機(jī)器人專家們使用了達(dá)芬奇外科手術(shù)機(jī)器人，機(jī)器人最多可配備四個(gè)機(jī)械臂，如今已經(jīng)被全球各地的外科醫(yī)生廣泛應(yīng)用于各類腹腔鏡手術(shù)。

為了訓(xùn)練視覺語言模型（VLM），Kim 博士和他的同事將微型攝像機(jī)連接到三臺(tái)達(dá)芬奇機(jī)器人的機(jī)械臂上。這三臺(tái)機(jī)器人由約翰斯?霍普金斯大學(xué)提供，用于此次實(shí)驗(yàn)。

Kim 博士和他的同事使用醫(yī)生常用來練習(xí)手術(shù)技巧的小型硅膠墊，以腹腔鏡手術(shù)的方式操控機(jī)器人進(jìn)行操作。

Kim 博士錄制了約 20 小時(shí)的視頻，記錄自己操控達(dá)芬奇機(jī)器人夾爪（這些夾爪合起來大約只有一便士硬幣那么大）完成三項(xiàng)操作的過程：提起模擬人體組織、操控手術(shù)針以及用手術(shù)線打結(jié)。

他還記錄了與夾爪手動(dòng)操作相關(guān)的運(yùn)動(dòng)學(xué)數(shù)據(jù)。這些運(yùn)動(dòng)學(xué)數(shù)據(jù)包含了 Kim 博士在每個(gè)手術(shù)步驟中操控機(jī)器人時(shí)所使用的角度和壓力等精確信息。

在用手術(shù)視頻和運(yùn)動(dòng)學(xué)數(shù)據(jù)對(duì) VLM 進(jìn)行訓(xùn)練后，研究人員將該模型與達(dá)芬奇機(jī)器人連接起來，并指示機(jī)器人執(zhí)行這三項(xiàng)手術(shù)任務(wù)。

研究人員用雞肉和豬肉進(jìn)行實(shí)驗(yàn)，這些動(dòng)物肉模仿了人體組織的外觀和觸感，而且機(jī)器人此前也從未接觸過相似的操作。

令他們欣喜的是，在“零樣本”環(huán)境下，機(jī)器人近乎完美地完成了這些手術(shù)操作。

Kim 博士表示，機(jī)器人能夠自主解決一些未曾預(yù)料到的難題，這一點(diǎn)非常令人驚喜。

實(shí)驗(yàn)中有一次，手術(shù)針意外從夾爪中掉落，盡管從未接受過應(yīng)對(duì)這種情況的明確訓(xùn)練，機(jī)器人還是撿起了手術(shù)針，并繼續(xù)進(jìn)行手術(shù)任務(wù)。

“我們從未訓(xùn)練模型處理豬肉或雞肉組織，也沒有教它如何拾起掉落的手術(shù)針，”Kim 博士表示，“看到機(jī)器人在這種完全超出訓(xùn)練范圍的全新環(huán)境中能夠自主運(yùn)作，我們感到非常激動(dòng)。”

Kim 博士目前正在撰寫一篇新的論文，詳細(xì)闡述在動(dòng)物身上開展的最新研究成果。他還在開發(fā)更多的訓(xùn)練數(shù)據(jù)，以進(jìn)一步拓展達(dá)芬奇機(jī)器人的能力。