來自北卡羅來納州立大和亞利桑那州立大學的研究人員開發了一種智能系統，可以“調節”動力假肢膝蓋，讓患者在幾分鐘內就能自如地使用假肢行走，而不是由訓練有素的臨床醫生來調節所需的幾個小時。該系統是第一個完全依靠強化學習來調整機器人假肢的系統。當患者接受機器人假膝時，該設備需要進行調整以適應特定的患者。新的調整系統調整了12個不同的控制參數，處理假體動力學，如關節剛度，在整個步態周期。通常情況下，醫生會與患者一起修改一些參數。這可能需要幾個小時。新系統依靠一個計算機程序，利用強化學習來修改所有12個參數。它允許患者使用動力假膝在大約10分鐘的時間內在平坦的地面上行走。

博科園-科學科普：研究人員從隨機選擇一組參數為患者提供動力假膝開始，然后讓病人在可控的情況下開始行走。設備上的數據和病人步態是通過設備上的一套傳感器收集。一個計算機模型對設備上的參數進行調整，并將患者的步態與實時正常行走步態進行對比。該模型可以判斷哪些參數設置提高了性能，哪些設置損害了性能。利用強化學習，計算模型可以快速識別出患者能夠正常行走的參數集。現有的方法，依靠訓練有素的臨床醫生，需要半天的時間。雖然這項工作目前是在一個可控的臨床環境中完成，但目標之一是開發該系統的無線版本，這將允許用戶在真實環境中使用時繼續微調動力假肢參數。

該論文的合著者、亞利桑那州立大學電氣、計算機和能源工程教授詹妮·西(Jennie Si)說：這項工作是針對病人在平地上行走的情況進行，但原則上，也可以針對上下樓梯等情況開發強化學習控制器。從動態系統控制的角度進行了強化學習，它考慮了傳感器的噪音、來自環境的干擾，以及系統安全和穩定的要求，研究人員意識到學習實時控制一個同時受到人體使用者影響假體設備是一個前所未有的挑戰。這是一個協同適應問題，沒有現成的解決方案，無論是從經典的控制設計或目前的，最先進的強化學習控制機器人。研究人員很激動地發現，強化學習控制算法確實學會了在如此激動人心的應用環境中讓假肢設備作為人體的一部分工作。研究人員希望使這一過程更加有效，例如，通過識別或多或少可能成功的參數組合，并訓練模型首先關注最有希望的參數設置，可能能夠改進流程。

研究人員指出，盡管這項研究很有前途，但在廣泛應用之前，還需要解決許多問題。例如本研究的假體調整目標是滿足正常的步行膝關節運動，沒有考慮其他步態性能(如步態對稱性)或用戶的偏好。另一個例子是，調優方法可用于在診所和實驗室之外對設備進行微調，使系統隨著時間的推移適應用戶需要。但是需要確保實際使用中的安全性，因為控制中的錯誤可能會導致絆倒和摔倒，還需要更多的測試來證明安全性。研究人員還指出，如果該系統被證明是有效的，并得到廣泛使用，它可能會通過限制患者與醫生進行臨床訪問的需求，從而降低患者的成本。其研究成果論文名為《機器人膝關節假體個性化的在線強化學習控制》，發表在《IEEE控制學報》(IEEE Transactions on Cybernetics)上。