MIT的研究人員正在使用新的機器學習技術, 通過減少治療膠質母細胞瘤過程中毒性化療和放療的劑量，來提高患者的生活質量。而膠質母細胞瘤是一種最嚴重的腦癌。

膠質母細胞瘤是一種出現在大腦或脊髓中的惡性腫瘤，成人的預后不超過五年。患者必須忍受每月放療和服用多種藥物的聯合治療法。醫學專業人員通常在安全范圍內給予最大藥物劑量以盡可能縮小腫瘤。但是這些藥效強烈的副作用會使患者非常虛弱。

在斯坦福大學2018年醫學健康機器學習大會上發表的一篇論文中，麻省理工學院Media實驗室的研究人員詳細介紹了一個模型，該模型可以使給藥方案毒性更小，但仍然有效。該模型以“自主學習”機器學習技術為動力，研究目前使用的治療方案，并反復調整劑量。最終，找到一個最佳的治療方案，可以盡可能降低毒性和劑量，而且仍然能夠將腫瘤縮小到與傳統治療方案相當的程度。

在對50名患者的模擬試驗中，機器學習模型設計了治療周期，幾乎把所有的藥物劑量都降低了四分之一或一半，同時保持相同的效用使腫瘤縮小。多數情況下，它忽略了總劑量的限制，用一年給藥兩次替代每月給藥。

負責這項研究的Media實驗室的項目負責人（PI）Pratik Shah說:“我們堅持的目標是，一方面必須縮小腫瘤的大小，但同時也希望確保病人的生活質量，不讓劑量毒性造成嚴重的疾病和有害副作用。”論文的第一作者是Media實驗室的研究員格Gregory Yauney。

鼓勵好的選擇

在這一研究中研究人員使用了一種被稱為強化學習(Reinforced Learning，RL )的技術，該方法受到行為心理學的啟發，在這種方法中，模型會偏愛那些可以帶來較好預期結果的行為。該技術利用人工智能“代理”，在不可預知的復雜環境中完成“動作”，以達到期望的“結果”。每當它完成一個動作時，代理會收到一個“獎勵”或“懲罰”，這取決于該動作是否朝著結果進行。然后，代理相應地調整其動作以實現預期的結果。

獎勵和懲罰基本上被標記為正數和負數，比如+ 1或- 1。除其他因素外，所得的分數取決于所采取的行動，根據結果的成功或失敗的概率計算得分。代理本質上是試圖根據獎勵和懲罰值，從數值上優化所有動作，在給定的任務中取得最大的結果分數。

這種方法被Deep Mind用來訓練計算機程序，該程序在2016年因擊敗了世界上最好的人類玩家之一而一舉成名。它還被用來訓練無人駕駛汽車的行駛策略，例如并入車流或停車，在這個程序里，車輛會反復練習，調整路線，直到正確。

研究人員將RL模型用于膠質母細胞瘤的治療，該治療方案為替莫唑胺( TMZ )，普魯卡因、洛莫司汀和長春新堿( PVC )的聯合服藥療法，給藥時間長達數周或數月。

該模型梳理了傳統的給藥方案。這些方案在臨床上已經使用了幾十年，并且基于動物試驗和各種臨床試驗制定。腫瘤學家使用這些既定的方案根據體重來預測患者的給藥劑量。當模型探索該方案時，在每個計劃的給藥間隔里，比如每月一次，會先決定其中的一個動作。首先，它可以啟動或停止一個劑量。如果確定給藥，會決定是否需要給足所有劑量，或者僅僅一部分劑量就足夠了。在每一個動作中，都會查驗另一個臨床模型——通常用于預測腫瘤因治療而帶來的體積變化——來看看這個動作是否會縮小平均腫瘤直徑。如果是的話，這個模型會得到獎勵。

然而，研究人員還必須確保該模型不僅僅為了最大療效而給出最大的劑量。任何時候模型選擇給予全部劑量時，它就會受到懲罰，因此它會選擇更少、更小的劑量。 “如果我們想做的只是縮小平均腫瘤直徑，放任它采取任何它想采取的行動，它將不負責任地給藥“，Shah說，“相反，我們需要減少那些一味的縮小腫瘤體積而產生的有害行為。”

Shah說，這是在論文中首次描述的非傳統的RL模型，它將行動(劑量)的潛在負面后果與結果(腫瘤減小)進行權衡。傳統的RL模型致力于單一結果，例如為了贏得一場比賽，將采取一切使結果最大化的行動。這個模型在每一個動作中都有靈活性，它可以找到一種劑量，這種劑量不一定能獨立的最大限度地減少腫瘤體積，但能在最大限度地減少腫瘤體積和低毒性之間達到完美的平衡。他補充說，這種技術在醫學和臨床試驗中有多種應用，在這些領域，治療方法應該被規范，以防止有害的副作用產生。

最佳方案

研究人員在50名病人身上訓練了這個模型，這些病人是從先前接受過傳統治療方法的膠質母細胞瘤病人的大型數據庫中隨機挑選出來的。對于每個病人，該模型進行了大約20，000次試錯測試。訓練完成后，該模型學習最佳方案的參數。當應用于新的病人時，使用這些參數，并根據研究人員要求的各種限制來制定新的方案。

研究人員隨后在50名新的模擬患者身上測試了該模型，并將結果與那些使用了TMZ和PVC的常規治療方案的病人進行了比較。當沒有劑量懲罰時，該模型設計了和人類專家幾乎相同的方案。然而，考慮小劑量和大劑量的懲罰時，它大大降低了劑量的頻率和效力，同時也減少了腫瘤的大小。

研究人員還設計了一個模型來單獨治療每個病人，也可以對一組病人進行治療，并取得了類似的結果。按照已有的方法整個患者群體都是使用了相同的給藥方案，但是腫瘤的大小、病史、基因譜和生物標記物的差異都會影響患者的治療方案。Shah說，在傳統的臨床試驗設計和其他治療中，這些變量沒有被考慮在內，這通常會導致在大范圍病人中對治療效果反應不佳。

“我們不斷的優化模型，來給不同的患者給出個性化的用藥方案。模型可以給這個人四分之一劑量，給那個人一半劑量，或許那個病人不需要服藥了。這是這項工作中最激動人心的部分，通過使用非正統的機器學習架構進行一人試驗來產生精確的基于藥物的治療。”Shahs說。

研究人員表示，該模型比傳統的靠眼睛觀察來給藥、觀察患者反應然后做出相應調整的方法有了重大飛躍。人不具備機器查看大量數據后所獲得的深度感知，所以人類來處理的的話，過程是緩慢、乏味且不精確的。讓計算機在數據中尋找模式（讓人來做的話會花費大量時間來篩選），并使用這些模式來尋找最佳劑量。”

這項工作可能會引起美國食品和藥物管理局（FDA）的特別興趣，FDA正在尋找利用數據和人工智能開發健康技術的方法。法規仍然需要建立，但是毫無疑問，在短時間內，FDA會想出如何適當地審查這些“技術”，以便它們可以用于日常的臨床項目。"關于人工智能用于預測給藥劑量的其他報道，可以參見我們公眾號里以前的一篇推送，關于器官移植患者接受免疫制劑給藥劑量的報道>>在實現了檢查病、開藥方后，AI還將告訴你該如何吃藥—解讀最佳藥物組合和給藥計量