自動文本摘要是機器學習算法正在努力的方向之一，微軟近期發布的相關論文也表明了這一趨勢。對于那些每天要閱讀大量文字信息的工作者們來說，這是一個值得慶賀的好消息。有調查顯示，這類工作者每天僅在閱讀信息上就要花費大約2.6小時。

相應的，Google Brain和倫敦帝國理工學院的一個團隊構建了一個系統——Pegasus（Pre-training with Extracted Gap-sentences for Abstractive Summarization Sequence-to-sequence），它使用了谷歌的變形金剛架構，結合了針對文本摘要能力的預訓練目標。據稱，它在12種測試中均達到了達到最先進的水平，這些測試包括了科學、故事、電子郵件、專利和立法法案等。不僅如此，它在材料缺乏的文本整合測試中也表現驚人。

正如研究人員指出的那樣，文本摘要的目的是總結輸入的文檔，生成其準確和簡潔的摘要。

抽象的摘要也不是簡單地從輸入的文本中復制粘貼文字的片段，而是會產生新單詞或總結重要信息，從而使輸出的語言保持流暢。

變形金剛是Google Brain （谷歌的人工智能研究部門）的研究人員在介紹的一種神經結構。

它提取特征以及學習做出預測的方式和所有的深度神經網絡一樣：神經元被安排在相互連接的層中，這些層傳遞著輸入數據的信號，調整每個連接的權重。

但變形金剛架構又有其獨特之處：每個輸出元素和每個輸入元素都有連接，并動態計算它們之間的權重。

在測試中，研究小組選擇了表現最佳的Pegasus模型，該模型包含了5.68億個參數。它有兩個訓練材料。一個是從3.5億個網頁中提取出來的文本，有750GB。還有一個訓練材料則覆蓋了15億篇新聞類型的文章，總計3.8TB。研究人員說，在后者的情況下，他們用白名單域來植入網絡爬蟲工具，覆蓋了質量參差不齊的內容。

根據研究員的說法，Pegasus生成的摘要語言非常優秀，流暢性和連貫性都達到了高水準。此外，在文本匱乏的環境中，即使只有100篇示例文章，它生成的摘要質量與在20，000到200，000篇文章的完整數據集上訓練過的模型相當。