InstaDeep、慕尼黑工業大學（TUM）和 NVIDIA 之間的合作推動了面向基因組學的多超級計算規模的基礎模型開發進程。這些模型在大量預測任務（例如啟動子和增強子位點預測）中展示了最先進的性能。

這一聯合團隊的研究指出，經過基因組學訓練的大型語言模型（LLM）可將應用擴展到大量基因組學任務。

該團隊使用 NVIDIA 的超級計算機 Cambridge-1 來訓練參數規模從 500M 到 2.5B 不等的各種大型語言模型（LLM）。這些模型在各種基因組數據集上進行了訓練，以探索模型規模和數據多樣性對下游任務性能的影響。

分類任務包括預測增強子和啟動子序列以及轉錄因子結合位點。這些任務有助于了解 DNA 如何轉錄生成 RNA 和蛋白質，從而開啟新的臨床應用。

研究中明確了 20 項任務。對于每一項任務，性能都隨著模型規模和數據集多樣性的增加而單調遞增。參照專門的最新模型基線，在多物種數據集上訓練的具有最大參數規模（2.5B 參數）的大型語言模型在 19 項任務中的 15 項中取得了同等或更高的性能。

這些結果是通過利用參數輕量化微調實現的。然而，即使依靠從 Transformer 模型各層提取的預訓練嵌入以及簡單的淺層感知器（MLP）或邏輯回歸，也足以在 11 個任務中實現同等乃至更高的性能。

在每個模型檢查點和每個任務的所有層上應用這種探測策略，訓練出了 120 萬個 MLP 模型。該研究對大型語言模型的訓練和使用等各方面進行了詳細分析，例如不同層對下游任務性能的影響。

在固定模型規模下直接比較序列多樣性，顯示出具有重要意義的性能提升，增加模型規模也是如此。例如，對于一個 500M 參數模型，僅在人類參考基因組上訓練的性能不如在 1000 基因組數據集上訓練的性能。

同樣，在 1000 基因組數據集上訓練的 2.5B 參數模型的性能優于任何 500M 參數模型。而對于相同的模型，性能會遜于在自定義多物種數據集上訓練的結果，即使下游性能是在僅涉及人類基因組的任務上測量的。

研究人員觀察到，并非所有嵌入都是平等創建的。雖然通常的做法建議使用大型語言模型的最后一層進行下游預測。但耐人尋味的是，中間層產生的表征在下游任務中顯示出明顯更高的性能。研究人員發現，最佳層的選擇取決于任務，表明不同類型的 DNA 特征被不同層的模型所捕獲。

InstaDeep 首席執行官 Karim Beguir 表示：“我們相信這些結果首次清楚地證明了基因組學基礎模型的可行性，這些模型能夠真正地推廣到多項任務中。這些結果從很多方面反映出了過去幾年內適應性基礎模型在自然語言處理方面的發展進程。如今，其應用于藥物研發和人類健康等如此具有挑戰性的問題，著實令人難以置信的興奮。”

NVIDIA 的 Cambridge-1 對該項目的成功至關重要。該項目需要高性能計算基礎設施來訓練具有捕獲基因組中遠程相互作用所需感受域的大型模型。

研究人員嘗試了多種方法、數據集大小、模型規模和分詞器方案，最終使用在 16 個 NVIDIA DGX A100 節點（128 個 A100 80GB GPU）上訓練的 2.5B 參數稀疏注意力模型，在多任務上實現了迄今公開發表的最佳性能。

在未來的研究工作中，該團隊計劃通過直接微調模型，探索進一步的下游任務性能改進，并將繼續在應用于基因組學的大型語言模型的架構創新方面展開合作。InstaDeep 是首批使用 Cambridge-1 的 NVIDIA 初創加速計劃成員之一。

掃描下方海報二維碼，即可免費注冊 GTC 23，切莫錯過這場 AI 和元宇宙時代的技術大會！