研究動機

傳統的多模態預訓練方法通常需要"大數據"+"大模型"的組合來同時學習視覺+語言的聯合特征。但是關注如何利用視覺+語言數據提升視覺任務（多模態->單模態）上性能的工作并不多。本文旨在針對上述問題提出一種簡單高效的方法。

在這篇文章中，以醫療影像上的特征學習為例，我們提出對圖像+文本同時進行掩碼建模（即Masked Record Modeling，Record={Image,Text}）可以更好地學習視覺特征。該方法具有以下優點：

簡單。僅通過特征相加就可以實現多模態信息的融合。此處亦可進一步挖掘，比如引入更高效的融合策略或者擴展到其它領域。

高效。在近30w的數據集上，在4張NVIDIA 3080Ti上完成預訓練僅需要1天半左右的時間。

性能強。在微調階段，在特定數據集上，使用1%的標記數據可以接近100%標記數據的性能。

方法（一句話總結）

如上圖所示，我們提出的訓練策略是比較直觀的，主要包含三步：

隨機Mask一部分輸入的圖像和文本

使用加法融合過后的圖像+文本的特征重建文本

使用圖像的特征重建圖像。

性能

如上圖所示，我們全面對比了現有的相關方法和模型在各類微調任務上的性能。

在CheXpert上，我們以1%的有標記數據接近使用100%有標記數據的性能。

在RSNA Pneumonia和SIIM (分割)上，我們以較大幅度超過了之前最先進的方法。

審核編輯 ：李倩