近日,阿里AI在常識QA領域的權威數據集CommonsenseQA上刷新世界紀錄,超過微軟取得第一名。這一技術是“95后”實習生葉志秀在達摩院科學家指導下完成的實習成果,顯著提升了AI的常識推理能力。
CommonsenseQA是為了研究基于常識知識的問答而提出的數據集,比此前的SWAG、SQuAD數據集難度更高。目前最流行的語言模型BERT在SWAG、SQuAD上的性能已經接近或超過人類,但在CommonsenseQA上的準確率還遠低于人類。
常識推理是難度最高的自然語言理解(NLP,Natural Language Processing)任務之一。在機器翻譯、閱讀理解等NLP任務上,AI的表現已經接近或超過人類水平。阿里AI先后在國際頂級的機器翻譯賽事WMT、機器閱讀理解賽事SQuAD、文本閱讀理解挑戰賽MS MARCO等賽事奪冠甚至趕超人類紀錄。相比之下,AI的常識推理能力比人類差得多。
為此,阿里巴巴達摩院語音實驗室提出一種AMS方法,顯著提升BERT模型的常識推理能力。AMS方法使用與BERT相同的模型,僅預訓練BERT,在不提升模型計算量的情況下,將 CommonsenseQA數據集上的準確率提升了5.5%,達到62.2%。
-
微軟
+關注
關注
4文章
6619瀏覽量
104235 -
阿里巴巴
+關注
關注
7文章
1617瀏覽量
47346
原文標題:阿里AI刷新CommonsenseQA數據集紀錄
文章出處:【微信號:robotmagazine,微信公眾號:機器人技術與應用】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論