在應對重大行業(yè)挑戰(zhàn)方面擁有大量成功經(jīng)驗的NVIDIA 專家分享了打造出色推薦系統(tǒng)的制勝訣竅。

“三連勝”之戰(zhàn)已經(jīng)到了最后的沖刺關(guān)頭。

在截止時間前五分鐘，這支團隊提交了競賽作品，這是今年第三次也是難度最高的一次推薦系統(tǒng)數(shù)據(jù)科學競賽。它叫做 RecSys，是計算機科學一個相對較新的分支，它催生了機器學習領(lǐng)域常用的應用程序之一，這一程序幫助數(shù)百萬人找到他們想看、想買和想玩的內(nèi)容。

該團隊共使用了六個 AI 模型，達到了比賽規(guī)定的 20 千兆字節(jié)上限，所有這些模型都是根據(jù)他們研究 7.5 億個數(shù)據(jù)點的經(jīng)驗精挑細選出來的。這次比賽有一項不同尋常的規(guī)則，要求模型必須基于一個云端 CPU 的單一內(nèi)核運行，并且運行時間不能超過 24 小時。

他們按下了提交按鈕，靜靜等待。

23 小時 40 分鐘后，一封電子郵件送來捷報：他們位列榜首。

緊扣截止時間

根據(jù) 6 月 28 日正式宣布的比賽結(jié)果，這支由七人組成的NVIDIA 參賽團隊第二次贏得ACM RecSys 2021 挑戰(zhàn)賽。

“這封電子郵件的到來可以說是緊扣截止時間 – 如果再晚 20 分鐘，我們就超出 24 小時的運行時間了，”Chris Deotte 說道，他是參賽小組的成員之一，也是被視為線上數(shù)據(jù)科學界的奧林匹克的卡格爾比賽的大師級人物。

“我們當時真的很緊張，”Benedikt Schifferer 說，他是幫助設計NVIDIA Merlin框架的團隊成員之一，該框架可以幫助用戶快速建立自己的推薦系統(tǒng)。

GPU 本可以在很短的時間內(nèi)完成推理工作。這支團隊中常駐巴西的卡格爾比賽大師 Gilberto Titericz 表示，讓推理工作去適應 CPU 核心“就好像回到了遠古時代”。

事實上，比賽一結(jié)束，該團隊就展示了在CPU核心上花費近24小時的推理工作，在單個NVIDIA A100 Tensor Core GPU上運行只需7分鐘。

在每天 4 千萬個數(shù)據(jù)點中找出推薦項

在比賽中，Twitter 在 28 天內(nèi)每天向參與者提供數(shù)百萬個數(shù)據(jù)點，并要求他們預測用戶會點贊或轉(zhuǎn)推哪些推文。這是這一針對 RecSys 的領(lǐng)先技術(shù)會議發(fā)起的行業(yè)實力挑戰(zhàn)，吸引了來自Facebook、Google、Spotify 等公司的優(yōu)秀工程師。

圖注：RecSys 挑戰(zhàn)團隊的部分成員（從左上角開始，按順時針次序依次為）：Bo Liu、Benedikt Schifferer、Gilberto Titericz 和 Chris Deotte。

這個學科領(lǐng)域真的很難，但也非常實用。推薦系統(tǒng)為我們的數(shù)字經(jīng)濟提供發(fā)展動力，通過比傳統(tǒng)搜索更快、更智能的方式提供建議。

行業(yè)挑戰(zhàn)賽有助于推動這一領(lǐng)域的發(fā)展，讓每個人都能從中受益，不論他們是在為配偶尋找完美的禮物，還是嘗試在網(wǎng)上尋找一位老朋友。

五個月，三連勝

今年早些時候，NVIDIA 團隊在 Booking.com 挑戰(zhàn)賽的 40 支參賽小組中撥得頭籌。他們使用數(shù)百萬個匿名數(shù)據(jù)點來準確的預測了歐洲度假者最終將選擇前往的城市。

今年 6 月，另一項頂級 RecSys 大賽SIGIR 電子商務數(shù)據(jù)挑戰(zhàn)賽設置了更高的門檻。

信息檢索特別興趣小組 SIGIR 的年度會議吸引了來自阿里巴巴和沃爾瑪實驗室的專家。其 2021 年挑戰(zhàn)賽提供了 3700 萬個在線購物會話的數(shù)據(jù)點，并要求參賽者預測用戶會購買哪些產(chǎn)品。

由于這場比賽與 ACM RecSys挑戰(zhàn)賽的時間重疊，NVIDIA 團隊不得不兵分兩路，各有側(cè)重地參與不同的比賽。一些團隊成員在此壓力下正埋頭為 ACM RecSys 會議撰寫論文。

“快攻”藝術(shù)

其中一只NVIDIA團隊共包含五名成員，分別身處巴西、加拿大、法國和美國在每個排行榜中這只團隊均排名第一或第二。能取得這樣出色的整體表現(xiàn)，主要有兩個因素。其一，他們在 Transformer 模型上下了很大功夫，這些模型是為自然語言處理開發(fā)的，并越來越多地被 RecSys所采用。其二，他們深諳輪班工作的工作方法。“在一名成員將要入睡時，另一名身處不同時區(qū)的成員就可以接手工作，”Merlin 團隊負責人 Even Oldridge 說。

“在一切順利時，這種做法非常有效，我很驚訝我們在過去一年中取得的成就，這不但培養(yǎng)了我們的內(nèi)部知識，也樹立了我們在 RecSys 社區(qū)中的地位，讓我們能夠在 5 個月內(nèi)贏得三場重要比賽。”

尊重用戶隱私

這項比賽要求模型在對用戶沒有任何背景了解的情況下對用戶進行預測，參賽者對于用戶的所知僅限于其當前瀏覽會話。

位于圣保羅的領(lǐng)導 NVIDIA SIGIR 團隊的 Merlin 資深研究員 Gabriel Moreira表示：“這是一項重要的任務，因為有時用戶希望匿名瀏覽，并且一些隱私法限制了對于用戶歷史信息的訪問。”

這場比賽標志著該團隊首次在挑戰(zhàn)賽的關(guān)鍵部分只使用 Transformer 模型。Moreira 的團隊致力于讓每一位 Merlin 客戶更輕松地獲享龐大的神經(jīng)網(wǎng)絡。

從三連勝到四連勝

6 月 30 日，NVIDIA在 RecSys 挑戰(zhàn)賽取得四連勝。行業(yè)基準組織 MLPerf 宣布，NVIDIA及 其合作伙伴在其所有最新訓練基準測試中均創(chuàng)下新紀錄，其中包括一個有關(guān)推薦系統(tǒng)的基準測試。

參賽團隊描述了他們?nèi)〉玫某晒丛诓坏揭环昼妰?nèi)訓練基于 14 個NVIDIA DGX系統(tǒng)的推薦系統(tǒng)，與一年前提交的成果相比，速度加快了 3.3 倍。

分享經(jīng)驗心得

這些競賽激發(fā)了新技術(shù)的創(chuàng)意，這些新技術(shù)被納入像 Merlin 這樣的 RecSys 框架，以及NVIDIA 深度學習學院所擁有的相關(guān)工具、論文和在線課程。以達到最終目標：幫助每個人取得成功。

在采訪中，NVIDIA 的 RecSys 專家自由地分享了他們的技術(shù)訣竅 – 一半是藝術(shù)，一半是科學。

關(guān)于如何打造出色 RecSys 的專業(yè)小貼士

一種最佳實踐是使用多種模型，并使其協(xié)同工作。

在 ACM RecSys 挑戰(zhàn)賽中，團隊同時使用了樹狀和神經(jīng)網(wǎng)絡模型。一個階段的輸出成為了下一個階段的輸入，這一過程稱為推疊。

NVIDIA 卡格爾比賽大師團隊的新成員 Bo Liu 表示：“單個模型可能會因為數(shù)據(jù)錯誤或收斂問題而出錯，但如果把幾個模型結(jié)合起來，那么力量就會無比強大。”

在線結(jié)識 Recsys 專家

7 月 29 日，可以在線結(jié)識來自 Facebook、NVIDIA 和 TensorFlow 的RecSys 專家，進一步了解如何創(chuàng)建出色的推薦系統(tǒng)。