基于 GPU 的功能, Facebook AI Research 的一個團隊開發了一種更快、更有效的 AI 運行相似性搜索的方法。這個 study ,發表于 IEEE 大數據交易 ,創建了一種深度學習算法,能夠處理和比較來自媒體的高維數據,速度明顯更快,同時與以前的技術一樣精確。
在一個數據供應量不斷增長的世界中,這項工作有望減輕處理大型庫所需的計算能力和時間。
“搜索和索引[高維數據]最直接的技術是蠻力比較,你需要對照數據庫中的其他圖像檢查[每個圖像]。這對于包含數十億載體的集合來說是不切實際的,”研究科萊德和 Facebook 的研究工程師杰夫·約翰遜在一份新聞稿中說。
包含數百萬像素和數據點的每幅圖像和視頻都會產生數十億個矢量。這些大量的數據對于分析、檢測、索引和比較向量非常有價值。計算大型庫與依賴于多個超級計算機組件的傳統 CPU 算法的相似性也存在問題,從而降低了總體計算時間。
研究人員只使用了四個 GPU 和 CUDA ,設計了一個 多 GPU 到宿主和***的算法分析庫圖像數據點。該方法還壓縮數據,使其更容易,從而更快地進行分析。
新算法在 35 分鐘內處理了 9500 多萬張高維圖像。 10 億個向量的圖形計算起來不到 12 小時。根據該研究中的一項比較測試,使用 128 臺 CPU 服務器集群處理同一數據庫需要 108 。 7 小時,約長 8 。 5 倍。
約翰遜說:“通過將計算完全放在 GPU 上,我們可以利用加速器上更快的內存,而不是處理 CPU 服務器上較慢的內存,甚至傳統超級計算機集群中較慢的機器對機器網絡互連?!?。
研究人員表示,這些方法已經應用于各種各樣的任務,包括翻譯的語言處理搜索。被稱為 Facebook AI 相似性搜索庫的方法是 開源 用于實現、測試和比較。
關于作者
Michelle Horton 是 NVIDIA 的高級開發人員通信經理,擁有通信經理和科學作家的背景。她在 NVIDIA 為開發者博客撰文,重點介紹了開發者使用 NVIDIA 技術的多種方式。
審核編輯:郭婷
-
NVIDIA
+關注
關注
14文章
5026瀏覽量
103299 -
gpu
+關注
關注
28文章
4754瀏覽量
129098 -
服務器
+關注
關注
12文章
9239瀏覽量
85701
發布評論請先 登錄
相關推薦
評論