AI基準大戰已經開始。

5月2日，由各大領先的科技公司和大學組成的團隊發布了一款基準測量工具的雛形——MLPerf，其目的是測量各種AI框架和芯片中不同機器學習任務的訓練速度和推理時間。

在這一任務的參與者中，有許多知名公司和大學，其中既有谷歌、英特爾、百度、AMD這樣的巨頭，也有一些AI硬件創企，例如SambaNova和Wave Computing。同時還有世界頂尖大學：斯坦福大學、哈佛大學、加州大學伯克利分校、明尼蘇達大學和多倫多大學。

MLPerf的誕生是小部分公司自我組織進行產品對比的結果。上周，RiseML的博客對比了谷歌的TPUv2和NVIDIA V100的性能。5月4日，英特爾發表博客，展示了為機器翻譯所用的RNN的數據，題目稱“英特爾Xeon大規模處理器表現出令人驚訝的推理性能”。這種對比會給人一些參考，但通常也會讓人覺得供應商自認為比其他廠商優越。而一個標準化的基準可以讓測試簡單化，得到人們想要的結果。

除此之外，想要跟蹤記錄各大公司和創企的芯片制造以及軟件更新是非常困難的，更不要說在市場的夸大作用下還能進行真實評估了。某些芯片廠商經常承諾達到了革命性的提速，但從來不透露產品規格（咳咳，英特爾注意）。

在很長一段時間內，人們都在討論是否有必要設立一個有意義的AI基準。支持者認為，標準的缺失限制了AI的應用。MLPerf的推動者之一吳恩達表示：“AI正在改變多個行業，但是為了發揮它最大的潛能，我們仍需要更快的硬件和軟件?！敝С终邆兿Ｍ鶞实拇_立能幫助AI開發者創造出更好的產品，讓使用者充分了解所需產品。

MLPerf聲明它的基礎目標是：

用公平、有幫助的測量方法加速機器學習的發展

對各競爭系統進行公平對比，以鼓勵機器學習的發展

保證讓所有人都能參與基準評比

既服務于商業群體，也服務于研究領域

基準要可復制，確保結果的可靠

MLPerf是仿效過去其他的基準測試，例如SPEC（The Standard Performance Evaluation Corporation）。該基準于1988年由一家計算公司的財團提出，它有效提高了通用計算的速度。而MLPerf結合了此前許多基準的標準，例如SPEC的程序，SORT用于對比和培育新思想的方法，DeepBench對軟件應用的評估，以及DAWNBench的精確度標準。

Intersect360的CEO Addison Snell注意到：“現在許多企業都想部署AI，所以推出一套中立的基準非常重要，尤其在多種技術爭相競爭的時代。但是，AI領域多種多樣，我不禁懷疑是否最后只剩一種標準。想想五年前人們對大數據和分析的熱情，盡管人人都想定義它，但是至今也沒有一個通用的衡量標準。我認為AI也會面臨這種情況?！?/p>

Hyperion研究公司的高級研究副總裁Steve Conway認為：“MLPerf是一款有用、優秀的工具。因為近些年一直缺少針對買賣雙方的真正標準。這個基準似乎是針對人工智能早期問題指定的，大多都是有邊界問題。后來我們需要其他標準，因為人工智能開始出現了無邊界的問題。有邊界的問題比較簡單，如語音、圖像識別或游戲。而無界線問題包括癌癥診斷和閱讀磁核共振報告；現在，人工智能能為復雜問題提出推薦方案了。“

MLPerf現已在GitHub上發布，但仍處于初期階段，為α版本，未來將在許多方面得到改進。目前，MLPerf套件上能進行測試的有七個方面：

每個參考都提供了以下內容：至少在一個框架中實現模型的代碼；一個可在container中運行基準測試的Dockerfile；一個可下載適當數據集的腳本；一個可以運行并計時模型訓練的腳本；數據集、模型和機器設置的文檔記錄。

根據GitHub上的記錄，基準測試已經在以下配置中進行測試：

16個CPU，一個NVIDIA P100

Ubuntu 16.04，包括具有NVIDIA支持的docker

600GB的硬盤（盡管很多基準要求的硬盤更?。?/p>

在這樣一個年輕的市場，如果有更多的AI基準出現，那將變得很有趣。例如，斯坦福大學是MLPerf的其中一個成員，他最近運行了第一個DAWNBenchv1深度學習結果。

斯坦福報道說：“2018年4月20日表示第一個衡量深度學習端到端性能的基準和競爭的開始：測量深度學習任務達到最佳精確度時所需要的時間和成本是多少，以及在這個最先進的精確度水平下進行推理的成本是多少。對端到端性能的關注提供了一種客觀的方法，用于對計算框架、硬件、優化算法、超參數設置以及影響性能的其他因素進行標準化?！?/p>

DAWN的一個競爭對手——fast.ai（一家提供人工智能培訓和開發人工智能軟件工具的初創公司）在HPCwire上宣傳它的產品性能。所以這些基準很重要，應該認真對待，像MLPerf這樣的工具能幫助清除AI產品對比中的干擾因素。

“基準提高了產品可信度，并展示了更好的性能或能帶來更多益處的地方。如果你正在考慮為一個數百萬美元的項目使用硬件加速器或軟件框架，那么你會不會更喜歡’榜上有名’的產品？”谷歌工程師Peter Mattson表示。

MLPerf希望用可復制的、公平可靠的基準測量方法來推動機器學習行業和研究的發展。產品之間的對比還應促進供應商和學者之間的競爭。同時還應該為沒人提供做實驗的條件，讓更多人參與其中。

Mattson補充道：“基準在短期內很重要，因為不管是對研發公司還是想要購買產品的公司來說，硬件是一項巨大的投資。長期來看，基準有助于研究者和供應商將性能作為共同的發展目標，這樣才能解鎖更多機器學習的能量，造福更多人。”