人工智能行業所圍繞的是一個受技術進步、社會需求和監管政策影響的動態環境。機器學習、自然語言處理和計算機視覺方面的技術進步，加速了人工智能的發展和應用。包括醫療保健、金融和制造業在內的各個行業對自動化、個性化和效率的社會需求，又進一步推動了人工智能技術的集成。此外，不斷發展的監管體系，則強調了合乎倫理道德的人工智能、數據隱私和算法透明度的重要性，進而指導人工智能系統的負責任開發和應用。人工智能行業將訓練和推理過程結合起來，有效地創建和部署人工智能解決方案。推理和訓練都是人工智能整個生命周期的組成部分，其意義取決于具體的環境和應用。對于通過學習模式和從數據中提取見解來開發和優化模型而言，雖然訓練極為重要，但推理在利用這些訓練模型進行實時預測和決策方面，卻發揮著極為重要的作用。人工智能推理(占當今人工智能任務的80%以上)的重要性越來越大，在于它在推動數據驅動的決策、個性化用戶體驗和不同行業的運營效率方面發揮著關鍵作用。

高效的人工智能推理實現，則面臨著數據可用性、計算資源、算法復雜性、可解釋性和法規符合性方面的挑戰。而在控制成本的同時，適應動態環境和管理可擴展性，還又帶來額外的挑戰。克服這些挑戰需要全面的戰略，包括穩健的數據管理實踐、硬件功能的進步和算法的改進。開發可解釋的人工智能模型，并遵守道德和監管準則，對于建立用戶信任和確保合規性至關重要。此外，通過高效的運營實踐與技術創新來平衡資源分配與成本管理，對于在不同行業部門實現可持續有效的人工智能推理解決方案也極為重要。

人工智能推理的關鍵作用

通過自動化任務、增強預測性維護和啟用高級分析，人工智能推理優化了流程，減少了錯誤，改善了資源分配。對于自然語言處理，人工智能推理提供了動力，改善了人與機器之間的溝通與理解。而在制造業領域，其影響包括預測性維護、質量控制和供應鏈管理、提高效率、減少浪費和提高產品質量，對行業運營具有變革性影響。

可持續人工智能推理的行業挑戰

人工智能推理面臨著高能耗、密集的計算需求和實時處理限制等挑戰，導致運營成本增加，還加劇了對環境的影響。人工智能總功耗的60%以上來自推理，隨著推理需求的增加，導致數據中心容量在兩年內增加了2.5倍(GAFA數據)。對于服務器來說，密集計算過程中產生熱量，還需要復雜的冷卻系統，這又進一步增加了人工智能過程的總體能耗。此外，在服務器、高級駕駛員輔助系統(ADAS)或制造應用中，必須在滿足高效實時處理需求與低延遲要求之間取得平衡，這也是一個重大挑戰，需要先進的硬件設計和優化的計算策略。在不影響準確性的情況下，優先考慮可再生能源和環保舉措的節能解決方案，對于減輕環境影響而言，是非常重要的。

由于人工智能算法的復雜性和特殊性，利用CPU或GPU的經典人工智能推理硬件設計，在實現能效方面面臨限制，導致高功耗(服務器每個多核單元功耗高達數百瓦)。處理單元與存儲器之間低效的數據移動，進一步影響了能源效率和吞吐量。例如，相對于訪問本地寄存器，訪問外部DRAM會消耗200倍的能量。最終，由于更高的計算需求，到2025年，利用CPU和GPU的下一代服務器，可能會消耗高達上千瓦的功率。而在資源受限、電池供電的設備上部署人工智能推理更具挑戰性，因為最高效的基于CPU和GPU的低功耗設計(10毫瓦到幾瓦)受到吞吐量的極大限制，從而限制了人工智能的復雜性和最終的用戶體驗。平衡能源效率與性能/精度要求，在設計過程中需要仔細權衡，并采用全面的優化策略。對復雜人工智能工作負載的硬件支持不足，可能會阻礙其能效和性能。

尋找節能解決方案

行業對節能人工智能推理解決方案的需求不斷增長，這是由可持續發展目標、成本降低目標和新用途共同驅動的。企業尋求可擴展和高性能解決方案，來管理復雜的人工智能工作負載，而不會產生過高的能源成本。另一方面，節能的人工智能推理，使得移動設備或資源受限的設備能夠在不快速消耗電量的情況下執行復雜任務，同時減少對云處理的依賴，最大限度地減少數據傳輸和延遲問題。通過高級新功能，如實時語言翻譯、個性化推薦和準確的圖像識別，有助于增強用戶體驗，提高用戶參與度和滿意度。

人工智能推理領域里的創新貢獻

為了克服CPU和GPU的限制，為人工智能推理工作負載專門設計了創新型硬件加速器，實現高效和優化的處理，同時最大限度地減少能耗。人工智能應用中，此類加速器通過采用專用運算符(池化、激活功能、規范化等)來實現優化的數據流。數據流引擎是矩陣乘法單元，這是一個大型處理元件陣列，能夠有效地處理大型矩陣向量乘法、卷積和許多更復雜運算。大多數神經網絡都是基于矩陣乘法運算的。為了進一步優化能源效率，人工智能加速器已經實現了一些新技術，如近內存計算。近內存計算將處理單元集成在內存子系統中，從而實現更快的近內存數據處理，從而減少與數據傳輸相關的能耗。最近，又出現了采用“非標準”技術的一些新解決方案，如存內計算或尖峰神經網絡(SNN)。要實現高效能人工智能推理，這些都是最具吸引力的解決方案。

存內計算直接在內存中進行電路級計算，免去了數據傳輸，提高了處理速度。處理可以以模擬或數字方式進行，可利用不同的存儲技術，如SRAM、閃存或新的NVM(RRAM、MRAM、PCRAM、FeFET等)。這種方案特別有利于涉及大型數據集的復雜人工智能任務。SNN還代表了人工智能推理的一種創新解決方案：它們通常由通過尖峰進行通信的互連節點組成，能夠模擬復雜的時間過程和基于事件的計算，這對于處理時間敏感數據或模擬人腦行為等任務很有用。

塑造人工智能推理的未來

利用近內存/存內計算或SNN的人工智能加速器對人工智能行業產生了重大影響，包括提高能源效率、提高處理速度和先進的模式識別能力。這些加速器推動硬件設計的優化，從而為特定的人工智能工作負載創建專門的架構。此外，它們還促進了邊緣計算的進步，促進了直接在邊緣設備上進行高效的人工智能處理，并減少了延遲。這些技術的變革潛力，凸顯了其在從醫療保健、制造業、汽車到消費電子等不同行業的革命性變革中的關鍵作用。高能效人工智能推理在醫療保健和汽車行業的集成產生了變革性的影響。在醫療保健領域，通過快速數據分析促進了更快的診斷和個性化的患者護理，從而改善了治療效果和量身定制的醫療干預措施。此外，它還賦能開發遠程患者監測系統，確保對慢性病患者進行持續的健康跟蹤和積極干預。還有，在藥物研發領域，高效人工智能推理加快了潛在候選藥物的識別，加速了藥物研發過程，促進了醫療和療法的創新。

在汽車行業，節能的人工智能推理在提升安全功能和自動駕駛能力方面也發揮著至關重要的作用。它為車輛提供ADAS和實時碰撞檢測功能，增強整體道路安全。此外，它有助于自動駕駛技術的發展，使車輛能夠根據實時數據分析做出明智決策，從而改進導航系統和自動駕駛功能。此外，基于人工智能推理的預測性維護解決方案，能夠早期檢測潛在的車輛問題、優化性能、減少停機時間并延長車輛壽命。

結論行業對節能人工智能推理解決方案的主要需求，是由促進可持續運營、優化資源利用和延長設備電池壽命的需求驅動的。這些解決方案在促進環保實踐、降低運營成本和增強競爭優勢方面發揮著關鍵作用。節能人工智能推理解決方案中，通過促進邊緣計算應用，并最大限度地減少能源消耗，使企業能夠提高盈利能力、簡化流程、并確保移動和物聯網設備功能的不間斷。要滿足這些需求，就必須開發大量基于智能近內存/存內計算技術的節能算法，并優化硬件架構。許多新公司帶著創新的計算解決方案進入市場，并承諾在從傳感器到數據中心的任何地方運行人工智能，以提供全新的用戶體驗。

(原文刊登于EE Times歐洲版，參考鏈接：Revolutionizing AI Inference: Unveiling the Future of Neural Processing，由Franklin Zhao編譯。)