OPPO造芯，首推6nm影像專用NPU芯片劍指夜景視頻
（電子發燒友/程文智）火熱的芯片市場又迎來了一個新玩家。12月14日，OPPO在主題為“致善·前行”的OPPO 2021年度未來科技大會（OPPO INNO DAY 2021）上正式發布了其首款影像專用NPU——馬里亞納 MariSilicon X芯片。該芯片采用了DSA架構和臺積電的6nm工藝，算力和能效比十分均衡，同時還融合了OPPO積累多年的影像處理技術，將計算影像推向了4K+20bit RAW+AI+Ultra HDR的新極限。
圖：OPPO芯片產品高級總監姜波在介紹馬里亞納 MariSilicon X芯片
據悉，在新NPU的支持下，夜景視頻將會有新的突破，搭載馬里亞納 MariSilicon X的手機將可以在4K AI HDR視頻中實現超清夜景照片的清晰畫質，讓視頻的每一幀都是一張好照片。那么，MariSilicon X是如何實現夜景視頻的優秀性能的呢？讓我們看看這顆芯片到底有何過人之處。
MariSilicon X芯片的主要架構和核心參數
馬里亞納 MariSilicon X采用的是DSA（Domain Specific Architecture）新黃金架構理念，里面包括了兩大核心IP：MariNeuro AI計算單元和MariLumi影像處理單元。還有專為MariNeuro AI計算單元配置的雙層存儲架構，包括萬億比特每秒（Tb/s）讀寫速度的片上內存子系統，以及8.5GB/s的獨立DDR帶寬，為AI的高效運算提供充足的內存讀寫支持。
所謂的DSA架構，就是一種更加以應用場景為中心的設計思路，通過特殊的計算架構，為解決特定領域的問題提供強大且高效的性能。DSA架構尤其適用于AI領域。通俗地講，就是專芯專用，設計出來的芯片不是解決所有問題，而是解決特定的一類問題，從而滿足對效率的需求。
也就是說，馬里亞納 MariSilicon X就是一顆專為影像而生的NPU芯片，它只做一件事，那就是把影像做到極致。它的具體核心配置可以參考表1。
表1：MariSilicon X的核心配置。
專芯專用，跨越算力鴻溝
OPPO芯片產品高級總監姜波表示，基于DSA的設計理念，OPPO將專用的AI算法進行了芯片化，在芯片的底層硬件中，直接嵌入了適合這一算法的算子。MariNeuro AI計算單元就是專門用來實現像素級圖像處理的，它的有效算力高達18TOPS，每秒可以進行18萬億次的運算。
眾所周知，算力是一切計算的基礎，而在手機影像的應用中，算力一般分為四個等級，分別是場景感知、場景重構、像素級處理和多維度立體圖像處理。AI在影像領域的不同的應用場景中，對算力有著不同的需求。
圖：AI在影像領域的不同應用場景對算力的需求。（來源：OPPO）
傳統的計算攝影由于算力的限制，只能做到場景重構這一層級，比如大部分手機目前對于人像處理時采用的人臉檢測和美顏的計算。想要更進一步，逐個像素對圖像進行處理，乃至未來對AR/VR的三維圖像進行實時處理，高算力是必不可少的。“根據OPPO的測試經驗，實現像素級的圖像處理至少需要10-50TOPS級別的算力。”姜波表示。
他同時強調，堆砌算力并非重點。算力往往可以通過提升計算主頻或者增加計算核心數量來粗暴地實現，而更具挑戰的是在手機的功耗發熱約束之下依然能夠實現高算力，這就是能效比的重要性。
馬里亞納 MariSilicon X 的能效比就達到了11.6 TOPS/W，這也是手機AI能效罕見地實現了雙位數的每瓦性能，是手機NPU芯片AI能效新的里程碑。
在OPPO的實際測試中，采用了OPPO自研的AI降噪算法（這一算法目前已經應用在了Find X3 Pro的夜景拍照中）。在實際的測試中，這樣的算法加載在Find X3 Pro上，AI的性能只能做到2fps，而功耗則接近1.7W；這樣的幀率，完全不夠視頻最低的30fps的要求。而1.7W的功耗，也遠遠超出了手機對視頻處理的最高功耗要求。
而同樣的模型加載在馬里亞納 MariSilicon X的時候，可以做到40fps的運行速度，同時功耗只有不到0.8W，這樣的性能是20倍的提升，功耗則不到之前的一半。“越專用，越高效，在這組實測數據中得到了最好的體現。”姜波分享說。
除了算力，AI神經網絡的處理速度還受限于內存的容量和讀寫速度，也就是行業常說的馮·諾依曼“內存墻”瓶頸。計算單元的運算速度和傳輸速度就像一個木桶中的不同木板，最短的那個限制了計算單元的能力。
為了更好地發揮馬里亞納 MariSilicon X的運算能力，OPPO非常奢侈地集成了雙層存儲架構，包括萬億比特每秒（Tb/s）級讀寫速度的片上內存子系統，以及8.5GB/s的獨立DDR帶寬，為AI的高效運算提供充足的內存讀寫支持。
片上內存子系統集成在AI計算單元MariNeuro上，只服務于與AI運算相關的數據吞吐，最高可以提供數十倍于目前手機中最先進的LPDDR5的數據傳輸速度，極大程度地降低數據在存儲與計算兩個單元的繁復讀寫，讓AI數據在計算的時候不需要離開AI計算單元，這就能大幅降低計算時的功耗。
不僅如此，馬里亞納 MariSilicon X獨立的DDR帶寬專門為芯片內的各個IP提供獨立帶寬，也在SoC的基礎上，增加了17%的系統總帶寬。
此外，OPPO還為內存子系統和獨立DDR帶寬設計了分層結構與多行并行流程，保證圖像數據在MariLumi影像處理單元與MariNeuro AI計算單元間的輸入與輸出可以實現最低的時延，降低因反復讀寫數據造成的功耗，令視頻處理更快更高效。
AI降噪算法前置，帶來更優畫質
馬里亞納 MariSilicon X里面另外一個重要的自研IP——MariLumi 影像處理單元，它針對視頻流趨勢進行了獨特設計，能夠流暢地面向4K規格的視頻數據量進行計算。像素級的處理速度也讓智能HDR融合算法可以在這顆單元的前端運行，最終令畫面動態范圍達到了20bit 120db（20 stops），相比Find X3 Pro提升4倍，達到20bit Ultra HDR超級動態范圍。20bit-120dB意味著對于一張圖片而言，最暗和最亮的部分相差100萬倍。
姜波指出，OPPO通過該芯片的HDR能力，可以將原來只屬于白天的動態范圍，首次拓展到在夜間視頻上。相比Find X3的方案來看，馬里亞納 MariSilicon X處理后的視頻畫面更自然，動態范圍達到人眼可分辨的極限。
其實，從鏡頭到最終存儲的影像，是一個數據不斷壓縮的過程。具體來看，影像處理過程中涉及3個空間，RAW-RGB-YUV，數據每經過一次轉換，就會受到一定損失。
RAW是原始數據的空間，這里承接的是從傳感器光電轉換得來的所有無損數據，有著更豐富的信息量和更大的數據量。但RAW域的圖像信息是無法直接觀看的，必須在RGB域“上色”，再輸出到YUV域進行格式轉化，最后生成JPEG/HEIF等可在屏幕上觀看的格式。
RAW有一個好處就是它的線性度、色彩比較好，有更原始的信息，所以在RAW上處理，可以得到更好的處理效果。但算法復雜度、實際相應的硬件投入都會更多。因此，傳統的HDR都選擇在YUV里合成。
而馬里亞納 MariSilicon X將傳統在后端的處理前置到了RAW域，并且因為強大的算力，最高可以支持20bit位寬的RAW數據處理。而且是基于更先進的AI算法和20bit HDR融合的計算，對每個像素做實時的計算。
通過算法前置，MariSilicon X能夠為整個鏈路帶來最多8dB的信噪比提升，這意味著在YUV等待計算的通用平臺，拿到的也是更優質的圖像信息，就能夠在后處理，比如色調映射、3A校準等基礎計算實現更高質量的表現。
打破影像的不可能三角
人工智能的三要素是數據、算力和算法，對應到計算影像上來說就是傳感器、芯片和AI算法，這三者環環相扣，缺一不可。但行業主要面臨的問題，就是傳感器、芯片和算法的技術發展不同步。一般來說，芯片的開發周期基本需要兩年以上，傳感器則是一年一代更新迭代，而算法開發和訓練所需的時間則更短，這就意味著很難有廠商可以將三者在一個時間節點上完美調優。
此外，在傳統的技術生態中，傳感器、芯片和影像算法會由產業鏈中不同領域的公司負責。假設有企業要做一顆芯片，通常的做法是去找專業的算法公司來購買算法，再找一個前端公司做芯片的邏輯設計，很少有公司會負責所有部分。這樣做在公司運營和成本方面好處有很多，但也帶來了用戶體驗上的問題——無法耦合各個模塊，也就無法將指標做到最優。
完美打通算法、芯片和傳感器是行業中長期以來都無法解決的問題，“我們稱之為手機影像的「不可能三角」。”姜波解釋稱。
如今，OPPO通過自己在影像領域的技術和算法積累，再加上近年來逐步建構起的芯片設計能力，通過自研芯片和自研算法的整合，自研芯片和深度定制傳感器的配合，以及自研芯片和通用平臺的打通，打破手機影像的不可能三角。
RGBW Pro模式就是打破手機影像的不可能三角最好的例證。通過雙通路設計，馬里亞納 MariSilicon X實現了對RGB和W像素的分隔處理，最大化利用每一種像素特性，釋放出RGBW陣列的全部潛力。馬里亞納 MariSilicon X的RGBW Pro模式帶來了8.6dB的信噪比提升，以及1.7倍的解析力提升，在傳感器尺寸規格都沒有變化的前提下實現大幅的影像效果增強。
四項能力突破，解決夜景視頻畫質問題
得益于前面提到的技術，馬里亞納 MariSilicon X獲得了四項關鍵的技術能力，即（1）強大的AI計算能效；（2）領先行業的Ultra HDR；（3）無損的實時RAW計算；（4）最大化傳感器能力的RGBW Pro。而這思想能力的突破，讓OPPO可以解決手機影像長期尚未解決的難題——夜景視頻畫質的問題。
在全新標準之下，安卓影像第一次有能力同時支持4K + 20bit RAW + AI + Ultra HDR的極限規格。最終的結果，就是夜景視頻的畫質得到了質的提升。
從1080P到4K：傳統弱光下的視頻拍攝，只要打開AI視頻增強，由于算力所限，畫質被限制在1080P。馬里亞納 MariSilicon X超強AI性能將分辨率提升了4倍，首次讓AI計算夜景視頻達到4K規格。
從有損到無損：相較于傳統計算影像都發生在YUV域的有損后處理，馬里亞納 MariSilicon X將復雜的計算前置在RAW域，為整體影像鏈路輸出更高質量的原始圖像信息。
從AI拍照到AI視頻：馬里亞納 MariSilicon X也讓原本只能用于拍照的AI降噪算法，首次拓展到了視頻應用，為視頻的每一幀帶來極高的純凈度。
從18bit HDR到20bit Ultra HDR：馬里亞納 MariSilicon X支持的畫面動態范圍達到了20bit Ultra HDR，是目前主流平臺18bit的4倍（2的20次方與2的18次方相比），信噪比達到120db，讓視頻的每一幀都擁有和人眼一致的動態范圍。
結語
總的來說，馬里亞納 MariSilicon X是一顆極致功耗的NPU，結合20bit的HDR，RAW處理、以及RGBW傳感器的耦合，加上OPPO多年來在影像技術方面的探索和影像算法方面的積累，將視頻拍攝推向了一個新的高度。
以前，手機上只能做YUV的1080p的AI降噪處理，有了馬里亞納 MariSilicon X的助力后，4K的AI在RAW上實現了可能，讓用戶體驗有了4倍的提升。也就是說，有了馬里亞納 MariSilicon X后，不論是拍照，還是錄視頻；也不論是拍夜景，還是錄夜景視頻，用戶都將得心應手。
一般來說，消費類電子產品使用的芯片是一年一升級，明年的馬里亞納 MariSilicon X是否會推出其第二代產品呢？姜波回應稱，對于下一代產品，目前已經在探索中了。
最后，姜波透露說，馬里亞納 MariSilicon X芯片將會首先搭載在Find X系列手機上，預計明年一季度就可以與廣大用戶見面，請大家拭目以待。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
OPPO
+關注
關注
20文章
5235瀏覽量
79056 -
NPU
+關注
關注
2文章
286瀏覽量
18647
發布評論請先 登錄
相關推薦
NPU的工作原理解析
隨著人工智能技術的快速發展，深度學習算法在各個領域得到了廣泛應用。為了滿足日益增長的計算需求，NPU應運而生。 NPU的基本概念 NPU是一種專用硬件加速器，專門為深度學習算法設計。它
什么是NPU芯片及其功能
在人工智能（AI）技術迅猛發展的今天，NPU芯片已經成為推動這一領域進步的關鍵技術之一。NPU芯片，即神經網絡處理單元，是一種專門為深度學習算法設計的硬件加速器。 一、
天璣9400旗艦芯影像能力全面起飛
無論你是專業的視頻創作達人，還是熱衷于記錄生活的影像愛好者，天璣 9400 旗艦芯都能憑借其影像錄制能力的強大提升，滿足你所需。內置旗艦級 ISP
什么是NPU？什么場景需要配置NPU？
處理AI任務上的效率更高，在現今ARM主板配置中也變得越來越重要。本文將帶大家了解 NPU 的作用、必要性，以及國產芯片廠商是如何對它進行布局的。
快人一步迅為LPDDR5版本瑞芯微RK3588核心板升級了
性能強--iTOP-3588開發板采用瑞芯微RK3588處理器，是全新一代ALoT高端應用芯片，采用8nm LP制程，搭載八核64位CPU，四核Cortex-A76和四核Cortex-A55架構
發表于 09-12 10:52
迅為瑞芯微RK3588與3588S如何選型硬件區別
G610 MP4四核GPU、支持OpenGLES 1.1、2.0、3.2，OpenCL 2.2和Vulkan1.2。6TOPs的NPU算力，8K編碼+8K解碼，多路視頻源同時解碼。這款處理器在接口
發表于 09-11 11:31
6nm異構多核！國內首款Arm架構AI PC處理器此芯P1發布
計算平臺因此得到了廣泛的關注。現在，國內公司也完成了Arm架構AI PC處理器“破冰”，開始揚帆啟航。 ? 7月30日，在以“從此芯出發”為主題的此芯科技AI PC戰略暨首款芯片發布會上，此芯
基于RK3588的NPU案例分享！6T是真的強！
本帖最后由 Tronlong創龍科技 于 2024-7-19 16:53 編輯
RK3588 NPU簡介：作為瑞芯微新一代旗艦工業處理器，RK3588 NPU性能可謂十分強大，6
發表于 07-17 10:55
迅為RK3568手冊上新 | RK3568開發板NPU例程測試
iTOP -RK3568開發板使用手冊上新，后續資料會不斷更新，不斷完善，幫助用戶快速入門，大大提升研發速度。
本次新增《itop-3568開發板NPU例程測試手冊》是NPU視頻教程的擴展手冊，目的
發表于 07-12 14:44
今日看點丨微軟將在日本投資29億美元；臺積電JASM熊本廠設立微芯科技專用40nm產線
1. 臺積電JASM 熊本廠設立微芯科技專用40nm 產線 ? Microchip Technology（微芯科技）擴大了與臺積電的合作伙伴關系，臺積電在日本先進半導體制造公司（JAS
發表于 04-10 10:55
?943次閱讀
采用芯原NPU IP的人工智能（AI）類芯片已在全球出貨超過1億顆
2024年2月29日，中國上海——芯原股份（芯原，股票代碼：688521.SH）今日宣布集成了芯原神經網絡處理器（NPU）IP的人工智能（AI）類芯
采用芯原NPU IP的AI類芯片已在全球出貨超過1億顆
芯原股份發布重要消息，其集成了芯原神經網絡處理器（NPU）IP的人工智能（AI）類芯片，已在全球范圍內出貨超過1億顆。這一里程碑式的成就標志著芯
采用芯原NPU IP的AI類芯片已在全球出貨超過1億顆
芯原股份（芯原，股票代碼：688521.SH）今日宣布集成了芯原神經網絡處理器（NPU）IP的人工智能（AI）類芯片已在全球范圍內出貨超過1
基于RK3588的NPU案例分享！6T是真的強！
RK3588?NPU簡 介 作為瑞芯微新一代旗艦工業處理器，RK3588 NPU性能可謂十分強大，6TOPS設計能夠實現高效的神經網絡推理計算。這使得RK3588在 圖像識別、語音識別
OPPO，銳思智芯，高通三方攜手，共同推動智能手機影像AI Motion變革
美國拉斯維加斯，2024年1月11日——OPPO，銳思智芯，高通近期發布，合作推動創新性融合視覺傳感(Hybrid Vision Sensing， HVS?)技術在智能手機領域應用。通過HVS
發表于 01-11 09:07
?670次閱讀
工商網監
評論