案例開發(fā)

隨著移動(dòng)平臺(tái)的發(fā)展，各類傳感器層出不窮。憑借飛速提升的系統(tǒng)性能、不斷改善的屏幕精度和日益增加的電池壽命，移動(dòng)設(shè)備開發(fā)商已經(jīng)坐擁創(chuàng)新的最佳平臺(tái)。

增強(qiáng)現(xiàn)實(shí)（AR）可以充分挖掘并展現(xiàn)智能手機(jī)的強(qiáng)勁性能。AR的原理并不復(fù)雜，利用高級(jí)攝像頭捕捉圖像，經(jīng)過CPU、GPU、ISP、VPU和DPU，最后顯示在高清屏幕上。這個(gè)過程中，增強(qiáng)內(nèi)容將覆蓋實(shí)際影像。根據(jù)應(yīng)用目標(biāo)的不同，物體識(shí)別、方位補(bǔ)償（使用電子羅盤和／或加速度計(jì)）或高級(jí)渲染技術(shù)都將各有用武之地。

一些人氣移動(dòng)應(yīng)用讓AR不再遠(yuǎn)在天邊，并一舉進(jìn)軍大眾市場(chǎng)，比如將濾鏡疊加在用戶臉部，然后生成圖片和視頻用于分享的Snapchat；以及讓用戶在真實(shí)地點(diǎn)看到動(dòng)畫人物的Pokemon Go。無獨(dú)有偶，還有一些應(yīng)用采取了更高級(jí)的AR技術(shù)，比如將攝像頭捕捉與3D物體相結(jié)合。這些創(chuàng)新用例層出不窮，并可以用于包括零售和高端游戲在內(nèi)的各行各業(yè)。舉個(gè)例子，用戶可以使用移動(dòng)設(shè)備查看家具是否與硬裝搭配，家具巨頭宜家就打算在2017年發(fā)布AR產(chǎn)品目錄。

虛擬現(xiàn)實(shí)已經(jīng)不算新理念了，但其核心技術(shù)卻仍在經(jīng)歷巨變。硬件設(shè)備已經(jīng)萬事俱備，擁有足夠強(qiáng)大的性能運(yùn)行炫目的VR內(nèi)容；一個(gè)適合創(chuàng)新的大規(guī)模開發(fā)商生態(tài)系統(tǒng)也已經(jīng)形成。這一點(diǎn)在移動(dòng)平臺(tái)的體現(xiàn)格外深刻，因?yàn)槿巳硕寄苡茫移湟苿?dòng)性自身便是重要優(yōu)勢(shì)。與臺(tái)式機(jī)和游戲機(jī)不同，移動(dòng)設(shè)備無拘無束。當(dāng)然，實(shí)現(xiàn)這一點(diǎn)需要在設(shè)備上安裝各類傳感器。實(shí)際上，VR領(lǐng)域的許多重大突破都是在移動(dòng)設(shè)備上實(shí)現(xiàn)的——利用VR技術(shù)增強(qiáng)用戶體驗(yàn)的云霄飛車就是高性能移動(dòng)應(yīng)用的一個(gè)典型案例。

盡管推陳出新的顛覆式應(yīng)用不斷刷新智能手機(jī)的使用方式，但我們經(jīng)常會(huì)忘記一點(diǎn)現(xiàn)實(shí)，最普遍的移動(dòng)應(yīng)用情景依然是網(wǎng)頁瀏覽和游戲。近幾年，屏幕分辨率和刷新率都得到提升，用戶界面（UI）的視覺效果和使用體驗(yàn)也越來越自然。這些優(yōu)化對(duì)GPU提出了更高要求，成為成本導(dǎo)向型市場(chǎng)不小的挑戰(zhàn)。

移動(dòng)設(shè)備已經(jīng)成為最主要的游戲平臺(tái)，由于移動(dòng)游戲的便捷性，玩家人數(shù)持續(xù)增加，并進(jìn)一步推動(dòng)游戲數(shù)量的上升。從免費(fèi)的獨(dú)立游戲到數(shù)百萬美元投資的工作室游戲，現(xiàn)代玩家有豐富的游戲類型、價(jià)格和質(zhì)量等級(jí)可供選擇。隨著可選游戲數(shù)量的上升，視覺效果也得到顯著改善。GPU剛剛引入移動(dòng)設(shè)備時(shí)，3D游戲簡單粗暴，不堪入目。而現(xiàn)在呢？游戲畫面豐富多彩，景色怡人，動(dòng)態(tài)感十足，在上一代的手柄游戲機(jī)時(shí)代都是前所未聞的。

上圖是ARM演示團(tuán)隊(duì)制作的三張示意圖。我們先來看看相對(duì)簡單（以今天的標(biāo)準(zhǔn)）的3D內(nèi)容，演示游戲?yàn)?010年推出的True Force，運(yùn)行于2011年款的Galaxy S2。每幀圖元16k，片段處理每像素時(shí)鐘周期3.7次，基于OpenGL ES 2.0。

3年后的2013年，OpenGL ES 3.0正式推出，改善了GPU 對(duì)GPU運(yùn)算的支持（并不是OpenGL ES 3.0 API的主打特色，而隨OpenGL ES 3.1正式推出）；允許開發(fā)商使用更多高級(jí)渲染技術(shù)。結(jié)合基礎(chǔ)硬件后，視覺質(zhì)量顯著提升。將Trollheim演示與TrueForce比較一下便可一目了然，前者的復(fù)雜性比后者高了不少。TrueForce的每幀圖元為16k，而Trollheim為150k，TrueForce的片段處理每像素時(shí)鐘周期為3.7次，而Trollheim則為16次。

2016年，Vulkan正式推出，API效率大幅提高，與OpenGL ES相比能夠以更低的開銷幫助開發(fā)商更好地發(fā)揮硬件性能。當(dāng)然，硬件本身也快速發(fā)展，比較一下Lofoten和Trollheim演示，我們即可清楚地看到復(fù)雜度的提升：每幀圖元提高了300%，片段復(fù)雜度提高了150%。

智能手機(jī)設(shè)計(jì)的挑戰(zhàn)與趨勢(shì)

使用場(chǎng)景的變化僅是一個(gè)方面，移動(dòng)設(shè)備本身也經(jīng)歷大幅升級(jí)。智能手機(jī)市場(chǎng)最初主打旗艦機(jī)型，隨著智能化程度的不斷提高，很多 PC特性已經(jīng)可以實(shí)現(xiàn)，但通訊依舊是其主要功能。然而，過去短短幾年間，智能手機(jī)用途不斷擴(kuò)展，打電話已不再是智能手機(jī)的主要功能，圖像顯示成為了關(guān)注焦點(diǎn)。

過去，手機(jī)電池壽命一般用單次充電支持的通話時(shí)長來衡量，而現(xiàn)在的標(biāo)準(zhǔn)則是網(wǎng)絡(luò)瀏覽或高端游戲的續(xù)航時(shí)間。GPU與顯示性能一起備受關(guān)注。用戶希望體驗(yàn)更高質(zhì)量的視覺效果，到目前為止，這一目標(biāo)都是經(jīng)由智能手機(jī)設(shè)計(jì)改善，以及顯示內(nèi)容的美感和流暢性來實(shí)現(xiàn)，一個(gè)證據(jù)就是屏幕邊框變得越來越窄。市場(chǎng)的大致趨勢(shì)是朝著屏幕包裹設(shè)備的方向發(fā)展，設(shè)計(jì)美感更多由UI而非硬件來實(shí)現(xiàn)。下圖中，我們可以看出屏幕占整個(gè)設(shè)備的比例不斷增加。這一趨勢(shì)在三星Galaxy S7 Edge等機(jī)型上體現(xiàn)得尤為明顯，已經(jīng)實(shí)現(xiàn)屏幕對(duì)設(shè)備的全包裹。

除了打電話，現(xiàn)代智能手機(jī)還能提供極為豐富的功能，如郵件、社交媒體、導(dǎo)航定位、支付、瀏覽網(wǎng)頁、游戲、拍照和視頻等等。用戶在期待功能升級(jí)的同時(shí)，也希望電池壽命不斷延長。但是，即便使用當(dāng)前所有最先進(jìn)的技術(shù)，智能手機(jī)的電池容量還是要不斷增大，具體變化趨勢(shì)見下圖。

除了電池容量變大，智能手機(jī)還變得越來越薄。一些機(jī)型的厚度甚至已經(jīng)達(dá)到了7毫米以下，考慮到現(xiàn)代智能手機(jī)的技術(shù)含量，如此纖薄實(shí)在令人驚訝。

這樣的發(fā)展方向并非完全沒有弊端。屏幕增大導(dǎo)致電池尺寸變大，機(jī)身變薄，設(shè)備散熱能力下降，因?yàn)槠聊坏纳嵝什蝗缃饘贆C(jī)身。此外，機(jī)身變薄后，用以散熱的表面積也會(huì)減少。現(xiàn)代高端智能手機(jī)的性能上限很大程度上被散熱能力牽制，如何保證機(jī)身內(nèi)部元器件不因?yàn)楦邷囟軗p則因此成為另一大挑戰(zhàn)。

現(xiàn)代智能手機(jī)裝有多種耗電發(fā)熱的核心元件，如攝像頭子系統(tǒng)、屏幕、調(diào)制解調(diào)器、Wi-Fi、非易失性存儲(chǔ)器、DRAM和主芯片本身（包括CPU、GPU和其他處理器）。因?yàn)榭偣囊恢拢云渲腥魏我粋€(gè)元件功耗的減少，都可以增加其他元件可以使用的配額，這也是系統(tǒng)功耗配比由用例決定的原因。

現(xiàn)代GPU非常復(fù)雜，嚴(yán)重依賴CPU運(yùn)行驅(qū)動(dòng)程序，以實(shí)現(xiàn)基于軟件與應(yīng)用程序進(jìn)行交互。多虧了Vulkan這樣的現(xiàn)代API，驅(qū)動(dòng)程序的開銷下降了，但是CPU依然需要運(yùn)行驅(qū)動(dòng)程序，所以不能完全避免耗電。由于所有元件功耗預(yù)算共享，因此在CPU中使用的、用于GPU交互的功耗就是不能應(yīng)用于GPU本身的功耗。基于上述原因，降低CPU功耗勢(shì)在必行，不僅是為GPU發(fā)展掃清瓶頸，更是要為盡可能的提高GPU可用功耗鋪平道路。

與之類似，在運(yùn)行復(fù)雜3D游戲的現(xiàn)代系統(tǒng)中，GPU會(huì)消耗大量DRAM帶寬。由于要處理大量數(shù)據(jù)（上述提及的Lofoten每幀處理600，000個(gè)三角），消耗帶寬責(zé)無旁貸，但DRAM的讀寫本身就是耗電的過程，也需要占用系統(tǒng)的總功耗預(yù)算。減少DRAM帶寬可以降低其功耗，并用于其他元件。

現(xiàn)代智能手機(jī)的設(shè)計(jì)和日益復(fù)雜的用例對(duì)GPU提出了前所未有的挑戰(zhàn)。下一章，我們將介紹ARM新一代GPU和GPU架構(gòu)是如何應(yīng)對(duì)這些挑戰(zhàn)的。