2月22日，小米龍年第一場重磅發布會，正式發布專業影像旗艦小米14 Ultra。

此前小米發布的兩代 Ultra，在不同維度，引領了移動影像行業的走向。最新的小米14 Ultra 在定義的時候，我們反復在思考：怎么才能把移動影像推向一個全新的層次？

為此，小米跟徠卡、用戶、攝影師、專家學者做了大量的交流，最終確定小米14 Ultra 影像追求的目標：讓真實有層次，要細節豐富，過渡細膩；要主次明確，遠近分明，通過好的技術和審美，還原生活的豐富、從而直指人心。

當 AI 大模型與手機影像結合，會碰撞出什么火花？

為了讓基于 AI 大模型實現的手機影像系統更符合小米的“光學味”，在結合小米14 Ultra 的設計理念下，我們層次性地去釋放大模型的能力，給用戶帶來突破性的效果和使用體驗。

這里，要和大家重點介紹小米首個 AI 大模型計算攝影平臺 Xiaomi AISP，也是小米影像大腦的全新升級。Xiaomi AISP 是計算攝影的強力之作，它有哪些革命性升級？我們一起來看。

01

Xiaomi AISP

首個 AI 大模型計算攝影平臺

AI 大模型一經問世，便展現了其驚人的技術能力，各行各業都相繼涌現出了利用 AI 大模型來推動技術變革的不同思路。小米相機團隊也一直在思考，AI 大模型會給手機影像帶來哪些變革？又如何將 AI 大模型技術更好地引入到手機影像系統里來？

經過不斷地技術驗證及效果評估，小米確定了開發基于 AI 大模型的 Xiaomi AISP 影像處理系統的目標，并在效果、算力、生成三個方面有了獨家的見解和想法創新。

效果：在圖像領域，AI 大模型最初被用來生成描述包含各式內容、具有指定風格的圖像。但隨著技術的迭代，生成圖像的質量、真實性、分辨率越來越高，甚至達到了影棚級的效果。

若將大模型用到相機影像系統的任務中，處理噪聲、影調、人像等問題，效果是不是會更好？團隊帶著問題開始嘗試和探索，認為在具備一定質量的圖像輸入的前提下，經過合適的調整和匹配，AI 大模型會得到相較于傳統方法或者第一代 AI 技術更好的效果。

算力：算力，是將大模型應用到手機上、拍照影像系統里最大的問題。團隊為了能將 AI 大模型應用到實時性要求非常高的手機相機影像系統中，在模型重構設計、模型求解優化（推理迭代）以及系統級管線管理及多硬件算法分配方面，投入了非常多的資源，也攻克了許多關鍵性的問題。

通過重新設計、訓練適合相機影像任務的小型化 AI 大模型，并基于小米澎湃 OS 和自研的異構加速平臺，全面整合了 CPU、GPU、NPU 和 ISP 的平臺算力（計算能力達到 60 TOPS），最終成功地實現了基于 AI 大模型的 ISP 系統解決了端側、拍照模型運行的速度、功耗等問題。

生成：為了讓基于 AI 大模型實現的相機影像系統更符合小米的“光學味”，在結合小米14 Ultra 的設計理念下，我們層次性地去釋放大模型的能力。在基礎的影像功能任務和場景，從多個維度相對保守的使用了 AI 大模型的生成能力，以保持大模型原有的優勢；相反的，在超出光學和傳感器物理極限的場景，我們會適當釋放大模型的生成能力，以帶來不一樣的效果體驗。

本次推出的14 Ultra 所使用的 Xiaomi AISP 平臺便是通過對效果、算力、生成的創新思考，基于 Stable Diffusion 模型（圖像處理領域的基礎 AI 大模型）開發。

依據相機影像功能間的耦合程度以及相機功能特點，小米將 Xiaomi AISP 拆分成四類大模型，即融合光學大模型、影調大模型、色彩大模型及人像大模型，并且各個模型都經過了小型化、異構并行等加速處理，以符合手機端側、拍照功能客觀需求特點。

經過這四類大模型不同的組合方式并結合影像處理流程的其他模塊，實現了基于 Xiaomi AISP 的全新的相機功能，接下來讓我們展開介紹。

02

AI 超級變焦

恢復超高清遠景瞬間

清晰地捕捉動人瞬間，不受拍攝距離遠近的影響，留住想要記錄的真實。小米首次將 AIGC 技術應用到計算攝影領域，帶來了能精準預測“看到什么”、“想要呈現什么樣”的影像，解決相機中長焦功能拍攝距離遠，成片效果模糊不清，缺少真實性的問題，并利用先進的 Stable Diffusion 大模型將其生成為圖片的 AI 超級變焦（Ultra Zoom）功能。

以往 AIGC 往往使用在如魔法消除等后處理功能中，而如今應用在實時出圖的功能中，小米走在了前列。可以說，Ultra Zoom 是 AIGC 在影像領域應用的革命性創新。

受硬件限制，長焦高倍率拍攝場景一直以來都是行業難題之一。相比于專業相機，手機相機的傳感器、光圈都更小，限制了最終拍攝圖像的空間分辨率和聚光能力。因此當我們在拍攝遠景時，大氣擾動疊加鏡頭光學模糊、像素欠采樣等影響都會導致手機相機傳感器捕捉的照片出現清晰度不足、線條扭曲、細節丟失等現象。

由于 Zoom 倍率比較大，現有相機通常采用對圖像裁切并插值放大的方式來實現數字變焦，進一步導致圖像變得模糊，失真也更嚴重，影響最終拍攝出圖畫質。

隨著大模型技術的出現，我們在思考是否可以借助大模型的強大生成能力和泛化能力來提升移動端相機在長焦高倍率的拍攝效果。于是，展開了 Ultra Zoom 算法的研發，利用超大參數量的新一代網絡架構，對精心清洗的大量（超過200w)超高清數據進行學習，使得模型具備了對細節恢復任務的充分理解及知識遷移，實現對遠攝場景自適應超清優化效果。

Ultra Zoom 以 Stable Diffusion 大模型為基座，融合了場景分割、超分辨率等多項技術，以低清圖像作為提示，結合大模型的先驗知識，“猜想”出物體的紋理和細節，帶來真正可用的超高倍率變焦效果。

▍大模型輕量化升級，部署移動端側

Stable Diffusion 大模型雖然具有強大的理解能力和生成能力，但數十億的參數量對于算力和存儲都受限的手機移動端部署是巨大的挑戰，很多特殊的計算操作是手機端側目前無法支持的。 即使部分算子能夠進行支持，推理時間也是達到了數十秒，盡管目前出現了很多關于 Diffusion 推理性能的優化方案，但是想直接應用到對實時性要求較高的手機拍照上，還有很大差距，大模型如何輕量化到可以進行端側部署是一大難題。

為了解決以上問題，我們對齊硬件平臺規格，對低效算子進行替換，同時結合量化、剪枝技術，實現了硬件感知的性能優化。同時從迭代推理部署入手，結合潛在一致性模型思想，將原本上千步的迭代優化到了6步以內，降低推理迭代計算負擔。最后結合大模型蒸餾技術，保證輕量化后的 Stable Diffusion 相比原來推理精度損失最小，達到秒級推理高清 4K 圖像的水平，可成功部署在移動端。

▍真實清晰雙向并行，提升畫面細節

基于大模型的圖像生成任務中，保真度和清晰度的平衡是一個非常重要的難點。保真度通常指的是生成的圖像與真實物理場景的相似度，而清晰度則指的是生成的圖像的細節和清晰程度。 例如拍攝一張遠處的大樓，如果擴散模型過于注重清晰度和細節，那么可能會在大樓的墻面生成磚紋，但真實的大樓可能是沒有磚紋或者不同形狀的磚紋，這樣生成的圖像就會失去真實感和自然感。相反，如果擴散模型過于注重保真度，沒有生成磚紋，反而將墻面抹的很平，那么就不會帶來畫面清晰度和細節的提升。

為了在保真度和清晰度之間尋求最優平衡點，團隊采用局部判別學習的方式，對細節信息和異常紋理進行區分處理，對細節進行信息增強和恢復，對異常紋理進行抑制和去除。同時研發了特征控制模塊，對不同場景和不同圖像內容進行生成信息強度的引導，實現場景自適應的保真度和清晰度平衡。

AI 超級變焦功能生成的照片雖然可觀性更強，但是它加入了 AI 算法的修飾，并非完全的真實。真實性，是小米在影像戰略道路上一直堅守的方向。因此，對于 Ultra Zoom 所生成的圖像，小米都給予了它們加密的 AI 標簽，這是一個藏在畫面中的「AI 暗水印」，這個信息不會隨著修圖或者分享而消失，從而保持照片來源的客觀性和真實性。

03

Ultra Raw 超級底片

塑造移動攝影新基底

讓移動攝影再邁進一步，定義屬于這個時代的新層次。得益于 Xiaomi AISP，小米14 Ultra 擁有全新融合光學大模型（FusionLM）算法，打破了常規的先剪切再拼接邏輯，最大化的保留了完整的原始光強信息，做到原始光強線性校準，在合成一張圖片時，突破了舊有合成技術過渡不自然不順滑的問題。

誕生于 Xiaomi AISP 計算管線多幀融合光學數據的 Ultra Raw 超級底片，能在 HDR 照片拍攝時，把多幀不同亮度的圖片以“像素”為單位合而為一，保留多幀完整的原始光強信息，并且取材的顆粒度更細膩，亮度變化更順滑自然，不會有割裂的光強表現，在動態范圍達到 16EV，線性色深可以達到16bit 的條件下，給后期處理無盡的發揮空間。

融合光學大模型是整個 Xiaomi AISP 影像處理系統的核心部分，RAW 文件即一種未經加工的“原始圖像編碼數據”的文件格式，保留著圖像感應器捕捉到的原始畫面數據，也被稱為「數字底片」。 Ultra Raw 超級底片具備可進行風格化調色創作的原始圖像信息，能帶來更多影像的可塑性、創造性。可以說 Ultra Raw 超級底片為專業攝影師帶來了移動端攝影驚喜。

▍高度適配豐富場景，多幀融合絲滑拼接

那究竟是如何讓光影、像素信息過渡自然，達到順滑效果的呢？ 常規而言，用戶在 HDR 照片拍攝時，成像會根據多幀不同亮度圖片的非線性亮度分布和細節情況，在不同區域選擇不同源的輸入，即所謂的“剪切”。 比如原始光強比較暗的區域會選擇曝光量更高的圖片，來獲得更合適的亮度和更佳的信噪比；原始光強比較亮的區域會選擇曝光量更低的圖片，來盡可能地避免過曝和還原更多高光細節等。且在選擇不同輸入源的同時，算法還會根據畫面的亮度和細節等信息計算其相應的融合比例，最后不同區域根據不同比例進行“拼接”來得到最終的融合結果。

但問題也隨之而來，由于 HDR 照片拍攝時后臺拍攝的多幀圖片的曝光量往往是離散的，這時來自不同區域、不同輸入源的特性，就會導致最終成圖時不同區域之間也存在一定亮度離散性，畫面亮度不連續。

雖然研究人員也會做各種各樣平滑和過渡處理來緩解以上離散問題，但這并不能從根源上解決，也導致了后續拍攝成像時亮度線性關系保持不好、比例控制不當易出現“不自然不連續”“亮度反轉”的問題。 由此，我們首先要解決的問題就是：如何借助大模型的強大算力和學習能力，解決傳統融合方法的弊端，從更細顆粒度的像素上自動學習多幀信息融合和亮度線性自然過渡，并兼顧運動偽影處理。

融合光學大模型 FusionLM 由于有線性數據的輸入要求，能從公開渠道獲得的訓練數據較少，特別是拍攝對象帶真實連續運動的數據更加不足，很難發揮大模型海量數據的優勢。針對該問題，我們創新性地提出了一套基于 AIGC 的多幀融合光學數據生成方法，極大提高了訓練數據的場景豐富度和數據量，保證了 FusionLM 大模型的融合效果和豐富場景的適配能力。

▍網絡模型消除運動偽影，動勢成像過渡自然

在動勢場景下要想成像過渡自然，就不得不提及由于運動直接導致的“運動偽影”。在拍攝過程中，攝像者常會面臨運動對象的速度或快或慢，如快速行駛的汽車、慢悠悠散步的行人；被攝主體或大或小，如龐大的建筑和精巧的小物件；拍攝距離或遠或近帶來的成像尺寸變化，如人物特寫與大全景的情況。這就帶來了用戶常規拍攝時拍攝對象突然移動或者姿態變化帶來的運動偽影問題，這對網絡的多尺寸特征提取能力和提取效率提出了很大的挑戰。

需要既能“看到更大范圍”來覆蓋快速運動物體的運動區間和大尺寸拍攝對象，又能“聚焦更小范圍”來識別局部精細運動和小尺寸對象。因此，團隊特別設計了專門的人/物運動和人體姿態變化的數據生成方法，為網絡訓練提供了更多樣、更連續真實的運動樣本，模擬真實拍攝場景的情況，極大提高了模型運動偽影的處理能力。

同時，也從網絡模型優化著手，對 Tranformer 的 attention block 和 window partition 進行專門改進，提高網絡多尺度、cross patch 的特征提取能力。去有效解決運動偽影問題，提高用戶在運動場景拍攝效果和拍攝成片率。

Ultra Raw 超級底片，能夠做到高動態范圍、高信噪比、無運動偽影的純線性域數據，帶給專業攝影師更多的操作空間。這個突破性的想法得到了徠卡的認可，小米作為移動影像領域的引領者，從認知到技術，都為行業帶來了全新的突破。他們認為“ Ultra Raw 甚至超越了光學無損，每一張照片都寫滿了被自由修改的渴望”。除了徠卡，Ultra Raw 還通過了 Adobe 實驗室校準，也是目前國內率先支持 Lightroom HDR 工作流的安卓設備。

04

構建小米的色彩還原體系

每個顏色都有獨特的 RGB 信息，給人傳遞或溫柔、或強烈、或冷淡等視覺識別性的信息特征。每一張照片都記錄著當時入畫的環境、主體物等，要想成像質量足夠高，圖像信息更豐富，就必須得提及 HDR（高動態范圍成像）技術。 作為在大家拍攝自然風景、人物肖像、市場街景、食物攝影、藝術品展覽等場景下的好搭檔，能夠更細節地留下圖像的色彩信息，呈現出最貼近人眼視覺感受的真實色彩，還原所見之景。

那么，人眼中的色彩世界和相機傳感器中的色彩世界是否一致呢？人眼只能看到380納米到780納米之間的光譜，且看不見短于380納米的紫外線光波和長于780納米的紅外線光波。而相機傳感器的設計是基于人眼成像的特性，采用相近的響應光譜分布，但依舊與真實人眼所能看到的色彩光波信息存在差異，因此， CMOS 傳感器無法真實呈現貼近肉眼和心理期待的色彩還原。

且自然界的物體不僅會反射顏色，也會吸收顏色，更是增加了還原色彩的難度。例如成熟的櫻桃有著飽滿艷麗的鮮紅色，這是因為櫻桃表面吸收綠光和藍光，而只反射長波光，所以才會顯出紅色。因此，感知到哪些顏色，取決于藍色、綠色和紅色被吸收的比例和光線強度。這些因素都讓人感受到照片和真實世界中顏色具有差異。這就需要我們圖像色彩大模型具備高精度的色彩還原能力，以滿足拍攝的照片能還原出原始圖像中的細節和色彩信息。

▍色彩大模型，高精度還原自然真實色彩

色彩，是認知世界的重要信息。原有的 HDR 算法中，高光處顏色無法得到正確還原，以及存在偏色、失真的問題。為了更好地把握色彩，小米與徠卡工程師進行了深度地交談，同時結合產品和評測多方專業意見，構建出了一套屬于小米自己的色彩還原體系。

通過在標準的實驗室場景和真實的自然場景大量的采集和調試，逐步完善了我們的色彩數據庫，并結合大模型強大的學習和表達能力，做到哪怕是高動態的拍攝場景下，也能保證色彩還原的準確性，做到準確還原人眼所感知的內容，讓用戶所見即所得。

同時，針對以往算法會遇到的色彩斷層、過渡不均勻等問題，我們結合了傳統算法中的 3D LUT 技術，利用其本身良好的色彩過渡性和連續性，融入進色彩大模型之中，在準確還原色彩的基礎上，保證了色彩是自然連續有層次感的。無論是拍攝自然景色、城市風光，還是普通拍照或高動態場景，畫面都能還原出真實的自然色彩，展現出場景中豐富的色彩變化，得到身臨其境般的影像效果。

05

大師開拍

探索電影級光影之美

影調，如同畫作中的色彩一樣，能賦予畫面生命和情感，更是一種視覺情境的表現形式。Xiaomi 14 Ultra 是目前唯一支持全焦段 8K 拍攝的影像旗艦，擁有全新的影調大模型（ ToneLM） 大模型算法。借助于大模型的強大算力，真正讓小米影像做到了“讓真實有層次”、“過渡細膩”、“主次明確”的影調風格。

▍影調大模型，直出電影級層次感視頻

小米14 Ultra 搭載全新的「大師開拍」視頻功能，視頻影調風格也進行了全面的升級，具備電影級的高規格，擁有“直出電影級層次感”視頻的能力。 它具備電影級的高規格，4K，24或30幀的電影幀率，10bit 色深、HLG 高動態范圍、以及 BT2020 廣色域。充分利用了 LYT-900 的高動態能力，捕捉和記錄 14EV 的動態范圍，并通過高動態的影調和中性的色調，呈現出電影級自然、細膩的畫質。許多攝影師體驗之后也不禁感嘆“安卓的視頻也終于有了影調”。 讓畫面光影效果更真實，光比更接近人眼的效果。小米使用了 ToneLM 大模型來訓練 Tone mapping 算法，該模型會在 Ultra Raw 超高動態范圍線性數據上，自動學習如何調整圖像的亮度和對比度，提高影調效果，比傳統的 Tone mapping 算法能處理復雜的場景。

在亮度上，拍攝高動態范圍畫面時可以更真實地還原環境的光比，既保持影像的明暗影調關系，又還原暗部和高光蘊涵的細節。例如金屬質感、夕陽的光感，以及夜晚的霓虹燈效果。

在對比度上，既聚焦全局通透感提升，強化場景特點，又專注于局部層次和反差的捕捉，實現整體通透、局部反差自然結合。例如波光粼粼的河流、郁郁蔥蔥的樹林等，讓影像更加鮮明、有立體感。

同時，在將高動態的圖像轉換為低動態圖像的過程中。主要關注：

呈現圖像的完整動態范圍，充分恢復圖像內容細節，暗區不死黑，亮區不過曝；

影調真實自然，盡量避免亮度反轉，貼近人眼觀感。現有的視覺大模型算法不能完全匹配 Tone mapping 任務的特性和需求。

因此在模型設計上，將 transformer block 和空間/通道注意力模塊結合，并采用多尺度的架構，更好地挖掘局部和全局信息，保持影像的明暗影調關系，又還原暗部和高光蘊涵的細節。

當你啟用大師開拍，視頻畫面就擁有了電影級的立體光影、柔和的色彩過渡，充滿故事感。

06

大師人像

邁入人像攝影新境界

攝影，需要真實性與藝術性的并行描繪，是一種能觸動人心的藝術。Xiaomi 14 Ultra 此次推出的「大師人像」功能便做到了真實與美麗的極致融合，帶來更豐富的焦段選擇、更強的抓拍能力，以及全新的「大師人像」/「徠卡人像」雙畫質，展現了小米在人像攝影層面的技術突破與藝術理解。

▍人像大模型，主體與背景的深層融合

人像攝影技術的全面超越，離不開人像大模型（Portrait LM）的技術支持，人像大模型共包括“人像語義”，“人像虛化”和“高保真人像智能美顏”三個主要模塊。 它們超越了傳統人像算法的「功能導向」思路，提供了模仿攝影大師思維方式的算法模型。通過算法的藝術般處理，讓光影更加立體、景深層次更加自然、皮膚細節和膚質更加真實，為用戶獲得真實美好的人像圖像提供了最穩妥的技術依托。

“人像語義”對圖像進行解析，通過大模型分析返回人像和環境的解析結果，實現了人像的精細化調整。“精細分割”是實現人像精細化處理的必殺技。

“人像語義”通過對圖像不同區域進行精細化的分割，對不同分割區域應用不同的算法處理，來呈現整圖最優的人像效果。例如通過皮膚分割，實現對膚色的精確還原；五官分割，對五官進行微調，讓五官更加立體飽滿；發絲分割，幫助還原發絲，做到“發絲級”虛化；天空和場景分割，讓人像背景影調更加通透，色彩還原更加準確。

除了能對圖像精細分割外，“人像語義”還會輸出圖像屬性 ID ，將不同的人像屬性 ID 與不同的算法相結合，實現對不同類型的人像最優處理。例如定制面部美顏效果功能并能夠針對不同光源、膚質區別性地對膚色進行調試，讓膚色還原更加準確。

“人像虛化”則包括深度計算與虛化渲染兩部分。

深度計算動態融合多種語義信息，對深度細節、穩定性方面的技術進行了增強。由于不同語義處理圖像的不同區域，小米還引入了“門控網絡”實現語義的動態融合，讓語義信息能根據圖像內容自適應優化深度準確性，從而使人像虛化更加真實自然。

例如拍攝人像特寫時，模型專注提升人體發絲還原準確性，做到發絲根根分明；拍攝多人合影時，模型專注提升多人景深關系的準確性，告別「紙片人」式的“虛化摳圖”的生硬感。 虛化渲染則能夠使用光源，還原網絡估計場景光斑能量分布，以做到光斑的光學還原。同時使用網絡對光學景深進行建模，做到與同光圈條件下單反相機能夠呈現地同樣的景深效果。

“高保真人像智能美顏”模塊構建大規模人像修復模型并整合 StyleGan 的人像生成能力，使得美顏算法在修復補全的同時具備輕度智能生成效果，祛除人臉瑕疵同時獲得超越自身的輕微美化。 此外，大模型還整合了大量人像語義信息讓美顏更智能，讓算法能夠根據人像屬性信息匹配合適的美化效果，一鍵實現“千人千面”的定制化美顏效果。

同時，為避免過度美化問題，人像大模型還引入了語義高保真模塊，促使在修復和生成過程中，更好地記憶并保持人臉身份信息。

- 真實是人文影像永恒的魅力，能透過照片傳遞出情感與藝術張力，而真實影像的靈魂就在于“層次感”。

Xiaomi AISP 影像處理平臺，在技術上賦予了小米影像更多的精巧呈現，同時又增添了許多對攝影藝術的深刻理解，層次性地展示了真實的人物、真實的場景、真實的光影，讓手機攝影進入新的藝術階段。 在小米影像的全新篇章里，技術與人文的交融，締造出了真實有層次的影像。讓我們一起拿起小米14 Ultra，用影像的語言，體驗豐富“層次感”所帶來的真實感受吧！

審核編輯：劉清