在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

華為Mate 70首發(fā)紅楓原色圖像傳感器技術(shù)原理披露!

傳感器專家網(wǎng) ? 2024-11-28 10:46 ? 次閱讀

編輯按:昨日(11月26日),華為發(fā)布Mate 70系列手機,其中,手機上首次搭載的多光譜圖像傳感器——紅楓原色影像圖像傳感器,備受關(guān)注,本文由業(yè)界知名多光譜傳感器企業(yè)與光科技出品,可能是全網(wǎng)最深入、全面介紹這顆紅楓多光譜圖像傳感器的工作原理以及成像系統(tǒng)技術(shù)的內(nèi)容。與光科技成立于2020年,是清華大學(xué)科研成果轉(zhuǎn)化的高科技公司,其技術(shù)來源于清華大學(xué)電子系黃翊東教授課題組近20年的微納光學(xué)研究積累。供應(yīng)鏈消息稱,這顆創(chuàng)新性的傳感器產(chǎn)品由華為和供應(yīng)商共同研發(fā),除與光科技在發(fā)布會后第一時間發(fā)布多光譜傳感器技術(shù)原理內(nèi)容外,國產(chǎn)CMOS圖像傳感器廠商格科微亦在發(fā)布會后,發(fā)文披露已成功量產(chǎn)多光譜CIS解決方案。來源:與光科技原標(biāo)題:《光譜成像,邁入手機AI影像的新紀(jì)元》

11月26日,華為Mate70系列手機發(fā)布,再次升級了光譜技術(shù)在手機中的運用,從多光譜傳感(非成像)到多光譜成像,除了硬件的增強,計算光學(xué)成像引領(lǐng)手機影像進(jìn)一步突破物理極限。

目前,以色溫傳感器為代表的多光譜傳感在手機中已經(jīng)得到了廣泛應(yīng)用,而多光譜成像也開始在手機中嶄露頭角,不僅能帶來更極致的影像表現(xiàn),也將進(jìn)一步提供皮膚、健康、物質(zhì)檢測等實用功能。

手機光譜影像技術(shù)發(fā)展的背后,是加工技術(shù)的進(jìn)步和計算能力的提升,支撐了芯片化光譜成像技術(shù)的快速發(fā)展,緩解了傳統(tǒng)光譜成像器件體積大、價格高、成像緩慢的痛點。芯片化光譜成像技術(shù)中,計算光譜是極具有產(chǎn)業(yè)發(fā)展前景的方向。

與光科技順應(yīng)行業(yè)趨勢,推出了光譜傳感和光譜成像兩大系列產(chǎn)品,適配不同應(yīng)用場景的不同需求。在技術(shù)上,與光科技構(gòu)筑了從光譜芯片設(shè)計、光譜算法到應(yīng)用算法的端到端開發(fā)能力,以開放的心態(tài)鏈接上下游合作伙伴,快速推進(jìn)光譜成像技術(shù)在多領(lǐng)域的應(yīng)用和發(fā)展。

wKgZO2dHUmqAWhrmAAABOgld0dY945.png01 多光譜技術(shù)全面進(jìn)入消費電子時代

2024年11月26日,華為官方發(fā)布了備受期待的Mate70系列手機,在影像方面,華為稱之為史上最出彩的Mate。

wKgZO2dHUmqAJZMrAAZePIF3ksc887.png

華為Mate70系列影像配置

來源:華為發(fā)布會

其中,Mate70系列推出了全新紅楓原色影像系統(tǒng),硬件上采用了紅楓原色攝像頭,即一顆150萬像素的多光譜攝像頭,將色彩還原準(zhǔn)確度較Mate 60 Pro+提升了120%,影像色彩實現(xiàn)質(zhì)的飛躍。

wKgZO2dHUmqAKJqOAA3eKLsEcYU186.png

紅楓原色影像圖像傳感器示意圖

來源:華為終端視頻

據(jù)華為官方介紹,紅楓原色攝像頭能夠準(zhǔn)確捕捉環(huán)境光譜,為主攝、超廣角、長焦微距攝像頭提供更加真實的色彩輸入,從而拍出“所見即所得”的照片和視頻。

wKgZO2dHUmuAeIYgAAKy-oBPdBY335.png

紅楓原色影像原理

來源:華為發(fā)布會

在實際拍攝中,應(yīng)對復(fù)雜環(huán)境光和大面積純色場景時,能夠?qū)崿F(xiàn)色彩更真實,光影更通透。

wKgZO2dHUmuAR1XzAAN_bUnjiN4447.png

紅楓原色影像樣張

來源:華為發(fā)布會

拍攝舞臺人像時,能夠捕獲更加豐富的色彩和光源細(xì)節(jié),從而更好還原人物膚色,提升畫質(zhì)。對于紅色、橙色等近似且復(fù)雜的燈光效果也能夠精準(zhǔn)還原。

wKgZO2dHUmuAL0AQAANeDMbsWfY263.png

wKgZO2dHUmuAU25oAAZYZVIyVqc586.png

紅楓原色影像樣張

來源:華為發(fā)布會

那么, “紅楓原色影像”背后的技術(shù)是什么?現(xiàn)在帶大家一探究竟。

本質(zhì)上,這顆150萬像素的紅楓攝像頭是首次應(yīng)用于手機中的多光譜成像攝像頭。當(dāng)前常用的Bayer陣列圖像傳感器只有RGB三個顏色通道,也就是只有紅、綠、藍(lán)三波段的光譜分辨能力。多光譜甚至高光譜,則是將顏色通道數(shù)增加到了幾個或幾十個,從而具有更高的光譜分辨能力,能夠采集更多光和顏色的有效信息。

wKgZO2dHUmyAAi18AAfhrnxYBsk626.png

多光譜升維采樣

來源:與光科技

其實這并不是華為首次推出光譜影像單元。2018年,華為推出的P20首次搭載了色溫傳感器。根據(jù)芯智訊拆解,華為P20 Pro的顏色傳感器是由艾邁斯(ams)提供的TCS3430,作用是在不同照明條件下實現(xiàn)精準(zhǔn)的顏色和環(huán)境光感測,使得拍攝時可以更精準(zhǔn)調(diào)節(jié)白平衡。

wKgZO2dHUmyAT2RhAAQvLEqKTaU791.png

華為P20 色溫傳感器

來源:華為發(fā)布會

wKgZO2dHUmyAcGPzAAIY4V3CGx4195.png

ams TCS3430框圖

來源:ams官網(wǎng)

2021年,華為推出P50 Pocket,首創(chuàng)超光譜超級影像單元,光譜硬件由10通道多光譜傳感器、閃光燈、3200萬像素超光譜攝像頭、超光譜補光燈構(gòu)成。其中3200萬像素超光譜攝像頭+超光譜補光燈構(gòu)成了一個紫外相機,相當(dāng)于把手機圖像傳感器的濾光片換成只允許紫外光通過的濾光片。因此,這里的“超光譜”是指超越“肉眼可見”,可以發(fā)現(xiàn)可見光之外(紫外光)的細(xì)節(jié),帶來肉眼“看不到的真實”,并非物理定義上的超光譜,其定義在第三章具體介紹。

wKgZO2dHUmyAX2bDAAb7PgmE4pc859.png

華為P50 Pocket 超光譜超級影像單元

來源:華為發(fā)布會

wKgZO2dHUm2AHr4JAAiZRdWQB2M998.png

紫外熒光攝影

來源:華為官網(wǎng)

華為在其旗艦機型中陸續(xù)搭載了色溫傳感器、8通道多光譜傳感器、10通道多光譜傳感器。不斷升級環(huán)境光譜采集系統(tǒng),核心就在于提升光譜采樣與分析能力,將色彩還原重點轉(zhuǎn)向環(huán)境色,相比傳統(tǒng)白平衡算法更為真實地再現(xiàn)“拍攝時的記憶色”,從而實現(xiàn)“所拍即所見”。

wKgZO2dHUm2AeVNnAAND9RR2QoM381.jpg

華為多光譜傳感器的升級

來源:華為發(fā)布會,與光科技整理

當(dāng)然,多光譜對影像效果的提升不僅只有華為關(guān)注到了。隨芯片化光譜系統(tǒng)方案的愈發(fā)成熟,光譜傳感器在手機上早已興起。各大手機廠商在旗艦機型中均已采用過環(huán)境光/多光譜色溫傳感器。

iPhone X搭載了ams為其定制開發(fā)的6通道多光譜傳感器,包括紫外光、紅光、綠光、藍(lán)光、和兩種近紅外光??衫迷搨鞲衅鞲兄h(huán)境光CCT水平,進(jìn)而調(diào)整顯示顏色和亮度。至iPhone 14系列,蘋果首次配備雙環(huán)境光傳感器,同時改善亮度調(diào)節(jié)和后攝曝光。

wKgZO2dHUm2AdxVFAALx-rE2AM8787.png

iPhone X中的環(huán)境光傳感器

來源:網(wǎng)絡(luò)

OPPO Find X5 Pro在業(yè)界首次搭載13通道光譜傳感器,給相機系統(tǒng)帶來精準(zhǔn)的色彩表現(xiàn),同時也還原更真實的環(huán)境光源信息,改善白平衡效果。

wKgZO2dHUm2AYQdNAAPLzokNsF0920.png

OPPO Find X5 Pro中的13通道光譜傳感器

來源:OPPO官網(wǎng)

vivo X90則是采用自研VCS仿生光譜技術(shù)。由于普通圖像傳感器的color filter光譜與人眼差異較大,自研VCS仿生光譜技術(shù)通過改進(jìn)color filter,讓傳感器接收的原始信息不斷接近人眼,實現(xiàn)更好的噪聲表現(xiàn)和色彩還原,前置優(yōu)化光信號。

wKgZO2dHUm2AI1FYAAJSwYuum9s708.png

vivo VCS仿生光譜技術(shù)

來源:vivo官網(wǎng)

技術(shù)原理

1.多光譜傳感器的技術(shù)原理(非成像)

上述手機中使用的多光譜傳感器通常采用窄帶濾波技術(shù)。在傳感器的感光部分開口,開口上方放置窄波長濾光片,從而探測到環(huán)境光源的光線,不同光譜通道實際就是通過窄波長濾光片來控制特定頻率的光通過。這類傳感器不需要體積龐大的色散元件和光路,因此結(jié)構(gòu)非常緊湊。而此類方案屬于單點的光譜傳感,僅限對整體的光環(huán)境混合探測,無法體現(xiàn)局部的光源、色溫信息和差異。

wKgZO2dHUm2AKHFJAAKoPdwSk1o711.png

窄帶濾光結(jié)構(gòu)設(shè)計示意圖

來源:ams官網(wǎng)

2.多光譜成像芯片的技術(shù)原理

華為Mate70系列搭載的紅楓原色影像比以往的單點多光譜傳感器在功能上進(jìn)一步升級,實現(xiàn)了成像的效果。常規(guī)圖像傳感器通常是在各像素的光電二極管上構(gòu)建紅、綠、藍(lán)3種彩色濾光片,而多光譜成像則是在圖像傳感器的光電二極管上構(gòu)建更多種顏色的濾光片,可分別透過不同波長的光線。結(jié)合光譜恢復(fù)算法,可以和普通相機一樣,一次拍攝即可獲取二維圖像和更豐富的光譜信息。

wKgZO2dHUm6AfZ1wAAHs-HGVGHI512.png

彩色濾光片示意圖

來源:Sensors 2014, 14, 21626-21659

3.借力AI,計算成像突破物理極限

想要實現(xiàn)完美的色彩表現(xiàn),僅從硬件上提升是遠(yuǎn)遠(yuǎn)不夠的,各大手機品牌在軟件算法上也下足了功夫。

得益于AI技術(shù)的快速發(fā)展,計算為光學(xué)成像注入了新的活力。圖像形成不再僅僅依賴于光學(xué)物理器件,而是將前端的光學(xué)調(diào)控與后端信息處理有機結(jié)合,通過對照明、成像系統(tǒng)進(jìn)行光學(xué)編碼與數(shù)學(xué)建模,以計算重構(gòu)的方式獲取圖像與信息。這就是現(xiàn)在廣為人知的“計算成像”(Computational Imaging)技術(shù),該技術(shù)入選了阿里巴巴達(dá)摩院2023十大科技趨勢。

wKgZO2dHUm6Ad4L-AANKQo4foeQ571.png

2023年十大科技趨勢之計算光學(xué)成像

來源:阿里巴巴達(dá)摩院

手機影像方面,在各大主流手機廠商的大力倡導(dǎo)下,自動HDR、超級夜景、模擬大光圈等算法調(diào)優(yōu)幾乎成了各大廠商智能手機的標(biāo)配。計算成像早已不是“錦上添花”的存在,而是影像表現(xiàn)至關(guān)重要的環(huán)節(jié)。

手機影像入算法時代

計算成像成為核心驅(qū)動

計算成像在手機影像中的應(yīng)用:

  • 華為陸續(xù)推出的XD Fusion、XD Fusion Pro、原色引擎,基于光路,利用計算光學(xué)修正部分像差,或是結(jié)合軟件算法模擬人眼看到光的一系列流程,從而獲得更強的場景環(huán)境感知能力。

wKgZO2dHUm6AVTJxAAKMLQGeGC8455.png

華為 XD Fusion Pro

來源:華為發(fā)布會

  • 蘋果自iphone11起,搭載圖像處理系統(tǒng)Deep Fusion,基于仿生神經(jīng)網(wǎng)絡(luò)引擎拍攝紋理及細(xì)節(jié)更出眾、低光環(huán)境下噪點更少的照片。技術(shù)實現(xiàn)簡單來說就是,當(dāng)按下快門,相機會先拍4張短時間曝光的照片,然后再以正常標(biāo)準(zhǔn)曝光拍4張,最后拍一張長曝光獲取暗部細(xì)節(jié),然后將這九張照片自動分析,選擇其中解析力最高的部分進(jìn)行合成??梢哉f是通過計算,打破了手機攝像頭堆積像素的僵局。

wKgZO2dHUm6AC-nOAAI4D6ZXSio888.png

蘋果 Deep Fusion

來源:蘋果發(fā)布會

  • 榮耀在Magic3系列推出融合計算攝影技術(shù),將全鏡頭參與全焦段融合,通過軟件融合算法將所有攝像頭采集的信息都利用起來,讓多個攝像頭的數(shù)據(jù)可以互相交流,實現(xiàn)全場景的拍攝質(zhì)量提升。

wKgZO2dHUm6ATPArAAF8Dx_-YS0921.png

榮耀融合計算攝影技術(shù)

來源:網(wǎng)絡(luò)

  • OPPO在其Find X6系列首次搭載支持計算光影的OPPO超光影圖像引擎,可以準(zhǔn)確地計算出光線、被攝物體和環(huán)境的正確關(guān)系,讓原本只存在于三維世界的光線,首次照進(jìn)二維照片,為每一幅影像作品還原最真實的光影層次。

wKgZO2dHUm-ADu4GAA_VyZvi5vo339.png

OPPO超光影圖像引擎

來源:OPPO官網(wǎng)

  • 小米先后推出小米影像大腦1.0、2.0版本,并在14 Ultra發(fā)布會上升級為“首個 AI大模型計算攝影平臺”,命名 “Xiaomi AISP”。通過深度融入小米澎湃 OS,實現(xiàn)了對CPUGPU、NPU和ISP等硬件算力的全面整合與優(yōu)化,不僅大幅提升影像處理速度,更將畫質(zhì)、色彩、景深、明暗的表現(xiàn)推向新高度,突出“層次感”。

wKgZO2dHUm-Aa0FgAAM-3RW7RAk958.png

Xiaomi AISP

來源:網(wǎng)絡(luò)

02

光譜技術(shù)多元化提升手機AI影像,市場前景廣闊

當(dāng)前:多光譜幫助手機提升色彩表現(xiàn)

影像效果歷來是手機的核心賣點,光譜成像芯片能夠獲取的有效色彩數(shù)據(jù),遠(yuǎn)高于RGB圖像傳感器,從而在光源識別、白平衡優(yōu)化和色彩重建方面有天然的應(yīng)用優(yōu)勢。

白平衡是消除色偏的過程,使照片中的白色更接近人眼看到的白色。在不同光源下,人眼可以輕松辨別白色,而自動白平衡(AWB)拍攝的照片可能會出現(xiàn)藍(lán)色、橙色甚至綠色的色偏。在沒有白色且色彩飽和度高的場景中,現(xiàn)有的AWB算法通常難以準(zhǔn)確識別白點。應(yīng)對此類場景,與光科技的多光譜成像芯片能夠獲取更豐富的光譜數(shù)據(jù),精確分類光源,從而解決白平衡失效問題。

wKgZO2dHUm-ARexdAAdTEpjvBbs420.png

對純色場景拍攝,白平衡恢復(fù)效果

來源:與光科技

wKgZO2dHUnCAPOi7AA2tF0ZDSOE859.png

對激光投影圖像拍攝,實現(xiàn)高飽和度色彩還原

來源:與光科技

未來:光譜成像賦予手機更多實用功能

提升色彩表現(xiàn)只是光譜成像芯片在手機應(yīng)用中的一個方面。未來,光譜成像芯片將在手機成像領(lǐng)域持續(xù)成為熱點。例如,膚色檢測、健康監(jiān)測、物質(zhì)鑒別、AIGC等應(yīng)用,預(yù)計在不久的將來就能在手機上實現(xiàn)。這些創(chuàng)新應(yīng)用將大大擴(kuò)展手機的功能和用戶體驗,推動手機成像技術(shù)進(jìn)入新的發(fā)展階段。

膚色還原:在人像攝影中,更準(zhǔn)確地捕捉人物膚色細(xì)節(jié),從而幫助調(diào)整膚色色溫,呈現(xiàn)更加自然和真實的膚色效果。

wKgZO2dHUnCAJA99AAGuTvWJPVA716.png

采用與光科技光譜成像模組拍攝,精準(zhǔn)還原膚色光譜

來源:與光科技

皮膚檢測:通過手機拍攝即可對皮膚進(jìn)行檢測,例如,拍攝紅區(qū)圖識別皮膚干燥、敏感等癥狀,拍攝棕區(qū)圖提前發(fā)現(xiàn)皮膚暗沉、色斑等問題,方便用戶進(jìn)行皮膚管理。

wKgZO2dHUnCAUcxHAAKTBk3peLc758.png

采用與光科技光譜成像模組對皮膚紅區(qū)圖、棕區(qū)圖拍攝

來源:與光科技

材質(zhì)識別:檢測和區(qū)分不同材質(zhì)的光譜特征,如紋理、顏色、反射率等??梢栽谑謾C上集成區(qū)分金屬、塑料、紡織品等不同材質(zhì)的功能。

wKgZO2dHUnCAcXy8AAUhFytJ1Wo724.png

采用與光科技光譜成像模組拍攝區(qū)分真假水果,實現(xiàn)材質(zhì)識別功能

來源:與光科技

AIGC:光譜成像能夠提供圖像生成所需的更準(zhǔn)確的環(huán)境光、顏色、紋理等信息,例如采用光譜成像準(zhǔn)確還原口紅和皮膚的顏色,使得線上試裝效果更貼近真實。光譜有望成為AIGC全新的物理輸入維度。可用于提升圖像增強識別、圖像編輯功能、以及AR體驗等。

wKgZO2dHUnGAOkriAAs8w2wi02I085.png

口紅試裝示意圖

來源:網(wǎng)絡(luò)、與光科技整理

未來,隨著光譜功能在手機中的滲透率持續(xù)提升,光譜成像芯片在手機領(lǐng)域市場空間廣闊。根據(jù)敏感性分析,廣發(fā)證券發(fā)展研究中心提出手機光譜成像芯片市場規(guī)模未來有望提升至5~10億美金。

wKgZO2dHUnGAevZbAABAY4sKo3c278.png

手機光譜成像芯片市場規(guī)模敏感性測算

來源:廣發(fā)證券發(fā)展研究中心

03

芯片化光譜技術(shù)快速發(fā)展

當(dāng)然,產(chǎn)品化的創(chuàng)新與發(fā)展,離不開科學(xué)技術(shù)的持續(xù)探索和進(jìn)步,科學(xué)家們對于芯片化光譜技術(shù)的攻關(guān),已經(jīng)持續(xù)了近半個世紀(jì)。

光譜反映了光波與物質(zhì)相互作用的豐富信息,每種物質(zhì)都有特征吸收、發(fā)射或散射光譜,因此光譜也被稱為物質(zhì)的“指紋”,通過光譜分析可以鑒別物質(zhì)并確定其化學(xué)組成。

wKgZO2dHUnGAI5C3AANPU0B2eGY612.png

光譜的構(gòu)成

來源:網(wǎng)絡(luò)

隨著遙感技術(shù)的興起,人們期望同時探測物體的圖像和光譜信息,這催生了光譜成像技術(shù),它能夠獲得包含二維空間和光譜信息的三維數(shù)據(jù)立方體,超越人眼感知能力,在疾病診療、精準(zhǔn)農(nóng)業(yè)、食品安全、天文探測等諸多領(lǐng)域有著重要的應(yīng)用前景。如下圖中,與光科技創(chuàng)始團(tuán)隊采用自研的光譜成像芯片對活體大鼠實時光譜成像,通過光譜重構(gòu)算法恢復(fù)光譜圖像和包含601個波段的數(shù)據(jù)立方體,圖中選取了選擇了5個單波長光譜圖像,實現(xiàn)了大鼠腦部血紅蛋白及其衍生物的特征光譜的動態(tài)變化觀測。

wKgZO2dHUnGAEveHAAncttC-PMg770.png

與光科技創(chuàng)始團(tuán)隊對大鼠腦血管光譜成像,同時獲取圖像和光譜信息

來源:Cui K, et al.Optica 9, 461-468 (2022)

傳統(tǒng)光譜成像技術(shù)基于傳統(tǒng)棱鏡色散、光柵衍射或干涉原理,需要精密的器件和足夠的光程來將不同波長的光分開,一般采用空間掃描或波長掃描的模式,無法實時獲取視野場景中各像素點的光譜信息。從原理上導(dǎo)致光譜成像儀器,體積龐大、價格昂貴,成像速度緩慢,是光譜成像技術(shù)長期存在的痛點。

根據(jù)光譜分辨能力的不同,可以將光譜成像劃分為多光譜成像、高光譜成像和超光譜成像。具體來說,通常采用工作中心波長與分辨率的比值來進(jìn)行區(qū)分。

  • 多光譜成像(Multispectral imaging):對應(yīng)的λ/Δλ~10,在可見光波段對應(yīng)幾個波長通道,一般用于地帶分類領(lǐng)域。

  • 高光譜成像(Hyperspectral imaging):對應(yīng)的λ/Δλ~100,在可見光波段對應(yīng)數(shù)十個波長通道,被廣泛應(yīng)用于遙感、農(nóng)業(yè)等領(lǐng)域。

  • 超光譜成像(Ultraspectral imaging):對應(yīng)的λ/Δλ~1000,在可見光波段對應(yīng)數(shù)百個波長通道,通常用于大氣微粒探測、天文觀測等領(lǐng)域。

wKgZO2dHUnGANFiMAAH25JqROgs415.png

光譜成像分辨率示意圖

來源:Vines & Zhang Grass Research 2022, 2:1

得益于加工技術(shù)的進(jìn)步和計算機能力的提升,芯片化光譜技術(shù)得到快速發(fā)展。早期微型光譜儀的發(fā)展主要依賴于20世紀(jì)80年代到21世紀(jì)初微制造領(lǐng)域的突破,光刻和蝕刻工藝的進(jìn)步以及MEMS技術(shù)的持續(xù)發(fā)展使得復(fù)雜的微型色散器件、濾光器件和傅里葉變換系統(tǒng)的制造成為可能。

過去十年,計算能力的大幅度增強、計算成本的大幅度降低、壓縮感知和深度學(xué)習(xí)等數(shù)學(xué)工具的發(fā)展為片上光譜儀的發(fā)展注入了新的活力。由于光譜儀的性能不僅可以通過增強硬件設(shè)備實現(xiàn),也可以通過軟件的優(yōu)化實現(xiàn),因此計算光譜儀成為了最具有發(fā)展前景的研究方向。近年來,研究人員相繼提出了一系列新型光譜儀,例如量子點光譜儀、納米線光譜儀、超表面光譜儀等。

wKgZO2dHUnKASIa9AAPrUxlV42k287.png

1980s~至今,關(guān)鍵微型化光譜儀技術(shù)發(fā)展

來源:Yang et al., Science 371, eabe0722 (2021)

簡單來說,光譜成像分為分光和成像部分,分光部分完成光譜維獲取,成像實現(xiàn)對目標(biāo)的空間維成像。在分光部分,與光科技布局了多種光譜分光技術(shù),其中創(chuàng)始團(tuán)隊的超表面技術(shù)被《Science》綜述論文引用為領(lǐng)域內(nèi)最領(lǐng)先的研究成果之一(如上圖)。在成像部分,與光科技采用CMOS圖像傳感器采集調(diào)制光信號,通過自主研發(fā)的光譜重建算法,實現(xiàn)空間陣列化的光譜成像。此外,與光科技與圖像傳感器廠商深度合作,共同拓寬CIS的光譜性能邊界,致力于開拓更廣闊的光譜應(yīng)用市場。

與光科技的計算光譜成像芯片成果,源于清華大學(xué)微納光電子學(xué)實驗室,由清華大學(xué)電子工程系黃翊東教授領(lǐng)銜。團(tuán)隊提出了基于超表面寬帶調(diào)制和計算光譜重建的片上光譜成像,研制出國際首款實時超光譜成像芯片,為實現(xiàn)消費級的光譜芯片提供了一種極具前景的方案。

wKgZO2dHUnKABQyyAALK6vt7Oq0123.png

超表面光譜成像芯片及光譜重構(gòu)算法示意圖

來源:Yang, J. et al. Chip 2, 100045 (2023)

與光科技創(chuàng)始團(tuán)隊進(jìn)一步利用ADMM-net實現(xiàn)了對戶外駕駛場景的實時光譜成像,光譜成像速率達(dá)到約36幀/秒,天空和白色車輛的光譜具有明顯的差異,有望解決自動駕駛場景中同色異譜的識別問題。此外,具有視頻幀率的高空間分辨快速光譜成像,也展示出與光的實時光譜成像芯片在機器視覺領(lǐng)域的巨大應(yīng)用潛力。

wKgZO2dHUnKACwo3AAUz50AHgi0009.png

戶外駕駛場景的實時光譜成像結(jié)果

來源:Yang, J. et al. Chip 2, 100045 (2023)

黃翊東,清華大學(xué)學(xué)術(shù)委員會副主任、長江學(xué)者特聘教授、美國國家工程院外籍院士、國際光學(xué)委員會副主席,曾任清華大學(xué)電子工程系主任和清華大學(xué)天津電子信息研究院院長。黃翊東教授帶領(lǐng)團(tuán)隊致力于“光芯片“研究20余年,取得了一系列領(lǐng)先的研究成果。黃翊東教授始終堅持通過創(chuàng)新走在前沿,在全球范圍內(nèi)創(chuàng)造不會被卡脖子的引領(lǐng)技術(shù)。

wKgZO2dHUnKAE2JWAAFX4ZN6YM4817.png

黃翊東教授

來源:清華大學(xué)電子工程系

崔開宇,清華大學(xué)電子工程系長聘副教授、周炳琨學(xué)者,國家級青年人才。主要的學(xué)術(shù)方向為基于半導(dǎo)體周期微納結(jié)構(gòu)的光電子器件,特別是基于光子晶體、光聲晶體、超表面的新型智能感知光電子器件。崔開宇副教授致力于讓光譜芯片成果從實驗室走向?qū)嶋H應(yīng)用,帶領(lǐng)團(tuán)隊在生物醫(yī)學(xué)、自動駕駛等領(lǐng)域開展了諸多探索。

wKgZO2dHUnKAE7cIAAKrbmo-W0U213.png

崔開宇長聘副教授

來源:清華大學(xué)電子工程系

04 拓寬光譜芯片應(yīng)用邊界,讓光譜感知無處不在

隨著新興技術(shù)的迅速發(fā)展,CMOS圖像傳感器市場的競爭格局正在發(fā)生深刻變化。除了傳統(tǒng)的像素尺寸和分辨率比拼,光譜成像也有望擴(kuò)充CIS的性能邊界,助力國內(nèi)芯片企業(yè)進(jìn)軍高價值創(chuàng)新市場。

與光科技協(xié)同上下游廠商,在多領(lǐng)域共同推進(jìn)光譜芯片的技術(shù)創(chuàng)新和產(chǎn)業(yè)升級。在開發(fā)環(huán)節(jié),與材料供應(yīng)商、設(shè)備制造商和科研機構(gòu)合作,提升光譜芯片的性能;在生產(chǎn)環(huán)節(jié),與制造商和測試廠商共同優(yōu)化工藝流程,確保產(chǎn)品的一致性和高質(zhì)量;在應(yīng)用環(huán)節(jié),與終端設(shè)備廠商、軟件開發(fā)商和行業(yè)用戶攜手,探索光譜芯片在消費電子、醫(yī)療健康、自動駕駛、農(nóng)業(yè)食品、安防監(jiān)控等領(lǐng)域的廣泛應(yīng)用。

目前,與光科技已經(jīng)和國內(nèi)外的主流手機品牌建立了穩(wěn)固的供應(yīng)及合作關(guān)系,同時具備光譜硬件和光譜算法的開發(fā)能力,提供計算光譜的閉環(huán)解決方案,充分發(fā)揮光譜技術(shù)在手機AI影像中的作用和潛力。與光科技致力于推動光譜芯片技術(shù)的快速發(fā)展,持續(xù)為各行業(yè)帶來更多創(chuàng)新解決方案,提升光譜芯片產(chǎn)業(yè)鏈的整體競爭力并拓寬市場空間,助力客戶與合作伙伴共贏發(fā)展。

wKgZO2dHUnOAfND9ABN5SjASyuE649.png

與光科技光譜成像芯片實拍

來源:與光科技

wKgZO2dHUnOAOSEUAAVDB35jNZI041.png

與光科技產(chǎn)品矩陣

來源:與光科技

主要參考資料

楊家偉, 崔開宇, 熊健, 饒世杰, 馮雪, 劉仿, 張巍, 黃翊東. 基于超表面的實時超光譜成像芯片[J]. 光學(xué)學(xué)報, 2023, 43(16): 1623004. DOI:10.3788/AOS230901

Jian Xiong, Xusheng Cai, Kaiyu Cui, Yidong Huang, Jiawei Yang, Hongbo Zhu, Wenzheng Li, Bo Hong, Shijie Rao, Zekun Zheng, Sheng Xu, Yuhan He, Fang Liu, Xue Feng, and Wei Zhang, "Dynamic brain spectrum acquired by a real-time ultraspectral imaging chip with reconfigurable metasurfaces," Optica 9, 461-468 (2022). DOI: 10.1364/OPTICA.440013

Yang, J. et al. Deep-learning based on-chip rapid spectral imaging with high spatial resolution. Chip 2, 100045 (2023). DOI: 10.1016/j.chip.2023.100045

Spectral sensor及其在手機領(lǐng)域的應(yīng)用,大話成像微信公眾號

華為P50 Pocket超光譜超級影像單元分析,知乎

Deep Fusion(深度融合)是什么?Deep Fusion有多優(yōu)秀,知乎

OPPO 發(fā)布全新影像旗艦 Find X6 系列,引領(lǐng)移動影像進(jìn)入全主攝時代,OPPO官網(wǎng)

2篇Science論文,這個團(tuán)隊對微型光譜儀有獨到見解,納米人公眾號

左超, 陳錢. 計算光學(xué)成像:何來,何處,何去,何從?[J]. 紅外與激光工程, 2022, 51(2): 20220110. DOI: 10.3788/IRLA20220110

廣發(fā)電子 | 創(chuàng)新系列1:光譜分析進(jìn)入手機,攝像頭產(chǎn)業(yè)鏈增添新活力,廣發(fā)證券研究公眾號

您對本文有什么看法?歡迎在傳感器專家網(wǎng)公眾號本內(nèi)容底下留言討論,或在中國最大的傳感社區(qū):傳感交流圈中進(jìn)行交流。

您對本文有什么看法?歡迎留言分享!

順手轉(zhuǎn)發(fā)&點擊在看,將中國傳感產(chǎn)業(yè)動態(tài)傳遞給更多人了解!

星標(biāo)的內(nèi)容=你在乎的內(nèi)容,根據(jù)微信公眾號推薦原則,沒有在傳感器專家網(wǎng)公眾號主頁【設(shè)為星標(biāo)】,將無法及時獲得傳感器行業(yè)最新資訊!

聲明:本文內(nèi)容系作者個人觀點,不代表傳感器專家網(wǎng)觀點或立場。如有侵權(quán)或其他事宜,請微信聯(lián)系:MM380702。更多觀點,歡迎大家留言評論。如有投稿爆料采訪需求,請發(fā)郵箱:sensorexpert@sensorexpert.com.cn。

wKgZO2dHUnOAIVsuAACguza8pgU246.jpg

wKgZO2dHUnOAJmu3AAErXaKO8ck170.png

wKgZO2dHUnOAdI69AAC86CrBmeE999.jpg

wKgZO2dHUnSAT16AAAEOVGqM4RE336.png

wKgZO2dHUnSAWJ0VAAEYRmAQd-w183.pngwKgZO2dHUnSACfe7AANQhsWFmpY842.pngwKgZO2dHUnSAVzC7AAB8EkejaV4378.jpg ? ?


原文標(biāo)題:華為Mate 70首發(fā)紅楓原色圖像傳感器技術(shù)原理披露?。▽I(yè)全面)

文章出處:【微信公眾號:傳感器專家網(wǎng)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 傳感器
    +關(guān)注

    關(guān)注

    2551

    文章

    51104

    瀏覽量

    753610
  • 華為
    +關(guān)注

    關(guān)注

    216

    文章

    34438

    瀏覽量

    251757
收藏 人收藏

    評論

    相關(guān)推薦

    誰“偷了”華為紅楓原色圖像傳感器技術(shù)

    關(guān)注。 ? △紅框內(nèi)為華為Mate 70 Pro紅楓原色攝像頭 ? 那么,華為
    的頭像 發(fā)表于 12-10 10:28 ?370次閱讀
    誰“偷了”<b class='flag-5'>華為</b><b class='flag-5'>紅楓</b><b class='flag-5'>原色</b><b class='flag-5'>圖像</b><b class='flag-5'>傳感器</b><b class='flag-5'>技術(shù)</b>?

    掰掉衛(wèi)星電話的外置天線,華為“天才少年”助力 Mate 捅破天

    華為在去年的 Mate60 系列旗艦手機中首發(fā)了民用手機衛(wèi)星通話功能,成為手機行業(yè)的又一大功能突破,目前衛(wèi)星通話已逐步覆蓋到各大國產(chǎn)手機品牌的旗艦機型中。 12 月 05 日晚,華為
    發(fā)表于 12-06 17:03

    機器視覺 歡創(chuàng)播報 Mate 70系列銷火爆

    1 Mate 70系列銷火爆 12月4日上午,華為Mate70系列和Mate70 RS 非凡大
    的頭像 發(fā)表于 12-05 17:16 ?486次閱讀
    機器視覺 歡創(chuàng)播報   <b class='flag-5'>Mate</b> <b class='flag-5'>70</b>系列<b class='flag-5'>首</b>銷火爆

    智能手機MATE 70有哪些黑科技?

    近期,華為Mate70系列在華為商城上架接受預(yù)約,共有Mate70、Mate70Pro和Mate70
    的頭像 發(fā)表于 11-27 01:01 ?398次閱讀
    智能手機<b class='flag-5'>MATE</b> <b class='flag-5'>70</b>有哪些黑科技?

    華為Mate70系列首發(fā)衛(wèi)星尋呼功能 強大到余承東再爆金句:強得飛起

    字”,全場觀眾高呼“遙遙領(lǐng)先”。 而有視頻爆出余承東在彩排中再爆金句,這一次不是“遙遙領(lǐng)先”,也不是“遠(yuǎn)遠(yuǎn)超越”,而是“強得飛起”! 華為Mate70系列全球首發(fā)衛(wèi)星尋呼功能、AI功能超級強大,還有凌波微步、分身有術(shù)、魅力四射等
    的頭像 發(fā)表于 11-26 18:11 ?316次閱讀

    華為Mate70系列正式發(fā)布 余承東說Mate70對得起那四個字

    華為Mate70系列正式發(fā)布;到底華為Mate70有多強?余承東說Mate70對得起那四個字;那肯定就是沒有說出口的“遙遙領(lǐng)先”。 11月2
    的頭像 發(fā)表于 11-26 17:34 ?290次閱讀

    華為Mate 70系列銷量或破千萬臺

    原生鴻蒙系統(tǒng),這個肯定一大賣點, 另外,華為Mate70全新AI手勢技術(shù);這個肯定也是一個亮點。 有行業(yè)人士分析了華
    的頭像 發(fā)表于 11-25 16:32 ?553次閱讀

    華為Mate70系列手機開啟預(yù)訂 Mate70系列5分鐘超27萬人預(yù)約

    華為終端官方正式發(fā)布了華為Mate 70系列手機開啟預(yù)定的消息,今日12:08,各渠道已經(jīng)可以正式預(yù)訂。 此外余承東也發(fā)文透露將于11月26日的華為
    的頭像 發(fā)表于 11-18 15:01 ?306次閱讀

    索尼圖像傳感器芯片有哪些

    索尼(Sony)是全球領(lǐng)先的圖像傳感器制造商之一,其產(chǎn)品廣泛應(yīng)用于數(shù)碼相機、智能手機、監(jiān)控攝像頭等多個領(lǐng)域。索尼的圖像傳感器技術(shù)一直處于行業(yè)
    的頭像 發(fā)表于 10-12 11:41 ?634次閱讀

    圖像傳感器的原理是什么?

    圖像傳感器是一種將光信號轉(zhuǎn)換為電信號的設(shè)備,廣泛應(yīng)用于攝影、視頻監(jiān)控、醫(yī)學(xué)成像、天文觀測等領(lǐng)域。圖像傳感器的原理涉及到光電效應(yīng)、電荷存儲、信號放大、模數(shù)轉(zhuǎn)換等多個方面。 一、
    的頭像 發(fā)表于 10-12 10:48 ?510次閱讀

    圖像傳感器是依靠什么感光的

    圖像傳感器是一種將光學(xué)圖像轉(zhuǎn)換成電子信號的設(shè)備,廣泛應(yīng)用于數(shù)字?jǐn)z影、視頻監(jiān)控、醫(yī)學(xué)成像、天文觀測等領(lǐng)域。圖像傳感器的工作原理基于光的感光性,
    的頭像 發(fā)表于 10-12 10:46 ?432次閱讀

    圖像傳感器龍頭企業(yè)解讀 在國產(chǎn)CMOS圖像傳感器賽道清華系霸榜

    圖像傳感器技術(shù)并不像其他傳感器賽道一樣有眾多細(xì)分領(lǐng)域,傳感器企業(yè)成長性極高,譬如韋爾股份,憑借圖像
    的頭像 發(fā)表于 05-29 17:57 ?6668次閱讀
    <b class='flag-5'>圖像</b><b class='flag-5'>傳感器</b>龍頭企業(yè)解讀 在國產(chǎn)CMOS<b class='flag-5'>圖像</b><b class='flag-5'>傳感器</b>賽道清華系霸榜

    華為Mate 70將迎重大突破,性能重回第一梯隊!

    來源:傳感器技術(shù),謝謝 編輯:感知芯視界 Link 據(jù)博主最新爆料稱, Mate 70系列預(yù)計將在9月前后正式發(fā)布 ,與iPhone 16形成直接競爭。 從爆料的情況看,這次
    的頭像 發(fā)表于 05-17 09:22 ?379次閱讀

    【機器視覺】歡創(chuàng)播報 | 曝華為Mate70系列籌備工作已開展

    將于10月中旬發(fā)布。相比于Mate 60系列的供不應(yīng)求,Mate 70系列會有很大緩解,但是初期可能仍然需要搶購。據(jù)悉,華為Mate70有望
    的頭像 發(fā)表于 02-22 11:09 ?2421次閱讀
    【機器視覺】歡創(chuàng)播報 | 曝<b class='flag-5'>華為</b><b class='flag-5'>Mate70</b>系列籌備工作已開展

    CMOS圖像傳感器的制造工藝

    根據(jù)圖像傳感器的應(yīng)用和制造工藝,圖像傳感器可分為CCD圖像傳感器和CMOS
    的頭像 發(fā)表于 01-24 09:30 ?2860次閱讀
    CMOS<b class='flag-5'>圖像</b><b class='flag-5'>傳感器</b>的制造工藝
    主站蜘蛛池模板: 淫欧美| 在线观看www日本免费网站 | 天天久| 夜夜嗷| 性夜影院爽黄e爽在线观看| 超h 高h 污肉男男| 另类图片综合网| 国产女主播在线| 好吊日在线| 中国一级特黄真人毛片免费看| 亚洲成电影| 丁香婷婷六月天| 男人操女人视频网站| 五月婷婷在线视频| 成 人色 网 站999| 日韩欧美高清色码| 色婷婷六月天| 天天摸夜班摸天天碰| 男人j桶进女人免费视频| 农村苗族一级特黄a大片| 日韩欧美伦理| 伊人网狠狠干| 成年男人永久免费看片| 免费网站啪啪大全| 日韩精品三级| 日本操穴| 亚洲欧美色视频| 91精品国产91久久久久久青草| 九色视频网| 亚洲bbb| 午夜毛片网站| 成人久久久精品乱码一区二区三区| 久久都是精品| 视频在线视频免费观看| 日本特黄色大片| 人人爱操| 四虎国产精品永久地址49| 天天干夜夜想| 性欧美f| 天堂在线视频| 五月婷婷中文字幕|