完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>
標(biāo)簽 > 嵌入式視覺
“嵌入式視覺”是指一種通過視覺方法去理解周邊環(huán)境的機(jī)器。嵌入式視覺涉及到兩種技術(shù):嵌入式系統(tǒng)和計(jì)算機(jī)視覺(有時(shí)也稱為機(jī)器視覺)。本文詳細(xì)介紹了嵌入式視覺系統(tǒng),機(jī)器視覺嵌入式,嵌入式視覺方案等內(nèi)容。
“嵌入式視覺”是指一種通過視覺方法去理解周邊環(huán)境的機(jī)器。嵌入式視覺涉及到兩種技術(shù):嵌入式系統(tǒng)和計(jì)算機(jī)視覺(有時(shí)也稱為機(jī)器視覺)。嵌入式系統(tǒng)可以是任何基于微處理器的系統(tǒng),它們完成特定的工作,且隨處可見,例如:汽車、廚房、消費(fèi)電子、醫(yī)療器械等等;計(jì)算機(jī)視覺則使用數(shù)字處理和智能算法去理解圖像或者視頻,它是一個(gè)已經(jīng)被研究很久,但仍然方興未艾的領(lǐng)域。現(xiàn)在,由于高計(jì)算能力、低價(jià)格且低功耗的處理器的出現(xiàn),越來越多的計(jì)算機(jī)視覺應(yīng)用可以在嵌入式系統(tǒng)上實(shí)現(xiàn);另一方面,由于需求之廣泛,嵌入式視覺的設(shè)備市場(chǎng)和微處理器市場(chǎng)均正獲得高速發(fā)展。
“嵌入式視覺”是指一種通過視覺方法去理解周邊環(huán)境的機(jī)器。嵌入式視覺涉及到兩種技術(shù):嵌入式系統(tǒng)和計(jì)算機(jī)視覺(有時(shí)也稱為機(jī)器視覺)。嵌入式系統(tǒng)可以是任何基于微處理器的系統(tǒng),它們完成特定的工作,且隨處可見,例如:汽車、廚房、消費(fèi)電子、醫(yī)療器械等等;計(jì)算機(jī)視覺則使用數(shù)字處理和智能算法去理解圖像或者視頻,它是一個(gè)已經(jīng)被研究很久,但仍然方興未艾的領(lǐng)域。現(xiàn)在,由于高計(jì)算能力、低價(jià)格且低功耗的處理器的出現(xiàn),越來越多的計(jì)算機(jī)視覺應(yīng)用可以在嵌入式系統(tǒng)上實(shí)現(xiàn);另一方面,由于需求之廣泛,嵌入式視覺的設(shè)備市場(chǎng)和微處理器市場(chǎng)均正獲得高速發(fā)展。
嵌入式視覺的應(yīng)用
很明顯,嵌入式視覺技術(shù)能夠?yàn)槎喾N應(yīng)用帶來 巨大的價(jià)值。根據(jù)IHS的最新研究預(yù)測(cè),汽車應(yīng)用將是2013年嵌入式視覺市場(chǎng)發(fā)展的主要推動(dòng)力。2013年車載用途的機(jī)器視覺處理器利潤預(yù)計(jì)會(huì)達(dá)到1.51億美元,而2011年和2012年的利潤分別是1.26億和1.37億美元。研究報(bào)告另外指出,在未來幾年,該市場(chǎng)將持續(xù)每年6-9%的增長(zhǎng)
速度。到2016年,利潤將達(dá)到1.87億美元,相當(dāng)于6年CAGR達(dá)到8.2%。HIS的嵌入式處理器主任分析師,Tom Hackenberg表示,“嵌入式視覺可以從很對(duì)方面改善汽車的安全性和使用方便性,在某些應(yīng)用中起到關(guān)鍵性的作用,比如車道偏離告警系統(tǒng),碰撞警告系統(tǒng),自動(dòng)泊車系統(tǒng),疲勞偵測(cè)系統(tǒng),盲區(qū)檢測(cè)系統(tǒng)”,“車載領(lǐng)域的整個(gè)嵌入式視覺市場(chǎng),裝備量非常大,增長(zhǎng)速度也非常快”。 嵌入式視覺技術(shù)在汽車領(lǐng)域的成功案例包括Mobileye基于視覺的輔助駕駛系統(tǒng),iOnRoad輔助駕駛應(yīng)用和Roadefend徑衛(wèi)視覺駕駛員疲勞預(yù)警系統(tǒng)等,這些系統(tǒng)可以有效降低交通事故發(fā)生的幾率。
嵌入式視覺使用的其余2大市場(chǎng)是傳統(tǒng)的工業(yè)視覺應(yīng)用市場(chǎng),和安防應(yīng)用市場(chǎng)。例如以色列IOImage智能視頻安防系統(tǒng),以其高性能、易用性文明于業(yè)界。另一個(gè)案例是MG國際公司的泳池安全系統(tǒng),旨在通過智能視頻監(jiān)控,防止游泳溺水。在工業(yè)視覺應(yīng)用領(lǐng)域,ABB,F(xiàn)UNUC(日本),三菱,川崎等公司,通過嵌入式視覺系統(tǒng)在工業(yè)機(jī)器人上的應(yīng)用,處于領(lǐng)先地位。
另外,嵌入式視覺在軍事領(lǐng)域獲得了廣泛應(yīng)用,包括視覺引導(dǎo)的導(dǎo)彈、無人偵察機(jī)、軍事機(jī)器人等。在高級(jí)的電子游戲機(jī)系統(tǒng)中,例如Xbox中,我們也能找到嵌入式視覺技術(shù)應(yīng)用的蹤跡。
正如同高速無線互聯(lián)是從高成本新奇技術(shù)起步一樣,目前為止,嵌入式視覺 一般只用于復(fù)雜昂貴的系統(tǒng)中,例如,毛發(fā)移植的手術(shù)機(jī)器人,制造業(yè)的質(zhì)量控制檢查系統(tǒng)等。
如何使用純FPGA來實(shí)現(xiàn)嵌入式視覺方案
嵌入式視覺是當(dāng)今科技最激動(dòng)人心的領(lǐng)域之一。
關(guān)于使用Zynq SoC的嵌入式視覺應(yīng)用,熱心群眾們說的太多,我就不贅述了。今天我們換一個(gè)新的視角,來看看如何使用純FPGA來實(shí)現(xiàn)嵌入式視覺方案。
這篇文章,將帶你了解如何使用Digilent Nexys Video Artix-7 FPGA多媒體音視頻開發(fā)板來實(shí)現(xiàn)一個(gè)簡(jiǎn)單的HDMI輸入/輸出視頻處理系統(tǒng)。特別是如果你是一名新手,通過本文,你會(huì)對(duì)基于FPGA的視頻處理有更多基本的理解。
坦白說,Digilent Nexys Video開發(fā)板可能是市面上性價(jià)比最高的音視頻處理FPGA口袋實(shí)驗(yàn)室了。作為一款專用于音視頻處理教學(xué)以及視頻和視覺應(yīng)用原型開發(fā)的評(píng)估板,此板搭載了Xilinx Artix-7系列中資源最大的器件Aritx-7 XC7A200T FPGA。
今天我們就來介紹一下如何使用Nexys Video來實(shí)現(xiàn)一個(gè)簡(jiǎn)單的HDMI輸入/輸出視頻處理系統(tǒng)。先來看下此板所集成的支持視頻接收、處理和生成/輸出的下列I/O和外設(shè)接口:
HDMI輸入
HDMI輸出
顯示輸出端口
以太網(wǎng)
UART
USB
512MB DDRSDRAM
線路輸入(Line In)/麥克輸入/耳機(jī)輸出/線路輸出(Line Out)
FMC
使用VHDL與RTL方法,要?jiǎng)?chuàng)建一個(gè)簡(jiǎn)單的圖像處理流水線,我們需要實(shí)現(xiàn)如下架構(gòu):
監(jiān)控處理器(本例中采用Xilinx Artix-7 FPGA實(shí)現(xiàn)的MicroBlaze軟核RISC處理器)用于監(jiān)控與用戶接口間的通信并根據(jù)應(yīng)用的要求配置圖像處理流水線。在本例這個(gè)簡(jiǎn)單的架構(gòu)中,HDMI輸入口接收的數(shù)據(jù)從原始的并行格式的視頻數(shù)據(jù)、Hsync和VSync轉(zhuǎn)換為AXI Streaming(AXIS)格式。我們想要將數(shù)據(jù)轉(zhuǎn)換成AXIS格式是因?yàn)閂ivado提供多個(gè)使用這種數(shù)據(jù)格式的圖像處理IP。如果我們使用Vivado HLS來創(chuàng)建我們自己的圖像處理模塊,那么能夠支持AXIS接口也很重要。
MicroBlaze處理器需要支持如下外圍設(shè)備:
AXI UART – 支持系統(tǒng)的通信和控制
AXI Timer – 使MicroBlaze可以實(shí)時(shí)運(yùn)行事件
MicroBlaze調(diào)試模塊 – 支持MicroBlaze的調(diào)試
MicroBlaze本地存儲(chǔ) – 連接到DLMB和ILMB(數(shù)據(jù)&指令本地存儲(chǔ)總線)
我們將使用存儲(chǔ)接口生成器來創(chuàng)建與板上SDRAM對(duì)接的DDR接口。這個(gè)接口和SDRAM創(chuàng)建了一個(gè)公共的存儲(chǔ)框架,可以訪問圖像處理管道以及使用AXI interconnect訪問監(jiān)控處理器。
創(chuàng)建一個(gè)簡(jiǎn)單的圖像處理流水線需要使用如下IP:
DVI2RGB – Digilent提供的HDMI輸入IP
RGB2DVI – Digitlent提供的HDMI輸出IP
Video In to AXI4-Stream – 將并行視頻輸入轉(zhuǎn)換為AXI Streaming協(xié)議(Vivado IP)
AXI4-Stream to Video Out – 將AXI-Stream轉(zhuǎn)換為并行視頻輸出(Vivado IP)
Video Timing Controller Input – 檢測(cè)輸入視頻流參數(shù)(Vivado IP)
Video Timing Controller Output – 生成輸出視頻流時(shí)序參數(shù)(Vivado IP)
Video Direct Memory Access – 支持圖像寫入和從DDR SDRAM讀出
視頻處理鏈的核心是VDMA,我們借助它來將圖像移動(dòng)到DDR內(nèi)存中。
上圖展示了IP如何將流式數(shù)據(jù)轉(zhuǎn)換為讀和寫管道中內(nèi)存映射的數(shù)據(jù)。兩個(gè)VDMA通道都提供了在流式數(shù)據(jù)和內(nèi)存映射數(shù)據(jù)之間轉(zhuǎn)換的能力。寫通道支持流到內(nèi)存映射的轉(zhuǎn)換而讀通道提供內(nèi)存映射到流的轉(zhuǎn)換。
當(dāng)把所有這些集中到Vivado中創(chuàng)建初始的基本系統(tǒng),我們得到了如下架構(gòu),這是Nexys Video HDMI示例提供的。
嵌入式視覺解決方案
嵌入式視覺技術(shù)為許多激動(dòng)人心的新興應(yīng)用進(jìn)入市場(chǎng)提供了光明的前景。這些新興應(yīng)用包括用于M2M應(yīng)用中的工業(yè)顯示系統(tǒng)、工業(yè)4.0解決方案、高級(jí)駕駛輔助系統(tǒng)(ADAS)和車載信息娛樂系統(tǒng)、數(shù)碼單反相機(jī)、無人機(jī)、機(jī)器人、虛擬現(xiàn)實(shí)(VR)系統(tǒng)和醫(yī)療設(shè)備。
萊迪思的產(chǎn)品系列能夠?qū)崿F(xiàn)靈活的解決方案以滿足當(dāng)今嵌入式視覺設(shè)計(jì)工程師的需求,如不斷變化的接口、低功耗圖像信號(hào)處理和硬件加速。
萊迪思攜手合作伙伴助您實(shí)現(xiàn)適用于網(wǎng)絡(luò)邊緣嵌入式視覺處理應(yīng)用的靈活、低功耗的解決方案。
嵌入式視覺系統(tǒng)
在當(dāng)今所有行業(yè)中攝像頭應(yīng)用的數(shù)量都在不斷增長(zhǎng),更加智能的應(yīng)用得以實(shí)現(xiàn)。像目標(biāo)識(shí)別、深度感知、碰撞規(guī)避和決策制定的概念正在深入我們的家庭生活、城市環(huán)境、工廠和汽車所使用的設(shè)備中。邊緣計(jì)算需要各種設(shè)備協(xié)同工作以實(shí)現(xiàn)更高的效率。消費(fèi)電子、工業(yè)和汽車行業(yè)正著眼于FPGA,助力構(gòu)建靈活、智能學(xué)習(xí)的環(huán)境,將理想變?yōu)楝F(xiàn)實(shí)。
如何實(shí)現(xiàn)嵌入式視覺和機(jī)器學(xué)習(xí)
將一級(jí)的輸出傳遞給另一級(jí)且不構(gòu)成循環(huán)的神經(jīng)網(wǎng)絡(luò)被稱為前饋神經(jīng)網(wǎng)絡(luò) (FNN),而那些有反饋、內(nèi)含定向循環(huán)的神經(jīng)網(wǎng)絡(luò)則被稱為遞歸神經(jīng)網(wǎng)絡(luò) (RNN)。
2023-10-31 標(biāo)簽:神經(jīng)網(wǎng)絡(luò)可編程邏輯機(jī)器學(xué)習(xí) 454 0
“看”的能力一直被認(rèn)為是生物體獨(dú)有的特質(zhì),它讓我們能夠識(shí)別形狀、顏色、紋理和深度,進(jìn)而與外部世界互動(dòng)。 而現(xiàn)在,這個(gè)能力正被賦予機(jī)器,這就是機(jī)器視覺更專...
嵌入式視覺技術(shù)應(yīng)用領(lǐng)域與挑戰(zhàn) 嵌入式視覺技術(shù)讓智能無處不在
車輛正奔馳在蜿蜒的盤山公路上,周圍美麗的風(fēng)景使你沉浸其中。你突然注意到前方急拐彎處有一群徒步旅行者,而汽車的嵌入式視覺系統(tǒng)也同時(shí)檢測(cè)到了他們,并迅速減速...
2023-06-08 標(biāo)簽:安富利機(jī)器學(xué)習(xí)嵌入式視覺 1668 0
2022 年 5 月,科學(xué)家們發(fā)布了一張圖像,盡管它的視覺簡(jiǎn)單,但讓所有看過它的人都感到驚訝:這是第一張黑洞的“真實(shí)”圖像。
在一個(gè)小型嵌入式解決方案上為流式傳輸 4x 應(yīng)用制作原型的步驟
? ? 嵌入式視覺組件越來越受歡迎,并被整合到大量的應(yīng)用中。這些應(yīng)用的共同之處,就在于它們都需要在狹小的空間內(nèi)容納更多的功能。當(dāng)這些系統(tǒng)在邊緣做出決策時(shí)...
2022-04-29 標(biāo)簽:ITS嵌入式視覺嵌入式視覺系統(tǒng) 9958 0
擴(kuò)展了對(duì)汽車,工業(yè)和醫(yī)療嵌入式視覺應(yīng)用的支持。萊迪思在mVision堆棧中添加了新的開發(fā)板,以支持用于工業(yè),醫(yī)療和汽車應(yīng)用的流行圖像傳感器。支持的圖像傳...
2021-03-03 標(biāo)簽:fpga神經(jīng)網(wǎng)絡(luò)圖像傳感器 2581 0
如何定義網(wǎng)絡(luò)架構(gòu)或結(jié)構(gòu)加速視覺系統(tǒng)的優(yōu)化
當(dāng)人們討論深度神經(jīng)網(wǎng)絡(luò)(DNN)、深度學(xué)習(xí)和嵌入式視覺時(shí),通常會(huì)先討論如何定義網(wǎng)絡(luò)架構(gòu)或結(jié)構(gòu)。不久之前,我們還只能支持線性網(wǎng)絡(luò),在輸入和輸出級(jí)之間的層數(shù)...
2021-02-03 標(biāo)簽:神經(jīng)網(wǎng)絡(luò)圖像傳感器嵌入式視覺 3344 0
什么是SLAM技術(shù)?SLAM技術(shù)的工作原理
SLAM技術(shù)是一種計(jì)算機(jī)程序,用于構(gòu)建座席周圍環(huán)境的虛擬地圖并更新其實(shí)時(shí)坐標(biāo)。
賽靈思擴(kuò)展生態(tài)系統(tǒng)重塑嵌入式視覺、工業(yè)物聯(lián)網(wǎng)系統(tǒng)設(shè)計(jì)的未來
多類嵌入式視覺和工業(yè)物聯(lián)網(wǎng)系統(tǒng)要求傳感器融合,或?qū)碜远鄠€(gè)不同類型傳感器的數(shù)據(jù)處理和融合為行動(dòng)信息。對(duì)于嵌入式視頻系統(tǒng),多個(gè)視頻流可以整合生成更可用或更...
2019-07-30 標(biāo)簽:C++嵌入式視覺工業(yè)物聯(lián)網(wǎng) 2111 0
關(guān)于高精度嵌入式視覺的網(wǎng)上研討會(huì)
研討會(huì)將重點(diǎn)介紹賽靈思極其合作伙伴是如何為用戶提供一個(gè)包含豐富的 IP、開發(fā)工具以及參考設(shè)計(jì)的生態(tài)環(huán)境,以幫助客戶能夠快速地,輕松地把握住機(jī)器視覺應(yīng)用的...
類別:嵌入式開發(fā) 2021-11-04 標(biāo)簽:嵌入式系統(tǒng)嵌入式設(shè)計(jì)機(jī)器視覺
ADI總監(jiān)談嵌入式系統(tǒng)的發(fā)展立即下載
類別:嵌入式開發(fā) 2017-10-19 標(biāo)簽:adsp嵌入式視覺嵌入式智能系統(tǒng)
基于嵌入式機(jī)器視覺控制系統(tǒng)的研究立即下載
類別:工控技術(shù) 2013-04-07 標(biāo)簽:控制系統(tǒng)Altera機(jī)器視覺
香煙小包裝嵌入式視覺在線檢測(cè)系統(tǒng)立即下載
類別:嵌入式技術(shù)論文 2010-02-23 標(biāo)簽:在線檢測(cè)嵌入式視覺
友思特方案 FantoVision邊緣計(jì)算:嵌入式視覺系統(tǒng)如何實(shí)現(xiàn)“更快 更高 更強(qiáng)”?
便于集成的嵌入式視覺系統(tǒng)一直以來面臨著帶寬、內(nèi)存、算力三個(gè)方面的挑戰(zhàn)。友思特 FantoVision 邊緣計(jì)算設(shè)備擁有更快的處理速度和更高的帶寬選擇,其...
2024-10-11 標(biāo)簽:機(jī)器視覺嵌入式視覺嵌入式視覺系統(tǒng) 200 0
嵌入式技術(shù)領(lǐng)域的視覺、安全與AI應(yīng)用
本次2024年度德國版嵌入式世界展的大獎(jiǎng)評(píng)選共收到全球百余家企業(yè)的申請(qǐng),經(jīng)由評(píng)審團(tuán)嚴(yán)格篩選,最終選出三項(xiàng)候選提名,并于會(huì)場(chǎng)進(jìn)行了隆重的頒獎(jiǎng)儀式。其中,嵌...
2024-04-29 標(biāo)簽:嵌入式系統(tǒng)人工智能嵌入式視覺 371 0
和芯星通攜嵌入式領(lǐng)域的新興技術(shù)和產(chǎn)品亮相Embedded World 2024
當(dāng)?shù)貢r(shí)間4月9日-11日,為期3天的Embedded World 2024在德國紐倫堡會(huì)展中心盛大召開,向全世界展示嵌入式領(lǐng)域的新興技術(shù)和產(chǎn)品,以及汽車...
2024-04-11 標(biāo)簽:汽車電子物聯(lián)網(wǎng)人工智能 544 0
用持續(xù)創(chuàng)新打造空前繁榮的FPGA生態(tài)系統(tǒng)
過去10年間,F(xiàn)PGA器件實(shí)現(xiàn)了出貨量50億片的新紀(jì)錄。而未來10年,這一數(shù)字將超過100億片,機(jī)器人、工業(yè)網(wǎng)絡(luò)互聯(lián)、汽車、通信、數(shù)據(jù)中心等都將成為FP...
AMD推出Spartan UltraScale+系列,專為成本敏感型邊緣應(yīng)用打造
全新 FPGA 能為嵌入式視覺、醫(yī)療、工業(yè)互聯(lián)、機(jī)器人與視頻應(yīng)用提供高數(shù)量 I/O、功率效率以及卓越的安全功能
Cadence擴(kuò)充Tensilica Vision產(chǎn)品線以應(yīng)對(duì)汽車傳感器融合計(jì)算需求
單個(gè) DSP 用于嵌入式視覺、雷達(dá)、激光雷達(dá)和 AI 處理,在性能提升的前提下,帶來顯著的面積優(yōu)化、功耗和成本的降低
萊迪思推出新型傳感器橋接參考設(shè)計(jì) 攜手英偉達(dá)推動(dòng)邊緣神經(jīng)元網(wǎng)絡(luò)創(chuàng)新
這種新穎的參考設(shè)計(jì)專為開發(fā)人員設(shè)計(jì),適用于醫(yī)療保健、機(jī)器人以及嵌入式視覺等領(lǐng)域的網(wǎng)絡(luò)邊緣AI應(yīng)用。其重要特點(diǎn)在于可以方便地進(jìn)行各類傳感器和接口的整合,具...
銀牛3D NU4100視覺AI處理器采用芯原創(chuàng)新的ISP IP
2023年9月21日,中國上海——芯原股份今日宣布3D視覺與人工智能(AI)解決方案提供商銀牛微電子 (簡(jiǎn)稱“銀牛”) 在其量產(chǎn)的NU4100視覺AI處...
2023-09-25 標(biāo)簽:機(jī)器人HDR計(jì)算機(jī)視覺 521 0
北京,2022年8月31日——全球領(lǐng)先的影音和汽車市場(chǎng)高速連接解決方案供應(yīng)商Valens(紐交所股票代碼:VLN)和嵌入式視覺系統(tǒng)設(shè)計(jì)和制造領(lǐng)域的領(lǐng)軍者...
如何提供超低功耗 ML 以實(shí)現(xiàn)更有效的嵌入式視覺
機(jī)器學(xué)習(xí)算法開辟了一個(gè)可能性領(lǐng)域,可以將視覺嵌入到產(chǎn)品中,使我們的家庭、工作空間以及介于兩者之間的地方更安全、更高效。為了在更多用例中真正發(fā)揮智能視覺的...
編輯推薦廠商產(chǎn)品技術(shù)軟件/工具OS/語言教程專題
電機(jī)控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動(dòng)駕駛 | TI | 瑞薩電子 |
BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
無刷電機(jī) | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
直流電機(jī) | PID | MOSFET | 傳感器 | 人工智能 | 物聯(lián)網(wǎng) | NXP | 賽靈思 |
步進(jìn)電機(jī) | SPWM | 充電樁 | IPM | 機(jī)器視覺 | 無人機(jī) | 三菱電機(jī) | ST |
伺服電機(jī) | SVPWM | 光伏發(fā)電 | UPS | AR | 智能電網(wǎng) | 國民技術(shù) | Microchip |
Arduino | BeagleBone | 樹莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
DuerOS | Brillo | Windows11 | HarmonyOS |