近日,肇觀電子正式發布3D深度計算+AI加速芯片——D163A,可廣泛應用于包括各種形態機器人、AGV、無人機、可穿戴設備等多個領域。
我們所處的現實世界是一個三維空間,即3D立體空間;高級動物如哺乳類長了一雙眼睛,通過左右眼觀察到的信息的差別來判斷物體的遠近。而普通的照相機拍攝出來的照片卻是平面的,二維的。
如果要用計算機視覺的方式來獲得環境空間信息,根據二維照片的輸入,怎么實現呢?
對空間立體信息的感知能力是智能設備比如無人機、無人車、機器人的最重要的能力之一。四周物體和自己的相對位置比如方向、距離、運動方向、運動速度、運動加速度等信息,對于機器人在空間中判斷自身位置以及和周圍物體互動十分重要。
我們如果想讓機器人從點A到點B,機器人首先要確定什么是點A,什么是點B,如何從點A走到點B,如何規劃初始路徑,中間遇到障礙該如何動態調整路徑……完成這些任務都需要機器人具有幾何解算能力,而3D深度計算是幾何解算的基礎任務之一。
雙目立體視覺、結構光、飛行時間傳感器(ToF)、激光雷達這些諸多技術路線都是為了解決3D深度信息獲取問題而生,每一種技術路線都由信號獲取(傳感器)和信號處理(計算)兩部分組成。
雙目立體視覺
雙目立體視覺是計算機視覺的一個經典領域,其技術路線具有信息量大、不受陽光干擾、距離范圍從近到遠、無多徑干擾問題、傳感器成本低等諸多優點,頗受學術界和工業界青睞;其代表應用為斯巴魯汽車的Eyesight高級輔助駕駛系統、無人機的飛行避障系統、火星車的視覺模塊、波士頓動力的機器人的視覺系統;但立體視覺需要消耗大量的計算力來處理,因此在傳統觀點來看代價十分高昂。
結構光、飛行時間傳感器(ToF)、激光雷達這些技術主要是利用主動發射特定信息,然后讓接收器選擇性接收這些信息的原理,本質上是通過增加傳感器的復雜度來降低對計算的要求,達到在算力不足的情況下獲取深度信息的目的,在各自領域有著諸多應用。
隨著應用日益復雜,工程師往往在通過傳感器獲取到這些原始信息之后,需要在后端計算引擎上面做降噪、增強、融合等各種進一步加工,這需要有充足算力的芯片來處理。
肇觀電子推出了D163A芯片,具有包括深度計算幾何引擎和AI計算引擎在內的一系列加速器,將計算機視覺領域的應用推進了一大步。
D163A是一個完整的SoC主控芯片,其具有CPU、DSP、ISP、Codec、CV加速引擎、MCU、AI計算引擎和豐富的接口等在內的一系列組件,支持Linux和RTOS操作系統,是一款適合作為信號處理的核心芯片。
D163A有著業界領先的數字信號處理能力,支持200余種通用數學計算算子,例如三角函數、對數、快速傅里葉變換、HoG、SVM、RANSAC,等等。
除了強大的3D深度計算能力和數字信號處理能力,D163A有著業界領先的AI計算加速能力包括領先的每TOPs處理幀數,實時數據流處理能力,支持高精度FP16神經網絡模型無損部署以及高性能的INT8網絡支持能力。
D163A搭配肇觀電子推出的“5分鐘部署”的AI應用開發平臺Infer Studio,助力AI算法快速商用;
可支持雙目立體視覺、結構光、飛行時間傳感器(ToF)、激光雷達等各種傳感器的信號處理,包括采集、降噪、增強、融合等后處理算法的加速;其高性能低功耗、適用于端側應用;
接口豐富,支持千兆以太網和USB3.0,支持各種操作系統,既可用作主控芯片也可用作協處理器芯片。
D163A在機器人自主避障、車與車之間的距離測算、活體檢測、手勢識別、空間定位、工業相機、AR/VR等各個方面具有廣泛的應用,搭載D163A的模組和系統已經在包括智能叉車、可穿戴設備、無人機、工業檢測等多個領域批量商用。
讓智能設備具有人一樣的視覺感知和理解能力,在復雜的環境中完成復雜的工作,幫助到人們的工作和生活的方方面面,是肇觀電子始終不變的追求目標。肇觀電子此次發布3D深度計算+AI加速芯片D163A,是公司發展的又一項里程碑式事件,將助力打造機器人的“視覺系統”,推動智能機器人時代的加速到來。
原文標題:肇觀電子發布3D深度計算+AI加速芯片D163A,打造機器人的“視覺系統”
文章出處:【微信公眾號:你好張江】歡迎添加關注!文章轉載請注明出處。
責任編輯:haq
-
芯片
+關注
關注
456文章
51062瀏覽量
425806 -
3D
+關注
關注
9文章
2900瀏覽量
107738 -
AI
+關注
關注
87文章
31338瀏覽量
269746
原文標題:肇觀電子發布3D深度計算+AI加速芯片D163A,打造機器人的“視覺系統”
文章出處:【微信號:zjpark,微信公眾號:你好張江】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論