9月17-19日，2020中關(guān)村論壇在北京舉行。為期三天的論壇上，來自全球數(shù)百位全球產(chǎn)學研界的大咖共聚一堂，圍繞“合作創(chuàng)新·共迎挑戰(zhàn)”這一主題，展開了全面的思想碰撞和交流分享。Imagination Technologies受邀出席本次論壇，公司高管Andrew Grant在9月18日由曠視主辦的“人工智能開源開放與生產(chǎn)力促進論壇”上發(fā)表主題演講。 人工智能（AI）作為當前最熱門的科技話題之一，得到了半導體、工業(yè)、醫(yī)療、消費等幾乎所有領域的關(guān)注，Imagination也不例外，一直以來都在不斷加大對AI領域的投入，并且推出了可支持多種AI應用的圖形處理器（GPU）和神經(jīng)網(wǎng)絡加速器（NNA）知識產(chǎn)權(quán)（IP）產(chǎn)品，以及AI協(xié)同（AI Synergy）等創(chuàng)新性AI支持技術(shù)。 由于無法親自來到大會現(xiàn)場，Imagination高管Andrew Grant以視頻的方式，為參會者帶來了“在邊緣側(cè)神經(jīng)網(wǎng)絡處理器IP中使用開源的AI框架”的主題分享。分享中，他首先介紹了邊緣側(cè)推理的發(fā)展趨勢和典型應用，然后闡釋了Imagination的NNA和GPU如何支持邊緣推理應用及各種開源AI框架。 Andrew Grant說道：“根據(jù)ABI Research的預測，隨著越來越多應用案例的實現(xiàn)，AI芯片的銷售正在持續(xù)增長，尤其是在邊緣AI推理方面。邊緣側(cè)推理從根本上承擔了以前僅適用于云的工作負載，現(xiàn)在可以在嵌入式設備上運行AI計算，這為移動、工業(yè)、安全、物聯(lián)網(wǎng)和汽車等領域的各類應用帶來了新的機遇，例如面部識別/驗證、零售自助結(jié)賬、機場旅客出入管理、智能工廠、先進駕駛輔助系統(tǒng)（ADAS）和自動駕駛等應用。”

邊緣AI推理為各類應用帶來了新的機遇 關(guān)于Imagination的NNA和GPU如何支持邊緣側(cè)推理，Andrew Grant作了重點講解。他表示：“對于AI 邊緣推理工作負載，靈活、可編程的并行流水線式GPU或GPGPU是非常理想的，而超快速的NNA則可以提供進一步增強的性能，根據(jù)工作量的不同，NNA可以提供比CPU快10-100倍的處理速度，這是數(shù)量級上的差距。”

Imagination的NNA擁有眾多優(yōu)異特性 Imagination的NNA具有4-16位的可變位寬度，使用動態(tài)定點數(shù)據(jù)類型，可以支持用戶對精度進行優(yōu)化；它可以為Android NN提供過濾器目數(shù)選擇，也可以為Tensorflow Lite帶來兼容性和更好的量化特性。總體來說，NNA具有很高的PPA（性能、功耗、面積）效率，可以擴展并且支持多實例。 Imagination的GPU擁有強大的多任務并行處理能力，利用Hyperlane技術(shù)，GPU可以同時運行8個獨立的工作負載，這意味著可以執(zhí)行不同的圖形處理或計算任務。此外，Hyperlane還支持Imagination創(chuàng)新性的AI協(xié)同技術(shù)，可以利用GPU的備用資源去配合NNA進行AI計算。

用戶可以通過IMG DNN API同時對GPU和NNA進行優(yōu)化 Andrew Grant還對Imagination如何支持開源AI框架進行了介紹：“Imagination非常歡迎開源社區(qū)，并希望支持開發(fā)人員更輕松地將其模型轉(zhuǎn)移至邊緣側(cè)。大家知道，基于各種典型網(wǎng)絡的任務應用，可以在PyTorch、Tensorflow、PaddlePaddle等不同框架下實現(xiàn)，再利用ONNX等交換環(huán)境導出模型，就可以在邊緣側(cè)進行部署。而Imagination提供了一個組合式的DNN API，這樣只需要通過一個API，用戶的網(wǎng)絡就可以同時針對GPU和NNA進行優(yōu)化。無論用戶使用哪種框架或模型，我們都可以支持其進行部署，從而提高效率，加快上市速度。”