深圳望塵科技公司擁有國內(nèi)領(lǐng)先的 AI 視覺算法團(tuán)隊(duì)和實(shí)時(shí)渲染引擎，十年來一直專注于體育游戲與其相關(guān) AI 視覺技術(shù)的研發(fā)，積累了巨量的球員角色數(shù)據(jù)庫，不僅有所有在國際足聯(lián)注冊(cè)的 2 萬名職業(yè)球員精確到厘米的球員體型、骨長(zhǎng)、BMI、體脂肌肉比等數(shù)據(jù)，還有數(shù)千名頂級(jí)球員高精度的 3D 模型，幾乎全球所有主要球場(chǎng)的高精度模型。

基于這些高質(zhì)量結(jié)構(gòu)化的數(shù)據(jù)，Arena4D 可將捕捉結(jié)果在實(shí)時(shí)渲染引擎中以接近照片級(jí)真實(shí)的質(zhì)量渲染，用完全自由的鏡頭特效和運(yùn)鏡方式實(shí)現(xiàn)前所未有的震撼體驗(yàn)。

基于以上挑戰(zhàn)，望塵科技選擇了采用 NVIDIA AI 計(jì)算平臺(tái)來提供支持，使用后給研發(fā)和項(xiàng)目落地帶來了巨大的支持和提升。

1、基于 GalaSports 體育游戲渲染生成巨量的合成數(shù)據(jù)，在 NVIDIA 數(shù)據(jù)中心 GPU 上進(jìn)行加速訓(xùn)練。首先在有 GT 的合成數(shù)據(jù)上訓(xùn)練基礎(chǔ)網(wǎng)絡(luò)，然后再在手工標(biāo)注的真實(shí)數(shù)據(jù)上進(jìn)行 finetune。

2、Arena4D 采用了 NVIDIA TensorRT 推理加速引擎，TensorRT 首先對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行量化處理，然后再優(yōu)化、合并算子，最后經(jīng)過 Batch 化，推理處理速度較原來提升了 4-12 倍，能高效地處理多路攝像頭 4k 高清數(shù)據(jù)，實(shí)時(shí)提取球員的 3D Pose 和外貌特征并進(jìn)行匹配計(jì)算。

3、將原有基于 CPU 運(yùn)行的數(shù)據(jù)拷貝，圖像格式轉(zhuǎn)換，圖像 crop/resize 等耗時(shí)較多的操作流水線，利用 CUDA 進(jìn)行實(shí)現(xiàn)，完全切換到 GPU 處理，比起 CPU 實(shí)現(xiàn)的方案，加速 50~100 倍。

4、針對(duì)體育場(chǎng)景中運(yùn)動(dòng)員速度快、運(yùn)動(dòng)幅度大、圖像中尺寸小的特點(diǎn)，改進(jìn)了網(wǎng)絡(luò)結(jié)構(gòu)和算子，使其適合體育場(chǎng)這種稀疏變化，追蹤角色小的場(chǎng)景；提升了 MOT 算法，通過多個(gè)視圖的 fusion 網(wǎng)絡(luò)對(duì) 2D 追蹤結(jié)果進(jìn)行 finetune，實(shí)現(xiàn)多視圖在 3D 空間的追蹤。

圖2：計(jì)算延遲解決思路

圖片來源及所屬：Galasports 望塵科技

6、整個(gè)流水線經(jīng)過 TensorRT 編譯運(yùn)行在 NVIDIA 數(shù)據(jù)中心 GPU 上，每路視頻信號(hào)由一張 GPU 進(jìn)行實(shí)時(shí)計(jì)算，最后在 CPU 中對(duì)多路計(jì)算結(jié)果降噪融合。最終，以足球場(chǎng)場(chǎng)景為例，追蹤目標(biāo)為 1 個(gè)足球 + 22 名球員 + 3 名教練的位置與骨骼，在一張 NVIDIA 數(shù)據(jù)中心 GPU 設(shè)備上我們實(shí)現(xiàn)了平均 50ms/幀的速度，在二張 NVIDIA 數(shù)據(jù)中心 GPU 設(shè)備上能達(dá)到平均 30ms/幀的速度，整個(gè)流水線比原型提升了 18 倍。

使用了 NVIDIA TensorRT 推理加速引擎和 NVIDIA 數(shù)據(jù)中心計(jì)算卡，Arena4D 整個(gè)流水線可實(shí)時(shí)運(yùn)行，進(jìn)一步提升了用戶使用體驗(yàn)，為擴(kuò)展 AI 體育方向的其他業(yè)務(wù)、甚至是 XR 場(chǎng)景的加入打下了良好的基礎(chǔ)。

Arena4D 通過 NVIDIA TensorRT 等技術(shù)，實(shí)現(xiàn)了多視圖在 3D 空間的追蹤、提升了識(shí)別骨長(zhǎng)度和 BMI 等球員特征的準(zhǔn)確率、完成了內(nèi)存拷貝與數(shù)據(jù)處理的并行化、改進(jìn)了網(wǎng)絡(luò)結(jié)構(gòu)和算子使其適合體育場(chǎng)的稀疏變化，最終實(shí)現(xiàn)全流程 GPU 加速，速度提升超過 50～100 倍。

AI 體育行業(yè)是最受關(guān)注的人工智能應(yīng)用領(lǐng)域之一，傳統(tǒng)的體育企業(yè)也開始擁抱科技，紛紛引入人工智能產(chǎn)業(yè)。一個(gè)集技術(shù)、人才與場(chǎng)景優(yōu)勢(shì)的科技企業(yè)必須與一個(gè)優(yōu)秀的合作伙伴一起積極開拓和長(zhǎng)期發(fā)展。NVIDIA 提供的 GPU 解決方案，解決了深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的技術(shù)難題，使得望塵科技在 AI 體育領(lǐng)域能夠持續(xù)不斷地創(chuàng)新產(chǎn)品，拓寬 AI 應(yīng)用場(chǎng)景，為觀眾和球迷提供新時(shí)代的數(shù)字化全新觀賽體驗(yàn)。

NVIDIA 初創(chuàng)加速計(jì)劃

望塵科技是 NVIDIA 初創(chuàng)加速計(jì)劃 (NVIDIA Inception) 會(huì)員企業(yè)。NVIDIA 初創(chuàng)加速計(jì)劃為免費(fèi)會(huì)員制、旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計(jì)劃聯(lián)合國內(nèi)外知名的風(fēng)投機(jī)構(gòu)，創(chuàng)業(yè)孵化器，創(chuàng)業(yè)加速器，行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等，打造創(chuàng)業(yè)加速生態(tài)系統(tǒng)。能夠提供產(chǎn)品折扣，技術(shù)支持，市場(chǎng)宣傳，融資對(duì)接，業(yè)務(wù)推薦等一系列服務(wù)，加速創(chuàng)業(yè)公司的發(fā)展。

想獲得 NVIDIA 初創(chuàng)加速生態(tài)助力？掃描下方二維碼，僅需一分鐘填寫意向申請(qǐng)表單，獲得快速聯(lián)系。