編者按：在剛剛過去的2022北京冬奧會上，商湯科技在科技部“科技冬奧”專項支持下，參與了多項課題項目，為科技冬奧貢獻(xiàn)力量。從超現(xiàn)實(shí)的觀賽體驗到沉浸式AR導(dǎo)航，商湯冬奧團(tuán)隊都實(shí)現(xiàn)了哪些技術(shù)創(chuàng)新?又在過程中解決了哪些新的挑戰(zhàn)?在這里，將為您揭開商湯賦能科技冬奧背后的一些故事。

盡管2022年北京冬奧會已經(jīng)結(jié)束，但是很多驚艷世界的創(chuàng)新技術(shù)，依然持續(xù)傳遞著“科技冬奧”精神。

“冰壺運(yùn)動軌跡捕捉和再現(xiàn)”技術(shù)就是其中之一。

冰壺比賽是北京冬奧賽程最長的項目，從開幕前兩天的2月2日開賽，一直持續(xù)至2月20日閉幕當(dāng)天，來自全球不同國家和地區(qū)的三十支參賽隊進(jìn)行了混雙、男子團(tuán)體、女子團(tuán)體共147場比賽。

作為一種策略游戲，冰壺有著“冰上象棋”美譽(yù)。矗立在冰壺比賽現(xiàn)場的一座170㎡的巨幕大屏，則在每一場比賽中都準(zhǔn)確無誤地描繪出冰壺的運(yùn)動軌跡曲線，同時以垂直視角實(shí)時呈現(xiàn)大本營的無形變畫面，幫助場上運(yùn)動員分析研判對戰(zhàn)形勢、適時調(diào)整投壺技戰(zhàn)術(shù)。

線上觀賽的觀眾，也能夠通過“咪咕視頻”APP選擇“咪咕&商湯AI技戰(zhàn)術(shù)分析”直播窗口一覽冰壺軌跡和賽事信息，更好了解和感受冰壺運(yùn)動的精髓。

“雖然只是捕捉一個小小冰壺的軌跡，但背后卻涉及諸多的技術(shù)挑戰(zhàn)。四年一屆的冬奧會機(jī)會難得，我們希望盡最大努力，將更高質(zhì)量的觀賽體驗帶給觀眾。”負(fù)責(zé)此次項目的商湯科技算法技術(shù)負(fù)責(zé)人王權(quán)、產(chǎn)品負(fù)責(zé)人王磊與項目經(jīng)理鄭少林等人，歷時十個的時間，克服多種技術(shù)難題和突發(fā)性挑戰(zhàn)，基于商湯SenseMARS火星混合現(xiàn)實(shí)平臺，成功實(shí)現(xiàn)這項技術(shù)在全世界的首次應(yīng)用。

在巨大“冰立方”中捕捉微小的冰壺

2020年10月，科技部完成“科技冬奧”重點(diǎn)專項2020年度指南項目立項批復(fù)。憑借在人工智能深度學(xué)習(xí)、虛實(shí)融合、AR智能化觀賽等領(lǐng)域的技術(shù)能力優(yōu)勢和豐富實(shí)踐經(jīng)驗，商湯科技有幸參與并負(fù)責(zé)了由國家游泳中心牽頭的“冰壺賽況的智能感知與虛實(shí)融合技術(shù)和平臺研究”課題項目，為科技冬奧貢獻(xiàn)力量。

“冰立方”是冬奧會歷史上體量最大的冰壺場館，在兩年前“水冰轉(zhuǎn)換”過程中，其冰壺場地改造工程總面積約5萬平方米。冰壺比賽每條賽道長40多米，在比賽過程中，每條賽道內(nèi)通常會有16個冰壺，并有2支隊伍8名運(yùn)動員來回走動。

在一名隊員擲球時，兩名本方隊員會在冰壺滑行前方左右兩側(cè)快速擦刷冰面。要在如此多人員頻繁移動、多個目標(biāo)密集分布、互相遮擋的情況下，從超大的場館中準(zhǔn)確捕捉到直徑約30厘米的小冰壺，給硬件方案和算法設(shè)計都提出巨大難題。

針對這一挑戰(zhàn)，商湯團(tuán)隊進(jìn)行重點(diǎn)攻堅，經(jīng)過考察和反復(fù)研究，確定了通過在場館不同位置安裝42個高清攝像頭從不同角度捕捉賽道上運(yùn)動冰壺的硬件方案，同時原創(chuàng)開發(fā)了“多視角實(shí)時動態(tài)捕捉技術(shù)”、“多相機(jī)感知融合技術(shù)”、“多目標(biāo)定位追蹤技術(shù)”，對不同攝像頭拍攝的圖像進(jìn)行智能合成，計算出冰壺的運(yùn)動參數(shù)。

最終，商湯團(tuán)隊成功實(shí)現(xiàn)了超大空間范圍內(nèi)，遠(yuǎn)距離精準(zhǔn)檢測識別定位跟蹤可能被遮擋的運(yùn)動冰壺。“從對冰壺運(yùn)動的實(shí)時捕捉，到對冰壺坐標(biāo)參數(shù)的快速計算，再到運(yùn)行軌跡的合成和渲染，我們通過軟硬件的緊密協(xié)同，實(shí)現(xiàn)了全流程的自動化處理，整個流程只需不到1秒，并且將位置精確度保證在10厘米以內(nèi)”，鄭少林表示。

賽事期間的任務(wù)同樣艱巨。每天早中晚的三個時段，四個賽道會分別舉辦一場冰壺比賽，相當(dāng)于一天就有12場比賽。為保證“冰壺運(yùn)動軌跡捕捉和再現(xiàn)”技術(shù)在每場比賽的順利運(yùn)行，商湯專門在閉環(huán)內(nèi)外設(shè)立了9人保障團(tuán)隊。

閉環(huán)外安排2名固定工作人員，4名輪換工作人員，閉環(huán)外人員需要在每場比賽開始的半個小時之前，確保冰壺運(yùn)動軌跡捕捉系統(tǒng)和可視化分析平臺以及近20臺服務(wù)器的正常啟用，從早上8點(diǎn)半左右一直工作到晚上10點(diǎn)半左右。

閉環(huán)內(nèi)的3名工作人員則負(fù)責(zé)比賽期間可視化平臺的賽事創(chuàng)建、賽程、隊員和軌跡管理工作，智慧觀賽系統(tǒng)和線上AI直播系統(tǒng)的服務(wù)啟停、監(jiān)測、功能優(yōu)化和故障修復(fù)等工作。

由于冰壺混雙、女子團(tuán)體、男子團(tuán)體等不同比賽的規(guī)則不盡相同，而每局比賽中還會經(jīng)常出現(xiàn)投壺隊員順序臨時變更，裁判判罰投壺?zé)o效需要重新投壺等情況，這些因素都會對投壺情況的后臺統(tǒng)計分析和前端呈現(xiàn)產(chǎn)生影響。因此需要3名工作人員時刻緊盯比賽進(jìn)程，對賽況進(jìn)行分析和判斷，實(shí)時切換比賽的開始/結(jié)束狀態(tài)，監(jiān)測智能大屏系統(tǒng)和線上AI直播系統(tǒng)的穩(wěn)定性，同時根據(jù)賽場運(yùn)動員的賽前介紹和投壺順序更新運(yùn)動員、冰壺序號等信息，確保準(zhǔn)確無誤地記錄和統(tǒng)計每場比賽的投壺情況。

從精準(zhǔn)的軌跡捕捉，到完善的運(yùn)維保障，看似一切工作準(zhǔn)備就緒，然而還是遇到了一些“小插曲”。

就在北京冬奧會冰壺比賽正式開賽前一天，團(tuán)隊進(jìn)場做最后的設(shè)備檢查和測試工作時，突然發(fā)現(xiàn)用于固定拍攝大本營畫面攝像頭的桁架，會受到國外媒體攝像機(jī)轉(zhuǎn)動的影響而產(chǎn)生晃動，造成現(xiàn)場大屏上大本營畫面的輕微晃動。雖然幅度很小，次數(shù)也不多，但為了呈現(xiàn)最佳的顯示效果，商湯團(tuán)隊在和國家游泳中心基礎(chǔ)設(shè)施保障團(tuán)隊快速溝通后毅然決定調(diào)整方案。

在國家游泳中心大力支持下，加急采購新的桁架，并調(diào)度閉環(huán)內(nèi)外各個資源方的工作人員，從夜里零點(diǎn)開始，用了不到五個小時的時間，完成了桁架的運(yùn)輸、攝像頭的拆卸和二次安裝等工作。

不僅如此，團(tuán)隊還通過在軟件層面增加攝像頭拍攝位置和角度可調(diào)整的功能，不斷調(diào)教大本營畫面，以確保大本營整體畫面位置的準(zhǔn)確呈現(xiàn)。最終，在正式比賽開賽前，問題順利得到解決，確保了大屏畫面全程穩(wěn)定的輸出。

整個賽事期間，商湯團(tuán)隊不僅要確保冰壺運(yùn)動軌跡在現(xiàn)場大屏畫面中的準(zhǔn)確顯示，還要保證在“咪咕視頻”APP中的精準(zhǔn)呈現(xiàn)。

在比賽首日，聚集在大本營周邊的人員越來越多，導(dǎo)致部分軌跡在手機(jī)屏幕上觀看會有明顯抖動現(xiàn)象。團(tuán)隊隨即第一時間進(jìn)行了算法迭代，通過對軌跡進(jìn)行平滑處理等優(yōu)化工作，最終實(shí)現(xiàn)了非常完美的效果。“我們所做的不僅僅只是現(xiàn)場的保障，而是在不斷發(fā)現(xiàn)問題、解決問題，依靠我們豐富的算法經(jīng)驗，進(jìn)行持續(xù)迭代和優(yōu)化，盡可能打造更好的賽事直播和觀看體驗”，王權(quán)表示。

智慧觀賽技術(shù)與巨幕大屏相結(jié)合，起到了非常好的輔助觀賽、科技助力效果，獲得現(xiàn)場觀眾、媒體、運(yùn)動員、教練和技術(shù)官員的認(rèn)可。在整個比賽過程中，運(yùn)動員在比賽中“回頭看大屏”的現(xiàn)象已成常態(tài)。

事實(shí)上，早在去年10月，“冰壺運(yùn)動軌跡捕捉技術(shù)”已經(jīng)在輪椅冰壺世錦賽上提前亮相并應(yīng)用，當(dāng)時還得到了世界冰壺聯(lián)合會主席凱特·凱斯尼斯等多方好評。在即將到來的北京冬殘奧會冰壺輪椅比賽期間，這項技術(shù)將繼續(xù)應(yīng)用。

咪咕解說嘉賓也對這項技術(shù)的應(yīng)用予以高度評價：看比賽，光看得清還不夠，還要看得懂。對于許多人來說，有不少冰雪項目規(guī)則復(fù)雜，往往會看得一頭霧水。直播觀賽時如果有專業(yè)分析，那可真是“雪中送炭”。

以直播和分析解說的形式，直觀呈現(xiàn)比賽過程中冰壺的運(yùn)動軌跡曲線，讓不少資深體育迷直呼過癮，也獲得冰雪“小白”的大力點(diǎn)贊。

對運(yùn)動員和教練來說，“冰壺運(yùn)動軌跡捕捉”這項技術(shù)可以運(yùn)用到他們的日常訓(xùn)練中，幫助提高訓(xùn)練和比賽水平。而對普羅大眾來說，這項跨越虛實(shí)的技術(shù)，可以讓觀眾更全面地了解冰壺運(yùn)動的精髓。

雖然冰壺起源于16世紀(jì)的蘇格蘭，但中國直到2000年才成立第一支冰壺隊，這使很多大眾對冰壺比較陌生，也很少接觸這項運(yùn)動。在商湯團(tuán)隊與國家游泳中心共同規(guī)劃這項課題時，便一致希望通過創(chuàng)新技術(shù)的應(yīng)用，激發(fā)更多人對冰壺運(yùn)動的興趣，甚至由此助力冰壺運(yùn)動在中國的發(fā)展和進(jìn)步。

AI破解大面積冰雪場景AR導(dǎo)航難題

除了“冰壺運(yùn)動軌跡捕捉”技術(shù)外，商湯團(tuán)隊還在科技部科技冬奧專項支持下，負(fù)責(zé)了“基于3D的實(shí)時精準(zhǔn)定位技術(shù)、虛擬與現(xiàn)實(shí)結(jié)合的3D高精度識別的智慧AR導(dǎo)航系統(tǒng)研究”課題。憑借原創(chuàng)的SenseMARS火星混合現(xiàn)實(shí)平臺的強(qiáng)大能力，商湯創(chuàng)新地通過GPS與視覺融合的數(shù)據(jù)關(guān)聯(lián)方法和參數(shù)分塊優(yōu)化方法在短時間內(nèi)，將超現(xiàn)實(shí)體驗帶向了張家口冬奧村。

經(jīng)過幾個月的研發(fā)攻關(guān)，商湯實(shí)現(xiàn)了大尺度場景下厘米級的3D空間構(gòu)建和部署，并解決了動態(tài)復(fù)雜場景下實(shí)現(xiàn)精準(zhǔn)定位跟蹤等難題。

在項目過程中，團(tuán)隊還克服很多其他AR導(dǎo)航場景很少遇到的難題，包括冬奧村內(nèi)建筑群風(fēng)格比較統(tǒng)一導(dǎo)致存在的大面積相似紋理，冰雪覆蓋造成場景視覺變化多等挑戰(zhàn)。

測試過程中，商湯團(tuán)隊還發(fā)現(xiàn)整個冬奧村是一個斜面，存在數(shù)米落差，最終通過重新建模，將導(dǎo)航地圖動態(tài)的規(guī)劃在一個水平面上予以解決，讓AR導(dǎo)航箭頭在不同坡度的地面上都可以準(zhǔn)確與地面貼合，實(shí)現(xiàn)實(shí)時、精準(zhǔn)的6自由度空間定位。

最終，商湯團(tuán)隊實(shí)現(xiàn)了在張家口冬奧村近30萬平方米區(qū)域內(nèi)的任意地點(diǎn)，都能保證精準(zhǔn)定位。該應(yīng)用無需獨(dú)立APP，僅借助web瀏覽器即可輕松體驗。

無論是“冰壺運(yùn)動軌跡捕捉”，還是冬奧村AR導(dǎo)航，都成功助力了“科技冬奧”從愿景走進(jìn)現(xiàn)實(shí)，同時也為這些技術(shù)在更多領(lǐng)域的規(guī)模化應(yīng)用，起到推動作用。比如，冰壺捕捉背后“在大空間內(nèi)捕捉小物體”的感知技術(shù)，還可以用于城市、工業(yè)等場景，輔助車輛和設(shè)備的智慧管理。

“科技冬奧”理念不僅僅是展現(xiàn)技術(shù)的創(chuàng)新成果，商湯更希望借此機(jī)遇，增進(jìn)大眾對創(chuàng)新科技的認(rèn)知，更好推動AI技術(shù)的創(chuàng)新和應(yīng)用，最終惠及到城市管理、產(chǎn)業(yè)發(fā)展和個人生活當(dāng)中，普惠大眾，改變生活。

原文標(biāo)題：從30厘米冰壺到30萬平米冬奧村，揭秘冰雪盛會中的商湯“黑科技”

文章出處：【微信公眾號：商湯科技SenseTime】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

審核編輯：湯梓紅