元宇宙作為當前熱門話題之一,受到了業界廣泛地關注,不少企業紛紛開始依托現有業務與技術能力布局元宇宙領域,迎接這個新的風口。本次,我們很榮幸地邀請到了 ZEGO 即構科技 解決方案開發專家 許明龍接受采訪,一起聊一聊 ZEGO 即構科技在推進元宇宙建設過程中的策略和布局,以及在元宇宙引擎構建和實時互動RTI領域的探索與成果。
許明龍,ZEGO即構科技 解決方案開發專家
主要負責泛娛樂場景下的元宇宙解決方案的開發和落地,包括 Avatar 虛擬形象以及虛擬場景在各類泛娛樂 App 內的集成開發、性能優化、多平臺兼容優化支持等。在虛擬世界結合 RTC 以及虛擬場景環境音在各個平臺的落地上積累了豐富的經驗。
Dialogue with Xu Minglong
LiveVideoStack:許老師好,很高興能邀請您接受采訪。先跟LiveVideoStack的讀者朋友們簡單介紹下自己吧。可以說說目前重點關注的一些技術、工作內容等等。
許明龍:大家好,我是 ZEGO 即構科技的解決方案開發工程師許明龍。在公司主要負責 RTC SDK 相關的研發工作,給公司多家頭部客戶做過解決方案,也針對不同的客戶需求開發過很多定制方案,涉獵教育、娛樂、游戲、金融等多種場景。參與過虛擬世界相關能力底層的開發,客戶對接集成落地經驗豐富。目前在開發 Unity 相關的元宇宙能力、以及小游戲相關的平臺建設。
LiveVideoStack:當前許多企業紛紛開始布局元宇宙,但構建元宇宙從技術實現到場景應用是一項極為復雜的工程。在您看來能夠快速入局,迎接元宇宙這個風口的關鍵路徑和可能在哪里?
許明龍:當下的元宇宙距離人們想象的去中心化、用戶生產并擁有數字資產以及能夠實現跨平臺玩耍的“終極形態”還有相當長的路要走。受困于硬件、技術的壁壘,元宇宙初期應用方向將以服務于普羅大眾的輕度娛樂為主,而非面向核心玩家的硬核內容。所以在元宇宙推進的過程中,不應急功近利,而是將元宇宙拆解,徐徐圖之。
泛娛樂社交玩家能否靠元宇宙突圍,其核心并不在于“元宇宙”三個字對自身的加持如何,而在于是否能搭建出擊中用戶的娛樂化/功能化場景,一個成熟的元宇宙場景,并非簡單地將表現形式由二維切換至三維,光影、場景規劃乃至聲場的遠近都將時刻影響著場景氛圍。這意味著,企業無法簡單地套用過去的產品設計方案來搭建場景,而是需要相應的元宇宙引擎來處理涉及技術底層,細密繁雜的問題,元宇宙引擎就像是工具箱,讓開發者快速進入核心工作,不必由發明工具開始從零起步,節省了寶貴的時間及金錢人力成本。發掘這樣的“元宇宙引擎”可能就是迎接元宇宙這個風口的關鍵路徑。
“元宇宙智能互動引擎”
LiveVideoStack:就在前不久,即構科技正式對外發布了“元宇宙智能互動引擎”,能否為我們具體介紹下它是什么?
許明龍:“即構元宇宙智能互動引擎”是一站式的元宇宙搭建平臺化服務,即構將提供有針對性的產品、工具和服務,滿足企業不同的搭建需求,幫助企業低門檻快速打造元宇宙場景玩法。我們會提供豐富的素材庫,同時連接國內數家 top 美術公司,打造開放的內容生態,滿足開發者對多元素材內容以及高定制的需求。助力開發者低門檻快速打造元宇宙基礎設施,整合強大的音視頻能力衍生多元玩法,助力企業快速搭建元宇宙場景。
LiveVideoStack:為什么要打造元宇宙智能互動引擎,有哪些實際價值?
許明龍:即構科技打造“元宇宙智能互動引擎”秉持的初衷是要成為其中的技術實干家,讓更多的行業先行者更快更簡單地打造元宇宙場景,協助他們去挖掘元宇宙未來不可估量的實際價值。
1、ZEGO Avatar 助力與幫助開發者和個人打造極具個性化的虛擬化身。Avatar,即構虛擬人,通過素材、風格的多元化的形象,實現栩栩如生的虛擬人,用戶可以構建自己的虛擬形象,企業可以打造IP類數字資產,通過強大的AI驅動能力,僅需一臺千元機即可流暢實現極低延遲表情隨動或肢體隨動。
2、核心產品即構虛擬世界,ZEGO Metaworld。提供了豐富且強大的組件庫,包括可交互的桌椅,聊天氣泡,粒子特效,大到虛擬語聊,虛擬換裝,當前的超極屏就是 metaworld 的核心組件之一,通過即構的暢直播方案為大家帶來低延遲的直播體驗。
3、場景化的 RTC 能力。包括低延遲音視頻、直播、3D 音效、范圍語音,在開放世界中提供更加沉浸式的語音視頻體驗。
4、多元化內容。即構沉淀了大量多元化能力和內容,包括自研的白板、屏幕共享、文件分享,以及強大的內容生態:百萬級別的音樂版權,上千部電影版權,多種類型的優質小游戲,通過這些能力和內容,可以輕松構建不同類型的業務場景。
LiveVideoStack:即構科技這么多年來一直在深耕探索音視頻通信、實時互動,音視頻處理、AI 算法等多方面的技術與能力。在此次構建元宇宙智能互動引擎的過程中,這些積累提供了哪些助力?我們又遇到了哪些難點與挑戰,是如何克服的?
許明龍:元宇宙概念的出圈本身代表著各行業技術儲備到了一定規模,足夠支撐行業去想象未來的虛擬空間會如何呈現。電子游戲幾十年的發展摸清了 3D 空間打造、物理交互反饋以及如何帶給人更強的沉浸感。同時線上社交領域的 RTC 技術足夠支撐更加高質量的音視頻傳輸、在實時的場景下去做到接近現實世界的視聽體驗效果。
元宇宙的核心元素可以分為:身份、關系、沉浸感、低延遲、多元化、經濟體系,事實上,其中核心元素和即構的愿景“共建更好的實時互動世界“不謀而合。元宇宙的興起,也正好成為了即構的一場技術能力大考。
從 2015 年開始,借著連麥、直播、音視頻通話的能力,切入到實時互動賽道。到 2019 年之后,我們注意到人工智能技術工程化逐步成熟并在眾多場景中落地開花,語音視頻的前后處理算法和能力也得到了廣度與深度兼具的發展。與此同時,數字人、虛擬客服這類內容的呈現,包括網友們熟知的二次元歌姬演唱會,多年來仍以離線生產的方式在行進,以實時互動方式實現的案例偏少。能否給用戶帶來更多元化的內容和玩法,增強線上的實時互動,多做一些可玩性更強的輸出?即構開始投入大量資源和人力,專門研究 AI、音效處理、視覺處理、大規模線上人機交互和數據同步等多種算法和技術,尋求線上互動的能力突破。2021 年初,元宇宙概念興起,這與我們正在做的事情恰好一致,前期牢固的技術積累也為我們迅速切入元宇宙賽道提供了極大助力。
實時互動RTI(Real-Time Interaction)
LiveVideoStack:今天,基于互聯網的線上交流互動,已經不僅限于語音視頻這種你一句我一句的對話式通訊體驗。從“線上交流”到“共享時空”已經成為當前互聯網演進升級的方向。我們發現即構強調的實時互動 RTI,與這個趨勢不謀而合,可以給我們介紹下即構實時互動RTI的內涵么?
許明龍:隨著能力的拓新與服務的進步,我們意識到即時通訊 RTC 已經無法概括所有的線上交流。今天我們提出以實時互動RTI(Real-Time Interaction)來總結概括 ZEGO 的能力,這并非是對未來的描繪,而是對當下現實的陳述。
10月28日,即構科技的 Express SDK3.0 全面上線,基于 RTI,我們發布了多項能力分別對應智能逼真的畫質「Intelligence」、身臨其境的音質「Immersion」以及無限互動的玩法「Infinity」,用可靠的技術實力為 ZEGO 實時互動 RTI 打上了生動的注解。
多人狀態實時同步&大規模連麥為元宇宙空間內的大規模用戶互動提供了堅實的基礎,空間音頻能在虛擬空間中還原現實世界的聲音反饋。移動端實時超分借助 AI 算法讓畫質高清的同時,能極大地控制傳輸成本。場景化降噪讓突發性噪聲消弭殆盡,為用戶帶來沉浸式的音質體驗……
實時互動RTI(Real-time Interaction)即代表 ZEGO 能力的總和,同時也昭示著未來鉆研的方向:相較于RTC,并非以信息交互為唯一目標,而是通過數字化的方式,讓人與人共享時空,用可視化服務體系保障更好的互動體驗,在高效準確的基礎之上,滿足精神需求。
技術與需求在互相牽扯中不斷前進,作為數字化時代的賣水人,我們將不斷鉆研,力求為所有前行者提供更強大便捷的助力。ZEGO 所期望的,是用實時互動技術與所有人共建讓工作生活更加輕松有趣的世界。
【相關釋義補充】:
RTI(Real-Time Interaction)代表一切為實現媲美甚至超越現實的實時互動場景下所需要用到的所有產品和技術組合,除了核心的 RTC、IM、直播之外,還包括 Avatar、Al 視覺、狀態同步等等,相較于 RTC 更強調互動,不以信息的交換為唯一目標,旨在以數字化方式,創造用戶所需的共享時空,滿足其精神需求,并輔以配套的可視化服務體系保障更好的互動。
LiveVideoStack:對于真正意義上的“元宇宙”,目前我們所能看到的可能只是冰山一角。能否總結和展望下元宇宙應用或產品當前所面臨的一些困境和挑戰,以及未來的一些可能性?
許明龍:隨著元宇宙產業走入大眾視野,相應的“承建”需求亦將激增,畢竟元宇宙并非能夠簡單復刻的商業模式,而是涵蓋眾多前沿技術的集合。這意味著,工業化很可能將成為這場科技革命的必經階段,而即構這類的玩家,正扮演“流水線”的角色,為元宇宙而筑基。
LiveVideoStack:最后,接下來您也會參與今年LiveVideoStackCon 2022北京站大會,能否在這里先劇透下,您會在現場分享哪些精彩內容?
許明龍:元宇宙作為當前熱門話題,引發各廠商紛紛布局,實時互動作為搭建元宇宙場景的底層技術分支,是不可或缺的關鍵技術,如何在短時間內高效、迅速的獲取實時互動 RTI 技術能力,是占領市場的關鍵動作之一,這次分享我會在現場分享 ZEGO 即構科技在實時互動 RTI 領域的最新研發成果,再結合具體實踐案例,聊聊包括虛擬人、元宇宙場景狀態同步、大規模連麥等熱門技術。
LiveVideoStack:感謝,期待接下來您在北京站大會現場的精彩分享。
編輯:黃飛
?
評論
查看更多