科技與體育的親密接觸 英特爾的黑科技帶來的新體驗
伴隨著冬奧賽事的落幕,北京2022年冬奧會畫下圓滿的句號,中國冰雪健兒以突破性的優(yōu)異成績再一次創(chuàng)造歷史。
如果說筆者對這屆冬奧會的印象,那么科技奧運當之無愧,不管是開閉幕式還是賽場比賽,科技無處不在,綻放在每一個角落。智慧與科技的廣泛應(yīng)用成為本屆盛會的一大亮點。
作為奧運會全球TOP合作伙伴,英特爾將一系列科技應(yīng)用于冬奧會的文化呈現(xiàn)、體育訓(xùn)練的方法革新、賽事場館的搭建運營、比賽實況的直播轉(zhuǎn)播等等方面,為體育賽事打造創(chuàng)新解決方案,創(chuàng)造了一個又一個精彩瞬間。
讓技術(shù)看得見 英特爾3DAT的神奇秀
相信每一個人對于北京2022年冬奧會的開幕式印象深刻,尤其在《致敬人民》和《雪花》節(jié)目中,演員與國家體育場的地面大屏系統(tǒng)的默契協(xié)同,讓觀眾真切感知到科技為藝術(shù)帶來的驚喜。
這背后是基于運行在第三代英特爾至強可擴展處理器上的3DAT三維運動員追蹤技術(shù),以及針對開幕式場景定制開發(fā)的“基于AI的大型演出實時特效系統(tǒng)”,使得演員不需精準排練就能呈現(xiàn)完美的藝術(shù)效果。
英特爾3DAT三維運動員追蹤技術(shù)是一套復(fù)雜的系統(tǒng),它由攝像機信息采集、數(shù)據(jù)分析、藝術(shù)效果渲染三大子系統(tǒng)構(gòu)成,其核心算法是基于計算機視覺、AI的實時人體檢測和位置追蹤技術(shù)。
在實時性上,英特爾依靠的是來自邊緣計算系統(tǒng)的強大算力。攝像機將采集到的數(shù)據(jù)信號通過光纖傳輸?shù)接⑻貭栐趪殷w育場內(nèi)搭載的第三代英特爾至強可擴展處理器的邊緣計算系統(tǒng)。第三代英特爾至強可擴展處理器,支持8通道DDR4,64條PCI EXPRESS 4.0通道,全面增強I/O吞吐量,為實時、大量、精準度要求高的圖形、影像處理和3D建模、數(shù)據(jù)分析,提供堅實基礎(chǔ)。同時在傳輸效率上,基于英特爾OpenVINO視覺工具套件進行開發(fā),進而實現(xiàn)精準、流暢、實時的視頻數(shù)據(jù)讀取、預(yù)處理。從圖像采集識別、檢測和處理,只需要幾十毫秒的時間,真正做到了實時傳輸。
在北京冬奧會花樣滑冰表演滑上,一場科技與藝術(shù)相融的“光影演出”精彩上演。這場光影演出不僅僅是英特爾與清華美院的跨界合作,更是普通人與3DAT的藝術(shù)共創(chuàng)。
英特爾聯(lián)合合作伙伴收集來自普羅大眾的花滑運動素材,并通過英特爾3DAT技術(shù)將這些素材生成花滑運動的姿態(tài)、動作等數(shù)據(jù)模型。而這些數(shù)據(jù)模型經(jīng)過了花樣滑冰表演滑節(jié)目中藝術(shù)化的處理,展示了所有中國人對冰雪運動的熱愛和自己的冰雪故事。
3DAT與光影演出的藝術(shù)碰撞從AI技術(shù)本源出發(fā),可分為數(shù)據(jù)收集、模型構(gòu)建、三維姿態(tài)輸出三部分。在數(shù)據(jù)收集階段,運行在第三代英特爾至強可擴展處理器上的3DAT技術(shù)就展現(xiàn)了大范圍的特點,依賴于先進的AI算法,只需要兩部拍攝設(shè)備就能準確地捕捉1800㎡花滑場地里運動員的動作細節(jié),這讓3DAT設(shè)備的部署變得非常容易。
更為重要的是數(shù)據(jù)的采集不需要目標人群穿戴任何傳感器,這讓我們大量收集老百姓和花滑選手的數(shù)據(jù)信息成為了可能。英特爾把這些海量花滑運動的視頻圖像數(shù)據(jù),通過3DAT技術(shù)生成三維人體運動數(shù)據(jù),AI模型通過學習這些三維數(shù)據(jù)可以獲得人體運動的先驗常識。英特爾設(shè)計的神經(jīng)網(wǎng)絡(luò)具備從粗到精漸進式的學習能力,先學習人體的宏觀特征,然后是局部動作細節(jié)的學習。另外模型具備很強的糾錯能力,通過嵌入人體運動先驗常識,AI模型能夠穩(wěn)定預(yù)測輸出正確的三維姿態(tài),保證節(jié)目效果。
除了在演出中的創(chuàng)新應(yīng)用,英特爾3DAT三維運動員追蹤技術(shù)也被應(yīng)用于運動員的日常科學訓(xùn)練。
英特爾3DAT早已應(yīng)用在中國速度滑冰隊、越野滑雪隊、鋼架雪車隊的運動員訓(xùn)練中,用科技手段助力這些項目的運動員不斷突破。
3DAT把先進的人工智能和計算機視覺運動追蹤能力從實驗室?guī)У搅梭w育競技。這一解決方案利用攝像機拍攝運動員進行訓(xùn)練的過程,而運動員不必佩戴傳感器等影響運動效果的裝備,系統(tǒng)將視頻數(shù)據(jù)發(fā)送到云端,在內(nèi)置英特爾深度學習加速技術(shù)的第三代英特爾至強可擴展處理器上進行分析,直接通過人工智能計算機視覺算法,從視頻源中,提取運動員的關(guān)鍵骨骼點信息、身體關(guān)鍵部位的姿態(tài)、運動軌跡和位置信息等,并進行三維重建。在三維模型重建的同時生成生物力學數(shù)據(jù),輸出精準的運動表現(xiàn)分析。這些數(shù)據(jù)及分析可以幫助教練員制定科學正確的訓(xùn)練方法,為運動員的日常訓(xùn)練提供切實有用的技術(shù)支持。
打破時空的極致冬奧“元宇宙”體驗
如果說去年哪個詞最火,元宇宙(Metaverse)肯定是首選。元宇宙(Metaverse)是利用科技手段進行鏈接與創(chuàng)造的,與現(xiàn)實世界映射與交互的虛擬世界,具備新型社會體系的數(shù)字生活空間。元宇宙本質(zhì)上是對現(xiàn)實世界的虛擬化、數(shù)字化過程,需要對內(nèi)容生產(chǎn)、經(jīng)濟系統(tǒng)、用戶體驗以及實體世界內(nèi)容等進行大量改造。
在本屆冬奧會上,英特爾聯(lián)手合作伙伴打造的運行在第三代英特爾至強可擴展處理器上的VSS數(shù)字孿生場館模擬仿真服務(wù),通過虛擬現(xiàn)實、人工智能、計算機圖形學等相關(guān)前沿技術(shù),將北京冬奧會的12個競賽場館、3個奧運村、主媒體中心進行數(shù)字化、動態(tài)化、三維化,提供場館內(nèi)、外及活動元素的精準仿真,用孿生的虛擬三維世界輔助現(xiàn)實世界的運行,讓工作人員可以在虛擬世界中如同身臨其境地高效協(xié)同辦公。
英特爾VSS數(shù)字孿生場館模擬仿真服務(wù)讓運營者們無需親臨現(xiàn)場,在多終端就可以操作系統(tǒng),各個領(lǐng)域的運營者們可以在同一個三維世界中,實現(xiàn)場館空間規(guī)劃、運行設(shè)計及細節(jié)管理。
無論是前期的3D建模,還是將三維世界推送到PC、PAD等終端,再到多端協(xié)同工作,英特爾強大的計算力、軟件及AI能力都起到了至關(guān)重要的作用;诘谌⑻貭栔翉娍蓴U展處理器,強大的性能確保了3D建模、渲染的效率,同時全面優(yōu)化多樣工作負載,不僅實現(xiàn)了便捷的遠程協(xié)作,而且讓整個系統(tǒng)的管理更為便捷。英特爾OneAPI及基于至強的AI開發(fā)套件,大大提升了3D重構(gòu)的速度。英特爾Media SDK視頻壓縮與編解碼技術(shù),確保信號推流到終端時,在不同終端上的顯示都精準、一致。
轉(zhuǎn)播,是所有大型國際賽事的重中之重。在觀眾收看體驗方面,英特爾用于廣播行業(yè)的8K 360度VR技術(shù)平臺是以第三代英特爾至強可擴展平臺為基礎(chǔ)的創(chuàng)新,通過與相關(guān)轉(zhuǎn)播商合作,為觀眾提供更清晰更實時更沉浸的遠程觀賽體驗。由于現(xiàn)場多臺VR錄像設(shè)備的部署,觀眾可以通過VR頭顯、手機和PC等各種尺寸的屏幕觀看冬奧比賽,自由選擇不同的視角進行觀賽,獲得360度高清全景觀賽畫面。獨特的沉浸式體驗和強烈的現(xiàn)場感,使觀眾可以如身臨其境般感受現(xiàn)場的氣氛。它將觀眾迅速帶入賽事場景,與運動員在一起,更極致地分享體育精神與勝利時刻。
8K直播必須依靠高性能的視頻編碼。英特爾SVT(Scalable Video Technology)可擴展視頻軟件技術(shù),其三維度優(yōu)化,尤其是在時域(前后幀的依賴關(guān)系)、空域(畫面中的不同部分)和編碼流程上可實現(xiàn)了并行化,可以將視頻編碼任務(wù)靈活的分配到第三代英特爾至強可擴展處理器上,并且對AVX-512高級矢量擴展指令集做了專門的優(yōu)化。實現(xiàn)延遲和視覺質(zhì)量的最佳平衡。通過SVT的高效處理和編碼,在不改變畫質(zhì)的情況下,8K視頻碼率可以顯著性降低,有效緩解網(wǎng)絡(luò)傳輸帶寬壓力,滿足通過5G或IPTV實時收看的條件。
根據(jù)360全景視頻特點,特定時刻的用戶視角通常只占據(jù)全部圖像中一小部分區(qū)域,如果對全景圖像進行8K的傳輸和解碼,會造成了極大的網(wǎng)絡(luò)和計算資源的浪費。英特爾開放視覺云的OVC360技術(shù)采用“tiled”瓦片化的視頻處理方式,也就是將圖像切分成若干“瓦片”進行傳輸,只當客戶端旋轉(zhuǎn)視角時,可以自主從云端獲取對應(yīng)視角的視頻內(nèi)容進行渲染,傳輸觀眾看到的部分。這樣既減輕了對觀眾設(shè)備的要求,又可將傳輸8K 360度直播所需的帶寬大大降低,避免延時/卡頓,確保視頻的流暢及高質(zhì)量播放,實現(xiàn)2K的設(shè)備8K的體驗。
除了上面提到的創(chuàng)新技術(shù)應(yīng)用,英特爾還在北京冬奧會(冬殘奧會)運動員娛樂中心基于5G+邊緣計算技術(shù)(MEC)解決方案,打造了獨具創(chuàng)新科技的沉浸式體驗內(nèi)容。
在通勤方面,英特爾子公司Mobileye在超過500輛為運動員、技術(shù)官員、媒體等提供的公交大巴上搭載了Mobileye 8以及專為城市大型車輛設(shè)計的Shield+4。這些能夠?qū)崟r發(fā)出警告的人工智能安全系統(tǒng),利用計算機視覺技術(shù),扮演輔助駕駛角色,持續(xù)掃描前方路面,一旦行人或騎車人進入危險區(qū)域,系統(tǒng)會實時發(fā)出視覺和聲音警報,提醒司機采取行動。
結(jié)語
是體育盛事,更是科技盛宴。
數(shù)字技術(shù)是未來全球產(chǎn)業(yè)發(fā)展的大勢,其正在為體育產(chǎn)業(yè)帶來無限可能性。
本文章選自《AI啟示錄》雜志,閱讀更多雜志內(nèi)容,請掃描下方二維碼
