借助 NVIDIA CloudXR 以及 RTX 虛擬工作站（vWS），沙核科技（Sandman Studios）研發(fā)的虛擬社交娛樂平臺“大千”（VAST）實(shí)現(xiàn)了從應(yīng)用部署、算力編排、按需分配虛擬化、低延遲編解碼與低帶寬的云端圖形計(jì)算與 XR 體驗(yàn)推流。

沙核科技讓泛終端跨全球統(tǒng)一上線，高質(zhì)量實(shí)時虛擬娛樂體驗(yàn)成功落地 2022 砂之盒沉浸藝術(shù)季（SIF, Sandbox Immersive Festival）。

VR 體驗(yàn)升級面臨實(shí)時內(nèi)容傳輸挑戰(zhàn)

大千（VAST）為了提供給用戶更加身臨其境和逼真的內(nèi)容體驗(yàn)，選擇 VR 設(shè)備作為應(yīng)用運(yùn)行和用戶體驗(yàn)的首要載體。在這類場景下，技術(shù)對設(shè)備性能要求較高，一次性采購設(shè)備的成本也相應(yīng)提高。特別是新技術(shù)迭代周期短，很多端用戶設(shè)備并不能完全兼容應(yīng)用的運(yùn)行。

同時，VR 硬件種類眾多——包括了 PC VR 頭顯與 VR 一體機(jī)等，各個平臺間存在著較大的性能差異。

VR 應(yīng)用和常規(guī)游戲、視頻、直播應(yīng)用場景一樣，需要通過 GPU 服務(wù)器渲染好畫面后發(fā)送到端用戶：采集畫面一般是增加額外采集卡，后轉(zhuǎn)至相應(yīng)的軟件來接受畫面。增設(shè)采集卡也意味著數(shù)據(jù)傳輸過程中會有額外延遲，一般在 10ms-100ms。

如果是將原始畫面通過網(wǎng)絡(luò)傳輸?shù)蕉擞脩簦馕吨W(wǎng)絡(luò)帶寬需要支持超大體積的數(shù)據(jù)包。普通用戶所使用的帶寬不足以低延遲接受原始畫面數(shù)據(jù)；因此需要在網(wǎng)絡(luò)傳輸畫面數(shù)據(jù)之前，重新編碼來壓縮數(shù)據(jù)體積，同時還要保留較好的畫面質(zhì)量。

與常規(guī)云推流方案不同，VR 應(yīng)用需要轉(zhuǎn)發(fā)的端用戶操作數(shù)據(jù)更多也更復(fù)雜。包括 VR 頭顯設(shè)備的姿態(tài)數(shù)據(jù)，手柄的姿態(tài)和按鍵操作數(shù)據(jù)，甚至是動作捕捉設(shè)備數(shù)據(jù)。相應(yīng)在轉(zhuǎn)發(fā)數(shù)據(jù)到云端后，要求服務(wù)器準(zhǔn)確復(fù)現(xiàn)操作也是具備一定的困難。

VR 應(yīng)用為了提供用戶更好的沉浸感，一定離不開音頻輸出和語音輸入，如果音頻的傳輸延遲不能控制在較低的水平下，同樣會讓用戶體驗(yàn)大打折扣。

NVIDIA CloudXR 賦能云推流解決方案

為了使更多用戶可以體驗(yàn)到統(tǒng)一化的極致體驗(yàn)，以及較低的使用成本，沙核科技選擇 NVIDIA CloudXR 云推流作為解決方案，為業(yè)務(wù)帶來了巨大的升維。

結(jié)合 VR 應(yīng)用和以往經(jīng)驗(yàn)，為解決以上挑戰(zhàn)，沙核科技決定選擇基于 NVIDIA CloudXR 平臺來構(gòu)建解決方案。在 SIF 2022 期間， 方案為大千（VAST）和與電氣櫻桃合作的虛擬演唱會，提供了穩(wěn)定的推流技術(shù)支持和 VR 體驗(yàn)提升。

SIF 展會上，無需采購和提前測試提供渲染服務(wù)的高配主機(jī)，而是按照使用需求啟用云廠商提供的虛擬實(shí)例。NVIDIA A10 Tensor Core GPU 配合 NVIDIA CloudXR 與 RTX 虛擬工作站（vWS），極大降低了投入成本和設(shè)備維護(hù)的人力成本。并且在高峰時期，可支持快速啟用新實(shí)例來滿足峰值用戶需求。

借助 NVIDIA CloudXR 提供的流式視頻傳輸功能，減少了視頻流的帶寬占用，進(jìn)一步提升了同一網(wǎng)絡(luò)環(huán)境下能夠支持的終端設(shè)備數(shù)量，同時保證了較好的畫面效果。

在 VR 設(shè)備上，NVIDIA CloudXR 提供了精確的用戶操作數(shù)據(jù)捕捉，同時在云端服務(wù)器準(zhǔn)確還原端用戶操作，讓用戶收獲完整的沉浸體驗(yàn)。

虛擬娛樂平臺豐富用戶視聽體驗(yàn)

NVIDIA CloudXR 全面提升了大千（VAST）平臺的用戶體驗(yàn)，為擴(kuò)展元宇宙虛擬娛樂領(lǐng)域其他業(yè)務(wù)打下了良好的基礎(chǔ)。

“NVIDIA CloudXR 省去了我們從零開始研發(fā)云推流方案的時間和成本，也讓我們更加堅(jiān)信多元化虛擬娛樂的未來發(fā)展前景。”

開發(fā)一個優(yōu)質(zhì)的 VR 虛擬社交娛樂內(nèi)容平臺、需要耗時兩至三年，甚至可能收效甚微。

NVIDIA CloudXR 針對實(shí)時圖形推流的解決方案，將 VR 上云的速度提升了一個量級，滿足了處理海量圖形計(jì)算的需求，極大地降低了用戶的接入門檻，將原宇宙概念落地時間縮短到當(dāng)下，而不是未來 5-10 年，極大地減少了時間成本，市場教育成本，更有利于用戶抓住下一個時代的網(wǎng)絡(luò)紅利新趨勢。

在網(wǎng)絡(luò)傳輸環(huán)節(jié)，配合網(wǎng)絡(luò)實(shí)施團(tuán)隊(duì)搭建的 WIFI 環(huán)境，實(shí)現(xiàn)了超乎預(yù)期的結(jié)果。在 SIF 2022 落地展示做到了業(yè)界創(chuàng)紀(jì)錄的在同一狹小空間內(nèi) 15 臺無線 VR 設(shè)備同時上線（此前在實(shí)驗(yàn)室階段的記錄為 6 臺），并且穩(wěn)定流暢地保障了全場觀眾完整的觀看和虛擬直播演出的全程體驗(yàn)。

砂之盒策展人兼沙核科技創(chuàng)始人 Eddie 表示：“大千（Vast）作為 NVIDIA 初創(chuàng)計(jì)劃會員沙核科技的突破性平臺產(chǎn)品，在 NVIDIA CloudXR 技術(shù)的支持下，激發(fā)出更多可能性——我們將與廣大虛擬娛樂創(chuàng)作者繼續(xù)嘗試不同虛擬演出的形式和內(nèi)容，更有信心在未來做出完整的互動音樂演出和音樂節(jié)，讓每一個用戶都有機(jī)會體驗(yàn)虛擬空間表演的魅力?！?br />
審核編輯：湯梓紅