導(dǎo)讀：

2019年，NVIDIA Omniverse上線；2021年，Omniverse Enterprise正式發(fā)布；2022年，Omniverse Cloud云平臺發(fā)布，使得Omniverse具備了更多云屬性；同年，NVIDIA OVX系統(tǒng)發(fā)布，帶來了經(jīng)過專門優(yōu)化的硬件計(jì)算平臺。

與此同時(shí)，NVIDIA在元宇宙的布局逐漸清晰，NVIDIA希望利用自身在圖形計(jì)算以及AI、GPU等技術(shù)得天獨(dú)厚的優(yōu)勢，為各個(gè)行業(yè)的企業(yè)提供全棧式解決方案，從而對生產(chǎn)質(zhì)量和效率帶來實(shí)質(zhì)性的改善。

其實(shí)早在元宇宙概念走進(jìn)大眾視野之前，NVIDIA就已經(jīng)著手于相關(guān)技術(shù)的開發(fā)及儲備。在深刻洞察各個(gè)行業(yè)對于虛擬世界和數(shù)字孿生的需求后，NVIDIA對此進(jìn)行了針對性研發(fā)。在其不斷迭代自身解決方案的同時(shí)，眾多大型企業(yè)紛紛通過Omniverse構(gòu)建了自己的數(shù)字孿生或工業(yè)元宇宙。

隨著全球?qū)τ谠�宇宙的熱情不斷高漲，也催化了這些技術(shù)成果快速從幕后走向臺前。

MetaPost的讀者對于Omniverse可能并不陌生，此前已多次介紹過。今天，我們再來詳細(xì)聊聊元宇宙和數(shù)字孿生如何通過Omniverse落地，以及更多場景下的應(yīng)用案例。

你以為NVIDIA只是靠著GPU飚進(jìn)萬億市值？可不止。

01

為什么Omniverse

是構(gòu)建元宇宙的工具？

NVIDIA Omniverse是為了構(gòu)建具有物理規(guī)則的虛擬世界而誕生的。通過Omniverse在虛擬世界中做AI訓(xùn)練，再反饋、幫助到現(xiàn)實(shí)世界；也可以模擬現(xiàn)實(shí)世界中的物理特性，為實(shí)際生產(chǎn)提升效率。

現(xiàn)在的互聯(lián)網(wǎng)內(nèi)容其實(shí)還是以圖片、2D視頻、文字為主。NVIDIA認(rèn)為，在未來幾年，互聯(lián)網(wǎng)傳輸內(nèi)容中將出現(xiàn)大量的3D內(nèi)容，3D內(nèi)容將為現(xiàn)有行業(yè)帶來新的變革——而元宇宙就是互聯(lián)網(wǎng)的3D內(nèi)容演變。

在搞清楚Omniverse和元宇宙的關(guān)系前，我們先來搞清楚幾個(gè)問題：

1、構(gòu)建元宇宙，需要哪些元素？

1)開放的標(biāo)準(zhǔn)。既然是3D世界，自然會存在內(nèi)容的交互問題，互聯(lián)網(wǎng)時(shí)代是HTML，3D內(nèi)容時(shí)代則需要新的數(shù)據(jù)交互傳輸格式。開放標(biāo)準(zhǔn)的文件會使用USD（通用場景描述），它本身就是一個(gè)開放的格式，越來越多的第三方軟件已開始支持USD。

2)可擴(kuò)展、可加速、時(shí)間精準(zhǔn)的系統(tǒng)。只有可擴(kuò)展的系統(tǒng)才能承載龐大的虛擬世界。元宇宙可不像游戲，使用一個(gè)沙盒就可以運(yùn)行開放世界游戲，對于現(xiàn)實(shí)世界的模擬要宏大得多。

3) 遵循物理世界的實(shí)時(shí)仿真。仿真有很多，但目前能做到實(shí)時(shí)仿真的軟件并不多。

4)AI。AI可以幫助我們生成大量相應(yīng)的3D數(shù)字內(nèi)容，在虛擬世界中進(jìn)行相關(guān)的AI模型訓(xùn)練，再部署到現(xiàn)實(shí)世界。

而Omniverse具備了以上所有元素——由USD、可擴(kuò)展性、認(rèn)證的硬件平臺，以及不斷擴(kuò)大的第三方生態(tài)系統(tǒng)組成。這也使得其成為構(gòu)建元宇宙的絕佳工具。

2、 數(shù)字孿生也需要一些最基礎(chǔ)的元素，它的要求又是什么？

1） 首先是虛擬數(shù)據(jù)集的單一實(shí)時(shí)來源。用過第三方軟件，你就會發(fā)現(xiàn)，各種軟件都有各自的格式，當(dāng)匯總到同一個(gè)場景下，難免會出現(xiàn)數(shù)據(jù)丟失。比如當(dāng)CAD的工程軟件轉(zhuǎn)換成MESH文件，有些文件會莫名其妙地消失，就是因?yàn)闆]有單一的實(shí)時(shí)來源。

2） 現(xiàn)實(shí)世界是遵循物理學(xué)的，虛擬世界自然也需要遵循。Omniverse平臺利用Feedback技術(shù)可以實(shí)現(xiàn)這一點(diǎn)，并支持AI的訓(xùn)練和優(yōu)化。精確計(jì)時(shí)、與現(xiàn)實(shí)世界完美同步。單一的物理世界實(shí)現(xiàn)跟世界時(shí)鐘同步并不是最大的挑戰(zhàn)，當(dāng)OVX集群出現(xiàn)，多個(gè)OVX物理服務(wù)器橫跨了如64代物理服務(wù)器，如何保證在渲染同一場景或不同場景下，時(shí)間還是完美同步的，才是最大的挑戰(zhàn)。

基于NVIDIA最核心的幾項(xiàng)技術(shù)：發(fā)展了20多年的RTX渲染技術(shù)，CUDA——最強(qiáng)的護(hù)城河，PhysX——在SDK開發(fā)了很多年，以及AI，NVIDIA將這些最基礎(chǔ)的技術(shù)配合USD，鑄造了Omniverse平臺，并在上面開發(fā)了不同場景下的應(yīng)用。

02

巨頭紛紛布局元宇宙和數(shù)字孿生

Omniverse在工業(yè)元宇宙和數(shù)字孿生的應(yīng)用，涵蓋了汽車制造業(yè)、能源、交通運(yùn)輸、零售，以及科學(xué)技術(shù)研究、山火研究、氣候研究等等。

01寶馬數(shù)字工廠

寶馬集團(tuán)在全球擁有31家工廠，40個(gè)不同車型的2100多種可能的車型配置，年產(chǎn)量達(dá)到250萬輛，99%都是定制化生產(chǎn)，是全球最大的汽車定制制造公司之一。

在這樣的規(guī)模下生產(chǎn)定制車輛，需要在整個(gè)制造過程擁有極高的靈活性和敏捷性�，F(xiàn)在寶馬集團(tuán)已經(jīng)實(shí)施了一套完整的端到端數(shù)字孿生工廠管理系統(tǒng)，將現(xiàn)實(shí)和虛擬現(xiàn)實(shí)、機(jī)器人技術(shù)，以及人工智能相結(jié)合。這套實(shí)時(shí)的數(shù)字孿生系統(tǒng)涉及NVIDIA的軟硬件，利用Omniverse綜合的數(shù)字孿生平臺，在其全球生產(chǎn)網(wǎng)絡(luò)中設(shè)計(jì)、訓(xùn)練、構(gòu)建和仿真，以及最后部署運(yùn)行工業(yè)的元宇宙應(yīng)用，利用虛擬世界來優(yōu)化整個(gè)工廠布局、機(jī)器人的開發(fā)和物流系統(tǒng)。

將不同工具、不同來源的數(shù)據(jù)匯集到大型的高性能模型，便可實(shí)現(xiàn)跨地區(qū)、多用戶的實(shí)時(shí)協(xié)作。

例如，寶馬集團(tuán)需要定期重新配置生產(chǎn)線來適應(yīng)新車型，以往物理生產(chǎn)線設(shè)計(jì)和配置需要根據(jù)新的配置停機(jī)停產(chǎn)，效率低下，各地規(guī)劃團(tuán)隊(duì)也通常需要在同一地點(diǎn)進(jìn)行設(shè)計(jì)及測試。隨著電動(dòng)車和混合動(dòng)力車型的整合，使得這個(gè)過程變得更加復(fù)雜，因?yàn)樵黾恿烁鞣N新的零部件和流程。但在數(shù)字孿生工廠中，不同地點(diǎn)的規(guī)劃專家可以使用Omniverse平臺進(jìn)行實(shí)時(shí)測試和調(diào)整生產(chǎn)線設(shè)計(jì)，打破了時(shí)間、空間和人員規(guī)劃上的限制�；�于數(shù)字孿生實(shí)時(shí)內(nèi)容驅(qū)動(dòng)的布局和流程的評估，加快了整體實(shí)驗(yàn)和決策的過程，運(yùn)行成本也大大降低。

02零售：勞氏集團(tuán)

勞氏集團(tuán)是美國第二大家居裝修零售集團(tuán)，也開始利用數(shù)字孿生和人工智能進(jìn)行零售門店的規(guī)劃。不對店鋪進(jìn)行任何改變，便可測試和驗(yàn)證數(shù)千種產(chǎn)品的布局，通過Omniverse用以往無法實(shí)現(xiàn)的方式將店鋪數(shù)據(jù)整合到一起。同時(shí)使店員和規(guī)劃者能夠?qū)崟r(shí)協(xié)作，了解銷售業(yè)績，并識別異常情況。

數(shù)字孿生技術(shù)還可以捕獲客戶的購物數(shù)據(jù)，以便改善店鋪的布局，提供更好的購物體驗(yàn)。

比如用Omniverse進(jìn)行三維可視化模擬，將之前獨(dú)立的數(shù)據(jù)整合起來，并挖掘它們之間的聯(lián)系。同時(shí)，還可以模擬店鋪的流量，作為AI模型的訓(xùn)練數(shù)據(jù)。通過現(xiàn)實(shí)的3D掃描設(shè)備，將實(shí)際的裝修物料應(yīng)用到虛擬的廚房或浴室中進(jìn)行沉浸式體驗(yàn)。利用增強(qiáng)現(xiàn)實(shí)設(shè)備，可以看到銷售業(yè)績和客戶流量，以及顧客的動(dòng)線。

03交通運(yùn)輸：德國鐵路局

通過單一的真實(shí)數(shù)據(jù)源，數(shù)字孿生可以用于檢測和實(shí)驗(yàn)整個(gè)鐵路線網(wǎng)的網(wǎng)絡(luò)，實(shí)現(xiàn)車輛和鐵路的持續(xù)改進(jìn)，最大程度地提高運(yùn)行效率和速度，降低運(yùn)營成本。

目前德國鐵路局?jǐn)?shù)字孿生的鐵路線網(wǎng)已經(jīng)覆蓋5700座車站和33000公里的鐵路線網(wǎng)。除了仿真之外，數(shù)字孿生系統(tǒng)還為訓(xùn)練完全自動(dòng)化的鐵路系統(tǒng)AI模型提供了很好的環(huán)境。

數(shù)字孿生基站可以與現(xiàn)實(shí)世界的火車和鐵路連網(wǎng)進(jìn)行同步。如果火車上的相機(jī)或激光雷達(dá)傳感器檢測到了潛在危險(xiǎn)，其精確位置可以迅速傳遞給網(wǎng)絡(luò)中的其它火車，防止發(fā)生碰撞或擁堵。如果站點(diǎn)AI計(jì)算機(jī)視覺相機(jī)注意到任何異常，也可以觸發(fā)事件來通知工作人員。同時(shí)，智能傳感器在現(xiàn)實(shí)世界和由Omniverse Replicator生成的合成數(shù)據(jù)組合上進(jìn)行訓(xùn)練和優(yōu)化，確保AI模型在任何情景下都能夠感知、規(guī)劃和運(yùn)行。

04倉儲物流：亞馬遜機(jī)器人

作為全球最大的電商平臺之一，亞馬遜擁有超過200個(gè)配送中心，每天要處理數(shù)千萬個(gè)包裹，需要超過50萬臺移動(dòng)機(jī)器人來支持整個(gè)倉庫的物流系統(tǒng)運(yùn)轉(zhuǎn)。

亞馬遜機(jī)器人也在利用NVIDIA Omniverse構(gòu)筑倉儲中心的數(shù)字中心，優(yōu)化倉庫的設(shè)計(jì)和流程，訓(xùn)練更加智能的機(jī)器人助手，以提高整體生產(chǎn)力。

在將各種不同的機(jī)器人深入到各種倉儲中心之前，就可以通過數(shù)字孿生對各種軟硬件的配置進(jìn)行驗(yàn)證，避免真實(shí)系統(tǒng)的宕機(jī)失效，最大化整體運(yùn)行效率。此外，數(shù)字孿生系統(tǒng)還可以生成不同形狀、大小、重量的包裹來訓(xùn)練和檢驗(yàn)自動(dòng)分揀的效果。

亞馬遜機(jī)器人管理了全球最大規(guī)模的移動(dòng)機(jī)器人編隊(duì)，以往無法將3D數(shù)據(jù)匯集到統(tǒng)一的管道和訓(xùn)練模型中，且沒有足夠精確的采集數(shù)據(jù)來支撐AI模型的訓(xùn)練和感知。通過數(shù)字孿生可以將多個(gè)不同CAD應(yīng)用程序的數(shù)據(jù)集中到高保真度的倉儲中心數(shù)字孿生系統(tǒng)中心，通過數(shù)字仿真了解整體倉庫的性能優(yōu)化、整體設(shè)計(jì)，通過合成數(shù)據(jù)的生成來提升感知模型的訓(xùn)練精度，從而縮短運(yùn)行時(shí)間。

05 能源：西門子集團(tuán)

西門子能源在全球600多個(gè)回?zé)徨仩t的廠房檢修管道腐蝕，如果能夠?qū)⒐艿栏�蝕厚度減小的宕機(jī)維修時(shí)間縮短10%，每年就可以節(jié)省約17億美金。

預(yù)測整體的管道腐蝕情況，通常需要8周的計(jì)算時(shí)間，這是傳統(tǒng)HPC高性能計(jì)算的運(yùn)算時(shí)間。而通過數(shù)字孿生技術(shù)，包括Omniverse的數(shù)字仿真，以及Modulus數(shù)字物理模擬仿真，可以將整個(gè)管道腐蝕預(yù)測時(shí)間縮短到小時(shí)級別。

2022年NVIDIA宣布進(jìn)一步擴(kuò)展和西門子的合作伙伴關(guān)系，將西門子Xcelerator和NVIDIA的Omniverse平臺連接起來，共同打造工業(yè)元宇宙。

西門子是工業(yè)自動(dòng)化軟件基礎(chǔ)設(shè)施、建筑技術(shù)和交通領(lǐng)域的領(lǐng)先者，結(jié)合NVIDIA在加速圖形和人工智能領(lǐng)域的成果，將為用戶帶來生產(chǎn)和產(chǎn)品全生命周期的效率、生產(chǎn)力以及流程等優(yōu)化提升。

此外，NVIDIA還透露，一直都在積極推進(jìn)和中國品牌的合作，國內(nèi)幾家知名車企已經(jīng)進(jìn)入到Omniverse的部署階段。

03

未來數(shù)字孿生還將引入哪些新技術(shù)？

NVIDIA表示，首先增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)等技術(shù)。通過AR、MR等設(shè)備，可以讓每個(gè)人沉浸式地體驗(yàn)數(shù)字孿生世界。

其次是生成式AI的引入。通過AI技術(shù)在數(shù)字孿生系統(tǒng)中，生成低成本、高效、高保真度、高精度的3D資產(chǎn)，將是未來的技術(shù)方向之一。

最后，基于大型語言模型的應(yīng)用，也為可交付式元宇宙的應(yīng)用提供支持，顛覆以往需要利用CAD軟件或者編寫代碼、圖形界面等操作，替換為通過自然語言的交互就可以完成數(shù)字孿生系統(tǒng)的生產(chǎn)或運(yùn)行。

結(jié)語：

不難看出，NVIDIA一直保持著自己的節(jié)奏，有條不紊地推進(jìn)元宇宙的相關(guān)布局，不斷完善著行業(yè)的基礎(chǔ)建設(shè)。

NVIDIA表示，在人工智能、SDR深度學(xué)習(xí)等方面，其前期的CUDA語言建設(shè)其實(shí)早在2008年便已開始，“基礎(chǔ)建設(shè)一定是要走在行業(yè)應(yīng)用前面的。我們對元宇宙依然充滿了熱情和信心，還是會繼續(xù)完善基礎(chǔ)建設(shè)。未來相信整個(gè)生態(tài)都會群策群力，尋找到元宇宙真正能夠創(chuàng)造價(jià)值的方式和落地的方向。”

而他們的關(guān)注點(diǎn)在于：連接，模擬仿真，對現(xiàn)實(shí)世界的運(yùn)維、交互，以及數(shù)字世界和現(xiàn)實(shí)世界的運(yùn)維、交互。NVIDIA的一切技術(shù)都圍繞這些展開，然后去解決不同行業(yè)的痛點(diǎn)，“只要有痛點(diǎn)存在，就有需求和市場空間在，我們做的事情從未停下來。”

END

圖 | NVIDIA

       原文標(biāo)題 : 元宇宙和大模型都離不開NVIDIA