2019年5月27日，NVIDIA宣布推出NVIDIA EGX加速計(jì)算平臺(tái)，能夠幫助企業(yè)在邊緣（edge）實(shí)現(xiàn)低延遲的人工智能，即基于5G基站、倉(cāng)庫(kù)、零售商店、工廠及其他地點(diǎn)之間的連續(xù)的數(shù)據(jù)流實(shí)現(xiàn)實(shí)時(shí)感知、理解和執(zhí)行。

NVIDIA EGX旨在滿足對(duì)即時(shí)、高吞吐量的邊緣人工智能，即數(shù)據(jù)產(chǎn)生之處不斷增長(zhǎng)的需求，在確保反饋時(shí)間的同時(shí)能夠減少需要發(fā)送至云端的數(shù)據(jù)量。

2025年，預(yù)計(jì)將會(huì)有1500億臺(tái)機(jī)器傳感器和物聯(lián)網(wǎng)設(shè)備持續(xù)輸出數(shù)據(jù)[1]，這比當(dāng)今使用智能手機(jī)的個(gè)人用戶所產(chǎn)生的數(shù)據(jù)要高出幾個(gè)數(shù)量級(jí)。像基于NVIDIA EGX平臺(tái)這樣的邊緣服務(wù)器將分布在全球各地，對(duì)來(lái)自這些傳感器的數(shù)據(jù)進(jìn)行實(shí)時(shí)處理。

NVIDIA副總裁兼企業(yè)與邊緣計(jì)算總經(jīng)理Bob Pette表示： “企業(yè)需要更加強(qiáng)大的邊緣計(jì)算能力，以處理來(lái)自于與客戶和設(shè)施的無(wú)數(shù)交互中產(chǎn)生的海量原始數(shù)據(jù)，從而快速制定人工智能增強(qiáng)型決策以驅(qū)動(dòng)業(yè)務(wù)發(fā)展。像NVIDIA EGX這樣具有可擴(kuò)展性的平臺(tái)讓他們能夠輕松地部署系統(tǒng)，以滿足本地或云端的需求” 。

可擴(kuò)展性

EGX可從僅需幾瓦就能為圖像識(shí)別等任務(wù)提供0.5 TOPS處理性能的小巧NVIDIA Jetson Nano，一直擴(kuò)展至可為實(shí)時(shí)語(yǔ)音識(shí)別和其他實(shí)時(shí)人工智能任務(wù)提供10，000 TOPS性能的整機(jī)架NVIDIA T4服務(wù)器。

企業(yè)級(jí)

NVIDIA已與紅帽開展合作，利用領(lǐng)先的企業(yè)級(jí)Kubernetes容器編排平臺(tái)OpenShift對(duì)NVIDIA Edge Stack進(jìn)行集成和優(yōu)化。

NVIDIA Edge Stack是優(yōu)化型軟件堆棧，包括NVIDIA驅(qū)動(dòng)程序、CUDA Kubernetes插件、CUDA容器運(yùn)行時(shí)、CUDA-X庫(kù)和容器化人工智能框架及應(yīng)用程序，并包括TensorRT、TensorRT推理服務(wù)器和DeepStream。NVIDIA Edge Stack針對(duì)經(jīng)認(rèn)證的服務(wù)器進(jìn)行了優(yōu)化，可通過NVIDIA NGC注冊(cè)下載。

紅帽首席技術(shù)官Chris Wright表示：“紅帽致力于為從混合云到邊緣的任何工作負(fù)載、封裝和位置提供一致的體驗(yàn)。通過將紅帽O(jiān)penShift和支持NVIDIA EGX的平臺(tái)相結(jié)合，客戶能夠在一致、高性能、以容器為中心的環(huán)境中更好地優(yōu)化其分布式操作�！�

“把云放進(jìn)以一個(gè)盒子里”的本地部署AI

EGX將一系列的NVIDIA人工智能計(jì)算技術(shù)與紅帽O(jiān)penShift相結(jié)合，并將NVIDIA Edge Stack與Mellanox和思科的安全、網(wǎng)絡(luò)和存儲(chǔ)技術(shù)相結(jié)合，以助力制造、零售、醫(yī)療健康和交通運(yùn)輸?shù)却笮彤a(chǎn)業(yè)內(nèi)的公司快速建立最先進(jìn)且安全的企業(yè)級(jí)人工智能基礎(chǔ)設(shè)施。

Mellanox Technologies首席技術(shù)官M(fèi)ichael Kagan表示：“Mellanox Smart NICs 和交換機(jī)為數(shù)據(jù)訪問提供了理想的I/O連接，可實(shí)現(xiàn)邊緣乃至超大規(guī)模數(shù)據(jù)中心的數(shù)據(jù)訪問。高性能、低延遲和加速網(wǎng)絡(luò)的組合實(shí)現(xiàn)了一種全新的基礎(chǔ)架構(gòu)計(jì)算層，其對(duì)于NVIDIA EGX等邊緣平臺(tái)上的新一代更先進(jìn)的人工智能解決方案所需的高效數(shù)據(jù)訪問和供給至關(guān)重要。”

思科計(jì)算系統(tǒng)副總裁Kaustubh Das 表示：“思科很高興與NVIDIA合作。借助NVIDIA EGX賦力的思科平臺(tái)，和思科計(jì)算、結(jié)構(gòu)、存儲(chǔ)和管理軟件，以及思科領(lǐng)先的以太網(wǎng)和基于IP的網(wǎng)絡(luò)技術(shù)，我們能夠?yàn)榭蛻籼峁�從邊緣到核心的全棧解決方案�！�

實(shí)現(xiàn)混合云和多云物聯(lián)網(wǎng)

NVIDIA人工智能計(jì)算通過主要的云服務(wù)平臺(tái)提供，在架構(gòu)上與NVIDIA EGX兼容。在云端開發(fā)的人工智能應(yīng)用程序可在NVIDIA EGX上運(yùn)行，反之亦然。NVIDIA Edge Stack可連接至主要的云IoT服務(wù)，客戶可通過AWS IoT Greengrass和Microsoft Azure IoT Edge對(duì)其服務(wù)進(jìn)行遠(yuǎn)程管理。

Azure IoT Edge總監(jiān)Sam George表示：“Azure IoT Edge可助力客戶快速、安全地將云服務(wù)部署至其物聯(lián)網(wǎng)設(shè)備。我們期待在Azure IoT Edge設(shè)備端提供對(duì)NVIDIA EGX邊緣平臺(tái)的支持，以便客戶針對(duì)兼容EGX的硬件進(jìn)行人工智能工作負(fù)載的部署�！�

來(lái)自于開發(fā)者的廣泛支持

NVIDIA EGX正致力于優(yōu)化邊緣人工智能，以支持不斷成長(zhǎng)的軟件解決方案生態(tài)系統(tǒng)。

這些解決方案包括AnyVision、DeepVision、IronYun和碼隆科技等軟件供應(yīng)商推出的適用于大型零售連鎖店和城市智能等視頻分析應(yīng)用程序，以及圖瑪深維、推想科技、Qunatib和Subtle Medical等公司針對(duì)醫(yī)療健康領(lǐng)域的軟件產(chǎn)品。

全球頂級(jí)計(jì)算機(jī)制造商紛紛采用

EGX服務(wù)器現(xiàn)已通過以下全球企業(yè)級(jí)計(jì)算提供商供貨：ATOS、思科、戴爾EMC、富士通、HPE、浪潮和聯(lián)想。此外，也通過以下主要服務(wù)器和IoT系統(tǒng)制造商供貨：Abaco、宏碁、凌華科技、研華科技、ASRock Rack、華碩、圓剛科技、Cloudian、Connect Tech、Curtiss-Wright、技嘉科技、Leetop、米文動(dòng)力、Musashi Seimitsu、QCT、中科曙光、超微、泰安、WiBase和緯穎科技。

NVIDIA EGX服務(wù)器針對(duì)NVIDIA Edge Stack和NGC-Ready進(jìn)行了調(diào)優(yōu)，經(jīng)過CUDA加速容器的驗(yàn)證。

來(lái)自于40多家企業(yè)組織的廣泛支持

率先采用該平臺(tái)的行業(yè)領(lǐng)先企業(yè)及組織已超過40家。

其中就包括BMW Group Logistics。借助于NVIDIA EGX邊緣計(jì)算和Isaac機(jī)器人平臺(tái)，其能夠?qū)⑷斯ぶ悄艿膹?qiáng)大功能直接帶入到其物流流程的邊緣，為日益復(fù)雜的物流提供實(shí)時(shí)效率。

其它采用EGX的行業(yè)領(lǐng)導(dǎo)者還包括：

“富士康PC生產(chǎn)線受限于當(dāng)前的手動(dòng)檢測(cè)速度，每個(gè)零件檢測(cè)需4秒鐘。我們的目標(biāo)是使用NVIDIA EGX平臺(tái)將PC生產(chǎn)線的吞吐量提高40％以上，在邊緣實(shí)現(xiàn)實(shí)時(shí)智能決策。我們的模型使用運(yùn)行于NVIDIA GPU上的快速神經(jīng)網(wǎng)絡(luò)，可對(duì)16種缺陷類型和位置進(jìn)行檢測(cè)和分類，在實(shí)現(xiàn)非凡的吞吐率的同時(shí)確保98％的準(zhǔn)確率�！�

—富士康 D Group總經(jīng)理Mark Chien

“人工智能是實(shí)現(xiàn)精準(zhǔn)健康的基礎(chǔ)，必須從云端至邊緣全覆蓋，且能夠在醫(yī)療設(shè)備上直接使用。借助NVIDIA EGX，GE Healthcare能夠通過將NVIDIA T4 GPU直接嵌入到我們的醫(yī)療設(shè)備中，進(jìn)而實(shí)現(xiàn)快速的MR采集，提高圖像質(zhì)量并降低可變性——所有這些都是為了進(jìn)一步提升患者治療效果。實(shí)時(shí)重癥監(jiān)護(hù)需要邊緣人工智能。這就是我們創(chuàng)建Edison智能產(chǎn)品并與NVIDIA合作將人工智能引入我們的醫(yī)療設(shè)備和Edison邊緣應(yīng)用，以及我們與ACR AI-LAB合作以實(shí)現(xiàn)人工智能大眾化的原因。”

—GE Healthcare MR應(yīng)用總經(jīng)理Jason Polzin博士

“醫(yī)院越來(lái)越多地采用人工智能來(lái)預(yù)測(cè)患者的健康風(fēng)險(xiǎn)，為臨床決策制定提供支持并提高運(yùn)作效率。但這些人工智能應(yīng)用程序有賴于患者數(shù)據(jù)。NVIDIA EGX人工智能邊緣計(jì)算平臺(tái)為醫(yī)院提供了簡(jiǎn)易的人工智能基礎(chǔ)設(shè)施，能夠保護(hù)患者數(shù)據(jù)安全，實(shí)現(xiàn)實(shí)時(shí)人工智能，并擴(kuò)展至成千上萬(wàn)的人工智能應(yīng)用程序，進(jìn)而改善患者護(hù)理方式并降低護(hù)理成本。”

—Partners Healthcare首席數(shù)據(jù)科學(xué)官、哈佛醫(yī)學(xué)院放射學(xué)副教授Keith Dreyer博士

“希捷在制造工廠部署了基于GPU的智能邊緣視覺解決方案，以對(duì)硬盤讀寫磁頭的質(zhì)量進(jìn)行檢測(cè)。NVIDIA EGX平臺(tái)能夠在邊緣實(shí)現(xiàn)推理的大幅加速，使我們能夠看到過去人類操作員無(wú)法看到的細(xì)微缺陷。我們希望通過更高的效率和質(zhì)量，實(shí)現(xiàn)高達(dá)10％的制造吞吐量提升和高達(dá)300％的投資回報(bào)率�！�

— 希捷科技高級(jí)首席數(shù)據(jù)科學(xué)家Bruce King