前言：

GTC 2023上，英偉達(dá)創(chuàng)始人兼CEO黃仁勛提出全新概念：[我們正處于A(yíng)I的iPhone時(shí)刻。]

黃仁勛所謂AI的iPhone時(shí)刻，即AI技術(shù)正在迎來(lái)爆發(fā)式增長(zhǎng)，將成為數(shù)十年來(lái)最有前途的技術(shù)領(lǐng)域之一。

正如此前的互聯(lián)網(wǎng)一樣，生成式AI也將重塑每個(gè)行業(yè)。

作者 | 方文三

圖片來(lái)源 |  網(wǎng) 絡(luò) 

老黃向AI企業(yè)喊話(huà)：A100芯片是大模型必備

由OpenAI公司開(kāi)發(fā)并風(fēng)靡全球的對(duì)話(huà)機(jī)器人ChatGPT，其背后所依賴(lài)的GPT-3.5模型是在搭載英偉達(dá)A100芯片的計(jì)算系統(tǒng)上訓(xùn)練而來(lái)的。

對(duì)于研究大型語(yǔ)言模型的公司來(lái)說(shuō)，算力是其中最重要的一環(huán)，AI大模型的推理和訓(xùn)練高度依賴(lài)英偉達(dá)的GPU芯片。

缺少芯片會(huì)導(dǎo)致算力不足，計(jì)算能力不足意味著無(wú)法處理龐大的模型和數(shù)據(jù)量，最終的結(jié)果是模型存在智商差距。

鑒于英偉達(dá)在高性能GPU方面的技術(shù)領(lǐng)先地位，一些云計(jì)算專(zhuān)業(yè)人士認(rèn)為，1萬(wàn)顆英偉達(dá)A100芯片是一個(gè)好的AI模型的算力門(mén)檻。

而微軟為OpenAI構(gòu)建的用于訓(xùn)練其模型的AI超級(jí)計(jì)算機(jī)就配備了1萬(wàn)顆英偉達(dá)的GPU芯片。

市場(chǎng)研究公司TrendForce在一份報(bào)告中計(jì)算得出，要處理1800億參數(shù)的GPT-3.5大型模型，需要的GPU芯片數(shù)量高達(dá)2萬(wàn)顆，未來(lái)GPT大模型商業(yè)化所需的GPU芯片數(shù)量甚至?xí)�超過(guò)3萬(wàn)顆。

據(jù)英偉達(dá)官方介紹，用8000片A100芯片訓(xùn)練具有3950億個(gè)參數(shù)的多專(zhuān)家模型（MoE）需要7天，但使用8000片H100芯片可以將訓(xùn)練時(shí)間縮短到20小時(shí)，速度提升9倍。

換言之，H100將大語(yǔ)言模型的處理成本降低了一個(gè)量級(jí)。

在GTC大會(huì)上，英偉達(dá)還發(fā)布了全新的GPU推理平臺(tái)，包括4種不同配置，針對(duì)不同工作負(fù)載進(jìn)行優(yōu)化。

分別對(duì)應(yīng)了AI視頻加速、圖像生成加速、大語(yǔ)言模型（LLM）加速和推薦系統(tǒng)和LLM數(shù)據(jù)庫(kù)，包括L4 Tensor Core GPU、L40 GPU、H100 NVL GPU和Grace Hopper超級(jí)芯片。

GPU通用計(jì)算加速的又一方向

黃仁勛帶來(lái)的另一項(xiàng)革命性技術(shù)，也關(guān)乎英偉達(dá)自身的產(chǎn)品研發(fā)，是一項(xiàng)聚焦先進(jìn)芯片設(shè)計(jì)制造的技術(shù)：英偉達(dá)cuLitho計(jì)算光刻庫(kù)。

它可以通過(guò)計(jì)算技術(shù)大幅優(yōu)化芯片制造流程，利用GPU技術(shù)實(shí)現(xiàn)計(jì)算光刻，可以使傳統(tǒng)光刻技術(shù)提速40倍以上，為2nm及更先進(jìn)芯片的生產(chǎn)提供助力。

按照過(guò)去15年的趨勢(shì)，如果某個(gè)foundry（集成電路代工廠(chǎng)）現(xiàn)有3座數(shù)據(jù)中心，那么未來(lái)10年內(nèi)就要100座這樣的數(shù)據(jù)中心。

功耗方面，45兆瓦可能還能接受，但如果是45千兆瓦，問(wèn)題就比較大了。

包含于計(jì)算光刻中的OPC（光學(xué)臨近效應(yīng)修正）含有大量矩陣乘法運(yùn)算，這種運(yùn)算很適用于GPU加速。

計(jì)算光刻也是GPU通用計(jì)算加速的某個(gè)應(yīng)用方向，站在這個(gè)角度看，就不難理解英偉達(dá)發(fā)布cuLith加速庫(kù)了。

借助cuLitho，臺(tái)積電可以縮短原型周期時(shí)間，提高晶圓產(chǎn)量，減少芯片制造過(guò)程中的能耗，并為2nm及以上的生產(chǎn)做好準(zhǔn)備。

臺(tái)積電將于6月開(kāi)始對(duì)cuLitho進(jìn)行生產(chǎn)資格認(rèn)證，并會(huì)在2024年對(duì)2納米制程開(kāi)始風(fēng)險(xiǎn)性試產(chǎn)，2025年開(kāi)始量產(chǎn)。

算力云化趨勢(shì)不改

云計(jì)算實(shí)現(xiàn)了計(jì)算的服務(wù)化，而AI對(duì)算力的需求更大，巨量的云端算力勢(shì)在必行。

硬件廠(chǎng)商的AIGC軟硬結(jié)合生態(tài)初顯雛形，公司預(yù)計(jì)英偉達(dá) DGX Cloud有望通過(guò)云端服務(wù)加速?gòu)?qiáng)算力硬件及AI應(yīng)用軟件向下游商業(yè)公司滲透。

英偉達(dá) DGX Cloud是一項(xiàng)人工智能超級(jí)計(jì)算服務(wù)，它可以讓企業(yè)快速訪(fǎng)問(wèn)為生成式人工智能和其他開(kāi)創(chuàng)性應(yīng)用訓(xùn)練高級(jí)模型所需的基礎(chǔ)設(shè)施和軟件。

英偉達(dá) DGX Cloud提供英偉達(dá) DGX AI超級(jí)計(jì)算專(zhuān)用集群，每個(gè)DGX Cloud中都集成了8個(gè)英偉達(dá) H100或A100 80GB Tensor Core的GPU，每個(gè)節(jié)點(diǎn)合計(jì)有640GB的GPU，這個(gè)巨大的GPU可以滿(mǎn)足高級(jí)AI訓(xùn)練的性能要求。

押注未來(lái)，不止AI

經(jīng)典計(jì)算以晶體管為計(jì)算單元，通過(guò)提高芯片上的晶體管密度來(lái)提高算力，但晶體管的密度不能無(wú)限大，因此經(jīng)典計(jì)算算力有限。

而量子計(jì)算則可以利用量子疊加態(tài)來(lái)提供量子并行性，一次性完成所有計(jì)算，并從中舉出最優(yōu)方案。

英偉達(dá) DGX Quantum是全球首個(gè)GPU加速的量子計(jì)算系統(tǒng)，可以實(shí)現(xiàn)GPU和量子處理單元（QPU）之間的亞微秒級(jí)延遲。

該產(chǎn)品結(jié)合了通用量子控制系統(tǒng)Quantum Machines OPX+和英偉達(dá) Grace Hopper超級(jí)芯片，這個(gè)平臺(tái)可以為高性能和低延遲量子經(jīng)典計(jì)算的研究人員提供了一種革命性的新架構(gòu)。

這是首個(gè)結(jié)合GPU和量子計(jì)算的系統(tǒng)，其中最主要的是H100 NVL，它將英偉達(dá)的兩個(gè)H100 GPU拼接在一起，以部署像ChatGPT這樣的大型語(yǔ)言模型（LLM）。

與前者相比，現(xiàn)在一臺(tái)搭載四對(duì)H100和雙NVLINK的標(biāo)準(zhǔn)服務(wù)器速度能快10倍，可以將大語(yǔ)言模型的處理成本降低一個(gè)數(shù)量級(jí)。

英偉達(dá)靠AI賺得盆滿(mǎn)缽滿(mǎn)

1993年創(chuàng)立的英偉達(dá)發(fā)明了全球第一塊GPU，人們當(dāng)時(shí)想不到，它在2016年之后促使人工智能發(fā)生了飛躍性的變化。

在OpenAI的ChatGPT與谷歌的Bard爭(zhēng)得不可開(kāi)交的情況下，作為AI淘金潮中的賣(mài)水工，英偉達(dá)可謂是賺得盆滿(mǎn)缽滿(mǎn)。

生成式AI的快速發(fā)展帶動(dòng)了對(duì)算力需求急劇增長(zhǎng)，尤其是大型語(yǔ)言模型（LLM）需要規(guī)模龐大的算力。

而英偉達(dá)正好是AI算力的主要提供商。在數(shù)據(jù)中心GPU領(lǐng)域，英偉達(dá)市占率常年穩(wěn)定在80%附近。

由于人工智能領(lǐng)域的算力需求約每3.5個(gè)月翻一倍，所以導(dǎo)致英偉達(dá)芯片常年供不應(yīng)求。

英偉達(dá)數(shù)據(jù)中心業(yè)務(wù)在2022年第四季度為公司帶來(lái)了60.5億美元的收入中的36.2億美元。

這也意味著，提供A100等芯片的數(shù)據(jù)中心業(yè)務(wù)已經(jīng)在上個(gè)季度為英偉達(dá)貢獻(xiàn)了近六成的收入，與此同時(shí)，英偉達(dá)股價(jià)今年以來(lái)更是狂漲79%。

英偉達(dá)最新股價(jià)截圖，截至最新收盤(pán)總市值6471億美元。

公開(kāi)數(shù)據(jù)顯示，英偉達(dá)數(shù)據(jù)中心業(yè)務(wù)在2023年Q1正式超越游戲業(yè)務(wù)成為第一大業(yè)務(wù)。

其2023財(cái)年Q3財(cái)報(bào)顯示，數(shù)據(jù)中心業(yè)務(wù)同比增長(zhǎng)31%，達(dá)到38億美元，而游戲業(yè)務(wù)收入下降51%至16億美元。

自今年以來(lái)，英偉達(dá)股價(jià)漲幅已超80%。

結(jié)尾：

水瓶座的黃仁勛善于解決問(wèn)題并擁有獨(dú)特的洞察力，能夠看到問(wèn)題的本質(zhì)，從而找到創(chuàng)新的解決方案。

這種創(chuàng)新精神使得水瓶座的人在科技行業(yè)表現(xiàn)出色，具有的獨(dú)特思維方式和領(lǐng)導(dǎo)能力，將英偉達(dá)帶來(lái)了新的創(chuàng)新和發(fā)展機(jī)遇。

今年以來(lái)，量子計(jì)算+人工智能的交叉研究越來(lái)越多，隨著英偉達(dá)此次在GTC大會(huì)上更新GPU、入局量子計(jì)算，二者融合將進(jìn)一步加快。

不過(guò)，其野心不止于此，通過(guò)押注量子計(jì)算，這表明英偉達(dá)不僅看好量子計(jì)算的未來(lái)發(fā)展，而且想在下一個(gè)量子計(jì)算時(shí)代延續(xù)優(yōu)勢(shì)，為用戶(hù)提供算力支持。

       原文標(biāo)題 : AI芯天下丨熱點(diǎn)丨GTC 2023-黃仁勛:AI的iPhone時(shí)刻已經(jīng)到來(lái)