文 | 曾響鈴

來(lái)源 | 科技向令說(shuō)

用文字描述“一個(gè)女人打著紅色的雨傘在路上走”,系統(tǒng)呈現(xiàn)出一張唯美的街拍;

有一張飛機(jī)起飛的照片,想配上一段適合的聲音,上傳圖片后,一段發(fā)動(dòng)機(jī)呼嘯聲的音頻播放出來(lái);

把淅淅瀝瀝的下雨聲導(dǎo)入進(jìn)去,江南水鄉(xiāng)老宅的氤氳雨景圖展現(xiàn)在了眼前……

這些,是已經(jīng)實(shí)現(xiàn)了的多模態(tài)AI應(yīng)用,橫貫文字、圖像、語(yǔ)音,在初級(jí)應(yīng)用功能上就已經(jīng)展現(xiàn)出相比單模態(tài)更智能、更自然、更多樣化的魅力,其前景被普遍關(guān)注,只不過(guò)很長(zhǎng)一段時(shí)間以來(lái),多模態(tài)的發(fā)展速度一直不算快。

現(xiàn)在,事情正在發(fā)生變化。

在華為全聯(lián)接2021期間,中國(guó)科學(xué)技術(shù)信息研究所、AITISA(新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟)和鵬城實(shí)驗(yàn)室聯(lián)合了發(fā)布《人工智能計(jì)算中心發(fā)展白皮書(shū)2．0——從人工智能計(jì)算中心走向人工智能算力網(wǎng)絡(luò)》,其中明確提到了以“大算力+大數(shù)據(jù)”使能大模型(多模態(tài)多樣化的能力一般都由大模型才能更好的實(shí)現(xiàn),或者說(shuō)多模態(tài)的形式表現(xiàn)為大模型)。會(huì)上,中國(guó)科學(xué)院自動(dòng)化研究所發(fā)布了全球首個(gè)三模態(tài)大模型紫東．太初,這無(wú)疑讓多模態(tài)的發(fā)展進(jìn)入了一個(gè)全新的落地階段。

多模態(tài)大模型,正在與人工智能算力網(wǎng)絡(luò)互相促進(jìn),成為彼此的最佳伴行者。

多重因素下,多模態(tài)大模型已成大勢(shì)所趨

隨著AI的技術(shù)和產(chǎn)業(yè)發(fā)展逐步走向深入,多模態(tài)大模型的趨勢(shì)十分明朗,這主要表現(xiàn)在三個(gè)方面:

首先,是AI自身的能力進(jìn)化要求。

在單模態(tài)領(lǐng)域,例如歸屬NLP的跨語(yǔ)種翻譯這類(lèi)應(yīng)用,機(jī)器可以說(shuō)早已超越人類(lèi),實(shí)現(xiàn)了重要的技術(shù)和產(chǎn)業(yè)價(jià)值,如果要進(jìn)一步往前走,多模態(tài)自然而然就成為AI技術(shù)和產(chǎn)業(yè)突圍的新方向。與此同時(shí),單模態(tài)本身也面臨“知識(shí)冰山”的瓶頸問(wèn)題,進(jìn)一步智能化也需要大模型來(lái)支撐,例如對(duì)“老王去吃食堂”的理解,單純的文字?jǐn)?shù)據(jù)很難讓AI辨別“吃食堂”不是把食堂吃掉而是“到食堂吃飯”,但一張場(chǎng)景圖片或視頻就可以很容易解釋清楚并關(guān)聯(lián)起來(lái)。

然后,是“數(shù)據(jù)”供給的要求。

數(shù)據(jù)是AI發(fā)展的根本、是AI的“食物”,在全球范圍內(nèi),包括中國(guó)市場(chǎng)上,互聯(lián)網(wǎng)的出現(xiàn)幫助AI模型訓(xùn)練的數(shù)據(jù)量越來(lái)越龐大,它們讓AI得到了快速的能量補(bǔ)充。

然而,目前互聯(lián)網(wǎng)音視頻數(shù)據(jù)高速增長(zhǎng),占比超過(guò)80%,單一數(shù)據(jù)類(lèi)型例如文本只占不多的比例,這使得更豐富的語(yǔ)音、圖像、視頻等數(shù)據(jù)并未被充分利用與學(xué)習(xí),以多模態(tài)的方式將更深度、更廣泛地挖掘這些數(shù)據(jù)的價(jià)值,反過(guò)來(lái),大量的各種屬性的數(shù)據(jù)投喂也將推動(dòng)AI擺脫單模態(tài),朝著多模態(tài)大模型不斷前進(jìn)。

最后,是產(chǎn)業(yè)需求的倒逼。

隨著AI逐步落地,產(chǎn)業(yè)需求也在往深處走,更多場(chǎng)景應(yīng)用需要多模態(tài)大模型來(lái)支撐,例如,跨模態(tài)檢索、智能問(wèn)答、文學(xué)藝術(shù)創(chuàng)作、視頻配音、視頻摘要等等。

可以說(shuō),越是在技術(shù)層面將圖像、文字、語(yǔ)音相互融合,一個(gè)應(yīng)用在場(chǎng)景中表現(xiàn)的價(jià)值就越為明顯,也更能讓AI的場(chǎng)景應(yīng)用真正告別常常被詬病的“雞肋”感。

算力、框架、技術(shù)積累三位一體,多模態(tài)大模型加速落地

為什么紫東．太初這樣的多模態(tài)大模型得以實(shí)現(xiàn),原因主要有三大方面,缺一不可:

1、人工智能算力網(wǎng)絡(luò)成為多模態(tài)、大模型的重要推進(jìn)因素

多模態(tài)大模型的一個(gè)重要特征,是訓(xùn)練的參數(shù)規(guī)模呈現(xiàn)指數(shù)級(jí)的上升。

以往的單模態(tài),單一類(lèi)型的數(shù)據(jù)“喂養(yǎng)”幫助AI模型獲取知識(shí)、迭代能力,相對(duì)而言模型本身并不需要太多的參數(shù),就如同小學(xué)生不斷學(xué)習(xí)加減乘除一樣只要理解基本的數(shù)學(xué)規(guī)則一樣。

而當(dāng)不同模態(tài)加入后,一個(gè)可以識(shí)別圖像、文字、語(yǔ)音的通用算法,不僅需要理解單模態(tài)的各種數(shù)據(jù),還需要理解不同數(shù)據(jù)之間極端復(fù)雜的聯(lián)系,模型的參數(shù)發(fā)生膨脹,這就如同專(zhuān)業(yè)的大學(xué)理工科學(xué)習(xí)需要綜合各種學(xué)科知識(shí)進(jìn)行復(fù)雜地算一樣。

這時(shí)候,很顯然,算力就成為最基本的支撐,只有超大規(guī)模的算力才能支撐大模型的訓(xùn)練,才能讓多模態(tài)應(yīng)用有更好的效果。

所以,在提供強(qiáng)大集群化算力的各地人工智能計(jì)算中心基礎(chǔ)上,人工智能算力網(wǎng)絡(luò)的出現(xiàn),進(jìn)一步解決了多模態(tài)大模型的算力需求問(wèn)題,成為重要的推進(jìn)因素。

事實(shí)上,由于大模型的運(yùn)算很多時(shí)候還有波峰波谷的問(wèn)題(即計(jì)算時(shí)算力耗費(fèi)巨大,而不計(jì)算時(shí)則算力閑置),而人工智能算力網(wǎng)絡(luò)又能在全國(guó)范圍內(nèi)感知、分配、調(diào)度人工智能算力,根據(jù)各中心算力資源的情況和各地區(qū)的需求情況進(jìn)行算力動(dòng)態(tài)調(diào)配,雙方的供需關(guān)系除了“量”之外在“節(jié)奏”上也十分契合。

反過(guò)來(lái)看,多模態(tài)大模型的技術(shù)發(fā)展以及在產(chǎn)業(yè)中的應(yīng)用,也將推動(dòng)本身作為各地產(chǎn)業(yè)集群推進(jìn)力量的人工智能算力網(wǎng)絡(luò)更好地發(fā)展,“物盡其用”同時(shí)技術(shù)不斷進(jìn)步,可見(jiàn)二者是相互促進(jìn)的關(guān)系。

2、昇思MindSpore特性推動(dòng)開(kāi)發(fā)加速

由于模型參數(shù)十分龐大,光有算力支撐還不行,多模態(tài)大模型開(kāi)發(fā)所依托的AI框架也需要有承載和利用算力、支持龐大參數(shù)的能力,而這方面,過(guò)去國(guó)內(nèi)外已有的一些主流開(kāi)發(fā)框架都只支持簡(jiǎn)單的數(shù)據(jù)并行,滿足不了大模型的需要。

本次在華為全聯(lián)接2021上發(fā)布的多模態(tài)大模型紫東．太初,就基于昇思框架訓(xùn)練的,這是業(yè)界首個(gè)支持全自動(dòng)并行的框架,全球首個(gè)中文預(yù)訓(xùn)練大模型鵬程．盤(pán)古就出自其手。

昇思框架與多模態(tài)大模型相契合的主要技術(shù)優(yōu)勢(shì)在于,可以在訓(xùn)練過(guò)程中自動(dòng)將模型切分到不同的設(shè)備,并高效地利用龐大的計(jì)算設(shè)備集群來(lái)完成并行訓(xùn)練,相當(dāng)于建立了一套行之有效的中樞指揮系統(tǒng),將計(jì)算任務(wù)以同時(shí)進(jìn)行的方式分配下去,再大的訓(xùn)練任務(wù)也能有條不紊實(shí)現(xiàn)加速,而不是堵塞起來(lái)。

其實(shí)現(xiàn)過(guò)程,是通過(guò)多維度自動(dòng)并行這一獨(dú)特能力來(lái)實(shí)現(xiàn)的——通過(guò)數(shù)據(jù)并行、模型并行、Pipeline并行、異構(gòu)并行、重復(fù)計(jì)算、高效內(nèi)存復(fù)用及拓?fù)涓兄�調(diào)度,降低通信時(shí)間的占用,實(shí)現(xiàn)整體迭代時(shí)間最小,簡(jiǎn)單來(lái)說(shuō)就是通過(guò)一系列技術(shù)創(chuàng)新來(lái)讓并行更有規(guī)模和效率,無(wú)需像其他AI框架一樣半自動(dòng)甚至是手動(dòng)來(lái)完成大模型的并行執(zhí)行開(kāi)發(fā)。

在最新的1．5版本更新中,昇思框架還增加了多種并行調(diào)優(yōu),支持在大集群下高效訓(xùn)練千億至萬(wàn)億參數(shù)模型。

3、已有多模態(tài)大模型相關(guān)經(jīng)驗(yàn)基礎(chǔ)

多模態(tài)能力一定建立在單模態(tài)能力的基礎(chǔ)之上,這是毫無(wú)疑問(wèn)的。此次紫東．太初的開(kāi)發(fā)者即中國(guó)科學(xué)院自動(dòng)化研究所,是昇騰AI的重要生態(tài)伙伴,在發(fā)布紫東．太初之前,中科院自動(dòng)化研究所就已經(jīng)在圖像、語(yǔ)音、文本三個(gè)方面自研了業(yè)界領(lǐng)先的模型:

在此基礎(chǔ)上,中科院自動(dòng)化研究所與昇騰AI攜手,還實(shí)現(xiàn)了一些“前期準(zhǔn)備”能力的構(gòu)建,包括圖文跨模態(tài)理解與生成性能、視頻理解與描述性能的全球領(lǐng)先,這些都成為紫東．太初的重要支撐:

最終可以看到,全球首個(gè)三模態(tài)大模型紫東．太初應(yīng)運(yùn)而生,讓多模態(tài)從常見(jiàn)的兩個(gè)模態(tài)一躍邁入了三模態(tài)時(shí)代,不僅可以實(shí)現(xiàn)跨模態(tài)理解(比如圖像識(shí)別、語(yǔ)音識(shí)別等任務(wù)),也能完成跨模態(tài)生成(比如從文本生成圖像、從圖像生成文本、語(yǔ)音生成圖像和視頻等任務(wù))。

看起來(lái),兩個(gè)模態(tài)與三個(gè)模態(tài)似乎只有數(shù)量的差別,但從技術(shù)上,其實(shí)現(xiàn)難度或與二維世界到三維世界的跨越類(lèi)似,需要大量的技術(shù)積累與創(chuàng)新。而一旦三模態(tài)得以實(shí)現(xiàn),相比較兩模態(tài),AI的交互會(huì)變得更加自然,能夠離強(qiáng)人工智能更近一步。

結(jié)語(yǔ)

多模態(tài)大模型正在加速賦能產(chǎn)業(yè),在開(kāi)源開(kāi)放的大前提下,昇騰AI加持的紫東．太初正在走入智能駕駛、工業(yè)質(zhì)檢、影視創(chuàng)作、智慧醫(yī)療等應(yīng)用場(chǎng)景,合作客戶包括上汽集團(tuán)、魏橋創(chuàng)業(yè)等知名企業(yè),一幅多模態(tài)大模型賦能千行百業(yè)的圖景正在展開(kāi)。

從多模態(tài)大模型的發(fā)展可以看出,未來(lái),隨著人工智能算力網(wǎng)絡(luò)、昇思框架這樣的基礎(chǔ)軟硬件突破性項(xiàng)目的發(fā)展,中國(guó)的AI將實(shí)現(xiàn)從基礎(chǔ)技術(shù)到產(chǎn)業(yè)應(yīng)用的全面領(lǐng)先,憑借技術(shù)和模式創(chuàng)新?lián)碛姓嬲�的�?jìng)爭(zhēng)壁壘。

*本文圖片均來(lái)源于網(wǎng)絡(luò)