自2018年谷歌發(fā)布Bert以來,預訓練大模型以強大的算法效果,席卷了NLP為代表的各大AI榜單與測試數(shù)據(jù)集。隨著產(chǎn)學研各界的深入研究,大模型在AI產(chǎn)學研各界的地位得到不斷加強。到2021年,我們可以看到各大學術機構、科技企業(yè)都在打造自己的大模型,并且將其能力邊界、技術路徑進行了極大拓展。

有人認為,AI大模型的到來讓這項技術完成了從實驗室到工業(yè)化集成的轉變。如果說過去的AI開發(fā)需要手工作坊模式的調(diào)參、調(diào)優(yōu)、數(shù)據(jù)積累,那么大模型則預先集成了海量數(shù)據(jù)的訓練效果,企業(yè)與科研用戶拿到手中就是一個“智力”強大、效果客觀的完成品。于是極大程度節(jié)省了重復開發(fā)成本,降低了開發(fā)門檻。

大模型的價值涌現(xiàn)出來,下一個問題隨之誕生:打造大模型需要人工智能算力、網(wǎng)絡、框架等一系列條件形成有效支撐,才能讓大模型真正“大”起來。大模型能夠持續(xù)發(fā)展的前提,是必須打造強壯的AI根技術,在框架、算力等層面滿足大模型的“建造”需求。

不久之前,中科院自動化所發(fā)布了全球首個三模態(tài)大模型——紫東．太初。

而這項技術成果的背后,是中科院自動化所與華為攜手,利用全場景AI框架MindSpore對大模型開發(fā)進行了一系列支撐。9月25日, 在華為全聯(lián)接2021上,MindSpore中文名“昇思”發(fā)布,同時推出昇思1．5版本。這一版本強化全場景能力、原生支持大模型,并新增AI科學計算新范式,發(fā)布電磁仿真套件和分子模擬套件,促進AI應用于科學計算領域。

我們就借此機會,聊聊大模型如何從昇思1．5中汲取營養(yǎng);持續(xù)打造大模型,需要開發(fā)框架帶來怎樣的根技術支持。

時代的召喚:大模型推動AI之變

預訓練大模型發(fā)展到今天,已經(jīng)經(jīng)歷了三年多的時間。期間最具“出圈”效應的大模型,可能就要屬2020年OpenAI發(fā)布的NLP大模型GPT-3。

GPT-3首次實現(xiàn)了千億級數(shù)據(jù)參數(shù),除了傳統(tǒng)的NLP能力之外,還可以算術、編程、寫小說、寫論文摘要,一時之間成為輿論熱點。GPT-3的出現(xiàn),讓各界看到了大模型的潛力, 也讓中國開發(fā)自己的大模型成為了“時代的召喚”。

從產(chǎn)業(yè)價值上看,預訓練大模型帶來了一系列可能性,讓產(chǎn)學研各界看到了由弱人工智能走向強人工智能;由重復開發(fā)、手工作坊式人工智能,走向工業(yè)化、集成化智能的全新路徑。可以說,大模型是近兩年AI持續(xù)變革的核心動力,也是AI走入千行百業(yè)、各學科領域的關鍵支柱。

于是我們可以看到,中國的科技企業(yè)、學術科研機構紛紛開始加碼大模型,并且在不同路徑上進行探索和嘗試。比如說,Bert和GPT都是NLP領域的大模型,缺乏對圖形圖像數(shù)據(jù)與多模態(tài)數(shù)據(jù)的處理能力。因此,多模態(tài)大模型成為了重要的研究方向。集成語音、文本、圖像、視頻等各個模態(tài)信息的處理模式,也更加貼近人類感知,具有更高的社會價值。

對于產(chǎn)學各界來說,數(shù)據(jù)量大、訓練效果好、網(wǎng)絡拓撲結構緊湊,同時又容易獲取的預訓練大模型,都是未來學術研究、AI開發(fā)、產(chǎn)業(yè)升級的基礎和關鍵。大模型將很有可能改變AI的研究范式,成為不同領域的共性基礎平臺。

中科院自動化所就瞄準這一方向,成功構建了視覺-文本-語音三模態(tài)預訓練模型——紫東．太初。而在其背后,華為提供的昇思1．5框架的能力,成為了打造大模型的利劍。

駛向多模態(tài):紫東．太初的獨特價值

破混沌,開新局,紫東．太初這個極具魄力與東方文化質(zhì)感的名字屬于全球首個三模態(tài)大模型(OPT-Omni-Perception pre Trainer)。它能夠?qū)崿F(xiàn)圖文音語義的統(tǒng)一表達,將視覺、文本、語音三種模態(tài)統(tǒng)一起來,實現(xiàn)以文搜圖,以圖生音等跨模特理解與生成能力,這標志著預訓練模型工作獲得突破性進展。

目前階段,產(chǎn)學研界最多的大模型就是NLP大模型,其次是CV大模型。而多模態(tài)大模型作為新生事物,基本也考慮的是兩個模態(tài)之間的協(xié)同轉化。比如圖像與文本、視頻與文本,并且能力更多是集中在生成或理解中的一項,很少能夠兼顧。

紫東．太初為了解決這些問題,提出了視覺-文本-語音三模態(tài)預訓練模型。通過將視覺、文本、語音不同模態(tài)數(shù)據(jù)各自編碼器,映射到統(tǒng)一語義空間,然后通過多頭自注意力機制(Multi-head Self-attention)學習模態(tài)之間的語義關聯(lián)以及特征對齊,形成多模態(tài)統(tǒng)一知識表示,再利用編碼后的多模態(tài)特征,最終通過解碼器分別生成文本、圖像和語音。經(jīng)過這樣的對齊與轉化,大模型可以更加關注圖-文-音三模態(tài)數(shù)據(jù)之間的關聯(lián)特性以及跨模態(tài)轉換問題,對更廣泛、更多樣的下游任務提供模型基礎支撐。最終,多模態(tài)大模型不僅可以實現(xiàn)跨模態(tài)理解,還能完成跨模態(tài)生成,極大程度提升了學習框架的靈活性,有效降低了多模態(tài)數(shù)據(jù)的收集與清洗成本。

由于三模態(tài)大模型非常接近人類的信息處理方式,其對信息數(shù)據(jù)有非常好的協(xié)同掌握能力,因此可以非常廣泛地應用于產(chǎn)學各領域,孵化出更多新應用。紫東．太初目前已經(jīng)具備全球領先的圖文音跨模態(tài)理解與生成能力,可輕松完成智能問答、圖片生成、視頻理解與等任務,這些能力將在工業(yè)質(zhì)檢、影視創(chuàng)作、互聯(lián)網(wǎng)推薦、智能駕駛等領域廣泛應用。

而面向產(chǎn)業(yè)上游看,我們會發(fā)現(xiàn)紫東．太初的打造,得益于昇騰AI的產(chǎn)業(yè)底座。尤其是昇思對大模型的原生支持,讓大模型具備了快速開發(fā)、精準訓練的“開發(fā)之根”。

根強則AI強:昇思支持大模型時代到來

在MindSpore 全新升級的1．5版本中,我們不僅見到了全新的中文名——昇思,更重要的是見到了昇思新版本對科學研究、AI基礎開發(fā)的全新適配能力,展現(xiàn)了昇騰AI產(chǎn)業(yè)對新銳產(chǎn)學動向的洞察和滿足。

在科研工作中,AI開發(fā)經(jīng)常是一件成本巨大、容錯率極低的工作。算力、數(shù)據(jù)、基礎模型和開發(fā)套件都會成為科研工作中的AI開發(fā)難題。面對這些問題,昇思1．5不僅極大提升了對大模型的適配能力,還強化升級了科學計算引擎,全面加強了對學術界、工業(yè)界的AI開發(fā)支持。

在大模型支持方面,昇思1．5版本實現(xiàn)了原生支持大模型,能夠在業(yè)界率先支持全自動并行AI處理。在大模型訓練中,可以同時使用數(shù)據(jù)并行、算子級模型并行、Pipeline 模型并行、優(yōu)化器模型并行、異構并行、重計算、高效內(nèi)存復用多維度、全種類的分布式并行策略;并且原創(chuàng)集群拓撲感知的多維度自動混合并行,實現(xiàn)超大模型自動切分,顯著提升集群加速能力;新的 DNN分布式并行編程范式,可以實現(xiàn)低代碼算法切換,大幅節(jié)省開發(fā)時間。

面對結構復雜、訓練開銷巨大、訓練時間漫長的多模態(tài)大模型,新的昇思特性可以極大提升訓練加速能力,同時減少系統(tǒng)性能優(yōu)化代價,降低代碼開發(fā)工作力,從而綜合性地減少調(diào)試與訓練周期。

在這樣的框架能力升級中,會有更多創(chuàng)新性強、訓練數(shù)據(jù)規(guī)模大的預訓練大模型在昇思的支撐下發(fā)展起來。昇思自然也就名副其實成為了大模型的“根技術”。

目前,基于昇思訓練的大模型除了已經(jīng)發(fā)布的全球首個中文預訓練大模型鵬程．盤古、全球首個三模型預訓練大模型紫東．太初,還有即將發(fā)布的智能遙感大模型、語音大模型等等,可以說昇思框架對大模型支持的能力是業(yè)界首屈一指的。

與此同時,昇思1．5還新增了對外開放機制等諸多新特性,尤其注重在科研創(chuàng)新和應用領域的支持。通過多尺度混合計算和高階混合微分兩大關鍵創(chuàng)新,將原有的 AI 計算引擎升級為 AI 與科學計算的統(tǒng)一引擎,實現(xiàn)融合的統(tǒng)一加速。在此基礎上,未來昇思將面向 8 大科學計算場景推出 MindScience 系列套件。科學計算套件包含業(yè)界領先的數(shù)據(jù)集、基礎模型、預置高精度模型和前后處理工具,可以加速科學行業(yè)應用開發(fā)。

昇思將持續(xù)加強對科研領域AI開發(fā)的支持,尤其是為大模型這種“國之重器”的訓練底座。同時,昇騰社區(qū)和昇思MindSpore社區(qū)也會加強對大模型開源開放的支持。目前,昇思社區(qū)下載量已經(jīng)突破60萬,社區(qū)貢獻者超過3500人。昇思正在與產(chǎn)學研各界一同推進開源開放,讓大模型真正成為科學之基、產(chǎn)業(yè)之本。

預訓練大模型正在推動一場AI新變革。而在關注這場變革之前,我們更應該關注根技術、根平臺的打造與建設。

堅實的產(chǎn)業(yè)基礎之上,才能產(chǎn)學各界萬花盛放。AI大模型之變,應該有強壯的根。