混元大語言模型，從理論上可以打破騰訊的原有的產(chǎn)品版圖邊界，讓AI連接起各個產(chǎn)品與用戶之間的需求。

目前，中國大模型領(lǐng)域的競爭，已經(jīng)進入一個群雄逐鹿的亂戰(zhàn)時代。

截止4月上旬，國內(nèi)已有多家頭部企業(yè)發(fā)布/或預(yù)發(fā)布了自己的大模型，其中包括了：

1、 百度(NASDAQ:BIDU)的文心一言

2、華為的大模型盤古

3、阿里(NYSE:BABA)的大模型通義千問

4、商湯科技的日日新大模型

5、騰訊(HK:00700)的混元大模型

一時間，“尋找或成為中國的OpenAI”，成為了國內(nèi)各企業(yè)最首要的問題。

雖然科技創(chuàng)新講究的就是一個“快”字，但“快”也不是一味的。

如何在保證速度的同時，解決好資金、算力、數(shù)據(jù)、人才，以及更多未知的工程化方法，都是一個頗為考驗“內(nèi)功”的環(huán)節(jié)。

目前，互聯(lián)網(wǎng)行業(yè)中的一些企業(yè)，已經(jīng)在大模型領(lǐng)域展現(xiàn)出了自己的實力，比如阿里這類領(lǐng)軍企業(yè)，但同時，還有像騰訊這樣實力不容小覷的企業(yè)尚未發(fā)力。

騰訊作為互聯(lián)網(wǎng)行業(yè)的領(lǐng)軍企業(yè)之一，擁有強大的技術(shù)實力、豐富的數(shù)據(jù)積累以及AI基礎(chǔ)設(shè)置，讓其在AIGC領(lǐng)域的布局備受關(guān)注。

01 萬億大模型

自O(shè)penAI發(fā)布Chatgpt以來，大模型領(lǐng)域一個明顯的趨勢，就是隨著算力的發(fā)展，模型容量持續(xù)提升，模型通用性和泛化能力也更強。

然而，此前國內(nèi)基于萬億大模型的應(yīng)用探索極少，在高速網(wǎng)絡(luò)、訓(xùn)練/推理框架、模型算法和落地應(yīng)用等方面，也沒有全面深入的公開性研究。

在這種情況下，作為頭部企業(yè)之一的騰訊，自然動了欲作開拓者的野心。

然而，若要問鼎“萬億大模型”這枚王冠，強大的算力則是必不可少的。于是，騰訊設(shè)計的一套“先蒸餾后加速”的大模型壓縮方案——太極-HCF ToolKit，就應(yīng)運而生了。

太極平臺，包含了從模型蒸餾、壓縮量化到模型加速的完整能力，為AI工程師打造從數(shù)據(jù)預(yù)處理、模型訓(xùn)練、模型評估到模型服務(wù)的全流程高效開發(fā)工具。

由于太極框架封裝了很多功能和驗證，因此只要配置正確，就不需要再進行額外的測試。這大大加快了開放的進度。

以太極平臺的基礎(chǔ)，配合強大的底層算力與低成本的高速網(wǎng)絡(luò)基礎(chǔ)設(shè)施，騰訊打造了首個可在工業(yè)界海量業(yè)務(wù)場景直接落地，并投入應(yīng)用的萬億NLP大模型——HunYuan-NLP 1T（以下簡稱混元）。

混元最快僅用256卡在一天內(nèi)即可完成萬億參數(shù)大模型的訓(xùn)練，整體訓(xùn)練成本僅為直接冷啟動訓(xùn)練萬億模型的1/8。

而騰訊之所以在訓(xùn)練成本上如此大費周章，則與其自身的戰(zhàn)略布局有著密切的關(guān)系。

縱觀混元在騰訊應(yīng)用層、模型層的布局，我們可以發(fā)現(xiàn)，這樣的布局策略，很有可能是想以統(tǒng)一的平臺，實現(xiàn)技術(shù)復(fù)用和業(yè)務(wù)降本，支持更多的場景和應(yīng)用。

而這樣的技術(shù)復(fù)用和多場景支持，則與騰訊在互聯(lián)網(wǎng)領(lǐng)域獨特的生態(tài)位有著密切關(guān)系。

騰訊目前已有的互聯(lián)網(wǎng)江山，涵蓋了社交、游戲、廣告、內(nèi)容創(chuàng)作等多個領(lǐng)域，如何用最低的成本，為原先已有的眾多產(chǎn)品和業(yè)務(wù)進行賦能和升級，就成了騰訊在AI時代首先要考慮的問題。

目前，騰訊已經(jīng)打造了以混元 AI 大模型為技術(shù)底座的廣告多媒體 AI 技術(shù)矩陣；以及應(yīng)用于創(chuàng)作的智能創(chuàng)作助手；和通用游戲競技 的AI“絕藝”+“絕悟”。

可以說，這種通過降低模型訓(xùn)練成本，從而迅速讓AIGC 技術(shù)為多個領(lǐng)域賦能的做法，與互聯(lián)網(wǎng)行業(yè)發(fā)展初期，很多企業(yè)通過“燒錢”的方式，以迅速擴大市場份額的策略，著實有一種“異曲同工之妙”。

02 AIGC時代的新“微信”

“混元”對騰訊 AI 應(yīng)用生態(tài)的拓展，絕不僅僅是一次對原有業(yè)務(wù)的“縱向升級”。

從某種程度上說，這樣的生態(tài)的拓展，體現(xiàn)了騰訊在人工智能時代，對社會各領(lǐng)域、各產(chǎn)業(yè)層面的新一輪商業(yè)滲透的展開。

而這種多元化布局的思路，可以說是對其在移動互聯(lián)網(wǎng)時代“攻城略地”的一次復(fù)刻。

在移動互聯(lián)網(wǎng)時代，騰訊的野心就已經(jīng)四溢到了游戲、社交、金融、廣告等多個領(lǐng)域。這種多元化的業(yè)務(wù)布局，使得騰訊的觸手深入到了網(wǎng)絡(luò)生活的各個方面，并最終通過微信這個終端，一步步整合了人們對于衣食住行的大部分需求，以至于到了人們難以對其脫離的地步。

在當(dāng)下的社會中，人們幾乎無法想象沒有微信的生活會是怎樣的。

在進行多元化布局的同時，通過“燒錢”的方式不斷投資并購，也是騰訊壯大自身的另一大手段。

如京東、美團、滴滴等，這些企業(yè)都是行業(yè)內(nèi)的領(lǐng)先者，與騰訊的業(yè)務(wù)有很強的互補性，能夠為騰訊帶來更多的商業(yè)機會和收益來源，從而進一步擴大了騰訊自身的業(yè)務(wù)版圖。

然而，隨著互聯(lián)網(wǎng)紅利消失, 市場已經(jīng)進入相對平穩(wěn)的發(fā)展階段，各大巨頭們也開啟了從增量到存量的戰(zhàn)爭。

在這樣的背景下，傳統(tǒng)的“花錢買量”已經(jīng)難以再帶來新的用戶增長，既然原有產(chǎn)品的“縱向增量”已經(jīng)走到盡頭，那么通過跨領(lǐng)域融合的“橫向增量”方式，繼續(xù)維持或擴大自身龐大的業(yè)務(wù)版圖，就成了騰訊若要在AIGC時代，一種最可行的策略。

憑借已有的龐大的用戶數(shù)據(jù)，加上大模型帶來的開放平臺、生態(tài)合作，將自身的業(yè)務(wù)逐漸與農(nóng)業(yè)、醫(yī)療、工業(yè)、教育等領(lǐng)域融合，可以最終編織成一張深深嵌入社會各個領(lǐng)域的智能化網(wǎng)絡(luò)。

正如移動互聯(lián)網(wǎng)時代，微信通過二維碼、朋友圈、小程序等功能的推出，不斷擴寬了自身的應(yīng)用場景，并實現(xiàn)了用戶數(shù)的一次次飛躍。

在人工智能時代，通過混元大模型帶來的通用+專用領(lǐng)域的融合功能，意味著騰訊能夠?qū)⒏鱾�領(lǐng)域的數(shù)據(jù)和信息進行整合和分析，混元大模型可以提供更加個性化、智能和高效的服務(wù)，從而進一步增強用戶的忠誠度和粘性。

而當(dāng)這些來自多個領(lǐng)域的信息、數(shù)據(jù)，最終被大模型整合進某一終端時，一個涵蓋了人們各個不同領(lǐng)域需求的“AIGC版微信”，或許也就此誕生了。

在某種程度上，它可能會比現(xiàn)在的微信更“必要”、更“難以離身”，得益于大語言模型知識抓取、邏輯分析能力，一些涉及事項多、專業(yè)性強，并且與民眾需求緊密相連的需求（如醫(yī)療、法律等領(lǐng)域），最后甚至僅僅能通過人們一句簡單的“命令”，得到實現(xiàn)。

如此一來，混元大語言模型，從理論上可以打破騰訊的原有的產(chǎn)品版圖邊界，讓AI連接起各個產(chǎn)品與用戶之間的需求。

03 算力的邊界

若要支撐起這樣橫跨各領(lǐng)域、多業(yè)務(wù)的大模型生態(tài)，一道繞不過去的坎，就是算力的限制。

盡管大模型概念持續(xù)火熱，但入局者大多面臨著算力之困。

市場上流傳的調(diào)研紀要顯示，要訓(xùn)練像ChatGPT這樣的生成式AI，至少需要1萬張英偉達A100加速卡的支持。目前，國內(nèi)只有6家公司具備這樣的硬件實力。

然而，這樣的“算力邊界”，并沒能阻止騰訊在AIGC時代擴充自身版圖的野心。

4月14日，騰訊云正式發(fā)布了面向大模型訓(xùn)練的新一代高性能計算集群HCCPNV5。

該集群采用最新一代騰訊云星星海自研服務(wù)器，并搭載了英偉達 H800 Tensor Core GPU（國內(nèi)首發(fā)），提供業(yè)界目前最高的3.2Tbps超高互聯(lián)帶寬，算力性能比前代提升了3倍。

H800 Tensor Core GPU

一般來說，一個集群的性能，主要取決于三個要素：單機算力、網(wǎng)絡(luò)架構(gòu)、存儲性能。

在單卡單機的算力上，新一代集群單GPU卡支持輸出最高495 TFlops（TF32）、989 TFlops （FP16/BF16）、1979 TFlops（FP8）的算力，單卡性能爆表。

而得益于騰訊云星星海服務(wù)器采用6U超高密度設(shè)計，每節(jié)點支持8塊H800，上架密度與同行相比提升了30%。利用并行計算理念，通過CPU和GPU節(jié)點的一體化設(shè)計，將單點算力性能提升至最強。

然而，僅僅有了先進的芯片，并不等于擁有先進算力。

原因在于高性能計算存在“木桶效應(yīng)”，一旦計算、存儲、網(wǎng)絡(luò)任一環(huán)節(jié)出現(xiàn)瓶頸，就會導(dǎo)致運算速度嚴重下降。

因此，先進算力的背后是先進芯片、先進網(wǎng)絡(luò)、先進存儲等一系列的支撐，缺一不可。

此次騰訊自研的星脈網(wǎng)絡(luò)，為新一代集群帶來3.2T的超高通信帶寬。在「星脈網(wǎng)絡(luò)」的加持下，單集群規(guī)模支持4K GPU（最大支持10萬+ GPU）、超EFLOPS（FP16）算力。

搭載同樣的GPU卡，3.2T星脈網(wǎng)絡(luò)相較前代網(wǎng)絡(luò)，能讓集群整體算力提升20%，使得超大算力集群仍然能保持優(yōu)質(zhì)的通信開銷比和吞吐性能。并提供單集群高達十萬卡級別的組網(wǎng)規(guī)模。

最后的存儲問題，在大模型訓(xùn)練場景下，存儲也經(jīng)受著前所未有的考驗。

幾千臺計算節(jié)點會同時讀取一批數(shù)據(jù)集，需要盡可能地縮短數(shù)據(jù)集的加載時長。

而新一代HCC集群，引入了騰訊云最新自研存儲架構(gòu)，支持不同場景下對存儲的需求。

例如其中的COS+GooseFS方案，就提供基于對象存儲的多層緩存加速，大幅提升了端到端的數(shù)據(jù)讀取性能；

而CFS Turbo多級文件存儲方案，則充分滿足了大模型場景下，大數(shù)據(jù)量、高帶寬、低延時的存儲要求。

如此一來，算力、網(wǎng)絡(luò)、存儲，三個關(guān)鍵的節(jié)點，都被騰訊一一攻克了。

隨著新一代HCC高性能計算集群的發(fā)布，國內(nèi)大模型訓(xùn)練面臨的算力困局有望得到紓緩，而國內(nèi)的人工智能生態(tài)，也有可能從此走向百花齊放的局面。

這是因為，雖然對于中國企業(yè)來說，雖然ChatGPT這樣大模型，工作量和成本并不是不可接受，但只有在算力、算法、數(shù)據(jù)等不同環(huán)節(jié)，讓眾多公司構(gòu)成了一個龐大的人工智能生態(tài)，量變引起質(zhì)變，中國自己的世界級大模型，才會有“涌現(xiàn)”的基礎(chǔ)。

說到底，ChatGPT不是OpenAI一家公司的成功，而是一種人工智能生態(tài)的成功。

隨著混元大模型所帶來的低成本訓(xùn)練紅利，國內(nèi)大模型多元化格局也有望就此形成，而由此構(gòu)建出的人工智能生態(tài)，也將有望讓ChatGPT這類AI發(fā)生在中國、根植在中國。

       原文標(biāo)題 : 探營騰訊混元大模型