從AI存儲(chǔ)新品,看大模型時(shí)代的存儲(chǔ)趨勢(shì)
前言:
智算時(shí)代,算力是生產(chǎn)力,數(shù)據(jù)是核心生產(chǎn)要素,大型語言模型橫空出世后,對(duì)數(shù)據(jù)存儲(chǔ)提出更高的要求。
作者 | 方文三
圖片來源 | 網(wǎng) 絡(luò)
大模型時(shí)代華為的AI存儲(chǔ)新品
近日,華為發(fā)布大模型時(shí)代AI存儲(chǔ)新品,為基礎(chǔ)模型訓(xùn)練、行業(yè)模型訓(xùn)練,細(xì)分場(chǎng)景模型訓(xùn)練推理提供存儲(chǔ)最優(yōu)解,釋放AI新動(dòng)能。
華為發(fā)布的“OceanStor A310深度學(xué)習(xí)數(shù)據(jù)湖存儲(chǔ)”與“FusionCube A3000 訓(xùn)/推超融合一體機(jī)”是商用AI存儲(chǔ)新品。
官方稱“這兩款產(chǎn)品可為AI基礎(chǔ)模型訓(xùn)練、行業(yè)模型訓(xùn)練,細(xì)分場(chǎng)景模型訓(xùn)練推理提供新動(dòng)能。
OceanStor A310深度學(xué)習(xí)數(shù)據(jù)湖存儲(chǔ),主要面向基礎(chǔ)/行業(yè)大模型數(shù)據(jù)湖場(chǎng)景,實(shí)現(xiàn)從數(shù)據(jù)歸集、預(yù)處理到模型訓(xùn)練、推理應(yīng)用的AI全流程海量數(shù)據(jù)管理。
OceanStor A310單框5U支持業(yè)界最高的400GB/s帶寬,以及1200萬IOPS的最高性能,可線性擴(kuò)展至4096節(jié)點(diǎn),可實(shí)現(xiàn)多協(xié)議無損互通。全局文件系統(tǒng)GFS實(shí)現(xiàn)跨地域智能數(shù)據(jù)編織,簡化數(shù)據(jù)歸集流程,通過近存計(jì)算實(shí)現(xiàn)近數(shù)據(jù)預(yù)處理,減少數(shù)據(jù)搬移,預(yù)處理效率提升30 %。
FusionCube A3000訓(xùn)/推超融合一體機(jī),主要面向行業(yè)大模型訓(xùn)練/推理場(chǎng)景,針對(duì)百億級(jí)模型應(yīng)用,集成OceanStor A300高性能存儲(chǔ)節(jié)點(diǎn)、訓(xùn)/推節(jié)點(diǎn)、交換設(shè)備、AI平臺(tái)軟件與管理運(yùn)維軟件,為大模型伙伴提供拎包入住式的部署體驗(yàn),實(shí)現(xiàn)一站式“開箱即用”交付,2小時(shí)內(nèi)即可完成部署。
并且該一體機(jī)支持兩種靈活的商業(yè)模式,包括華為昇騰一站式方案,以及開放計(jì)算、網(wǎng)絡(luò)、AI平臺(tái)軟件的第三方伙伴一站式方案。
一體機(jī)的訓(xùn)/推節(jié)點(diǎn)與存儲(chǔ)節(jié)點(diǎn)均可獨(dú)立水平擴(kuò)展,以匹配不同規(guī)模的模型需求。
同時(shí) FusionCube A3000通過高性能容器實(shí)現(xiàn)多個(gè)模型訓(xùn)練推理任務(wù)共享GPU,將資源利用率從40%提升到70%以上。
潮流挺進(jìn),構(gòu)建中國AI“新賽道”
ChatGPT的成功并不是偶然結(jié)果,在目前版本開放以前,OpenAI已經(jīng)在訓(xùn)練大規(guī)模語言模型的道路上深耕多年。
目前在國內(nèi)政策層面,除了在“十四五”期間,針對(duì)人工智能的未來發(fā)展陸續(xù)出臺(tái)相關(guān)指導(dǎo)方案和激勵(lì)支持政策。
北京5月30日發(fā)布《北京市加快建設(shè)具有全球影響力的人工智能創(chuàng)新策源地實(shí)施方案(2023-2025年)年》和《北京市促進(jìn)通用人工智能創(chuàng)新發(fā)展的若干措施》;
深圳5月31日發(fā)布《深圳市加快推動(dòng)人工智能高質(zhì)量發(fā)展高水平應(yīng)用行動(dòng)方案(2023-2024年)》;
成都6月5日發(fā)布《成都市關(guān)于進(jìn)一步促進(jìn)人工智能產(chǎn)業(yè)高質(zhì)量發(fā)展的若千政策措施(征求意見稿)》;
杭州6月12日發(fā)布《關(guān)于加快推進(jìn)人工智能產(chǎn)業(yè)創(chuàng)新發(fā)展的實(shí)施意見 (征求意見稿) 》;
無錫6月14日發(fā)布《無錫市人工智能產(chǎn)業(yè)創(chuàng)新發(fā)展三年行動(dòng)計(jì)劃(2023-2025)》;
上海7月8日發(fā)布《上海市推動(dòng)人工智能大模型創(chuàng)新發(fā)展的若干措施》;
重慶7月25日發(fā)布《重慶市以場(chǎng)景驅(qū)動(dòng)人工智能產(chǎn)業(yè)高質(zhì)量發(fā)展行動(dòng)計(jì)劃(2023-2025)年》。
2023年全國兩會(huì)期間,多位全國人大代表、全國政協(xié)委員將視野聚焦“如何發(fā)展中國自己的ChatGPT”,為人工智能的發(fā)展獻(xiàn)言獻(xiàn)策。
全國人大代表、科大訊飛董事長劉慶峰表示,應(yīng)當(dāng)加快推進(jìn)我國認(rèn)知智能大模型建設(shè),在自主可控平臺(tái)上讓行業(yè)盡快享受AI紅利,讓每個(gè)人擁有AI助手。
全國政協(xié)委員錢家盛則建議加大人工智能科學(xué)與技術(shù)交叉學(xué)科建設(shè),穩(wěn)步推進(jìn)“人工智能+學(xué)科群”培養(yǎng)模式,構(gòu)建人工智能領(lǐng)域人才培養(yǎng)體系和科技創(chuàng)新體系。
出品大模型應(yīng)用面臨四大挑戰(zhàn)
第一:數(shù)據(jù)準(zhǔn)備時(shí)間長,數(shù)據(jù)來源分散,歸集慢,預(yù)處理百TB數(shù)據(jù)需10天左右;
第二:多模態(tài)大模型以海量文本、圖片為訓(xùn)練集,當(dāng)前海量小文件的加載速度不足100MB/s,訓(xùn)練集加載效率低;
第三:大模型參數(shù)頻繁調(diào)優(yōu),訓(xùn)練平臺(tái)不穩(wěn)定,平均約2天出現(xiàn)一次訓(xùn)練中斷,需要Checkpoint機(jī)制恢復(fù)訓(xùn)練,故障恢復(fù)耗時(shí)超過一天;
第四:大模型實(shí)施門檻高,系統(tǒng)搭建繁雜,資源調(diào)度難,GPU資源利用率通常不到40%。
目前大模型對(duì)存儲(chǔ)的需求
現(xiàn)階段大模型以文本型的單模態(tài)為主,但是隨著大模型與各個(gè)行業(yè)相結(jié)合,紫東太初大模型、訊飛星火大模型、ChatGLM認(rèn)知大模型等,都提到過以后會(huì)加速多模態(tài)的發(fā)展,那么數(shù)據(jù)類型將日益增加。
當(dāng)然對(duì)存儲(chǔ)的要求也會(huì)變高,一是要完成基于海量多態(tài)數(shù)據(jù)的訓(xùn)練;二是要面向海量終端的數(shù)據(jù)應(yīng)用。若存儲(chǔ)容量不足可能對(duì)模型性能產(chǎn)生影響。
從文本到圖片、音頻、視頻進(jìn)行拓展,數(shù)據(jù)量也將大幅增加,預(yù)計(jì)會(huì)從純文本型的幾個(gè)TB(太字節(jié)、1TB=1024GB)向多模態(tài)的PB級(jí)(拍字節(jié)、1PB=100萬GB)容量邁進(jìn),這對(duì)存儲(chǔ)的架構(gòu)、性能等核心能力提出更高要求。
據(jù)相關(guān)機(jī)構(gòu)預(yù)計(jì),2026年中國人工智能軟件及應(yīng)用市場(chǎng)規(guī)模將會(huì)達(dá)到211億美元,國內(nèi)被寄予厚望的各大科技公司都在不斷探索大模型運(yùn)行的新方法、新模式。
然而,只有落地才能實(shí)現(xiàn)大模型的價(jià)值。
結(jié)尾:
數(shù)據(jù)、算法、算力是AI發(fā)展的驅(qū)動(dòng)力,大模型增強(qiáng)了AI技術(shù)的通用性,助力AI的實(shí)現(xiàn)。
未來,大模型與場(chǎng)景深度融合,配合專業(yè)工具和平臺(tái)支持應(yīng)用落地,以開放的生態(tài)來激發(fā)創(chuàng)新,形成良性循環(huán),并通過提供全流程支持應(yīng)用落地的工具和方法,讓更多企業(yè)受益。
內(nèi)容參考來源于:華為:華為發(fā)布大模型時(shí)代AI存儲(chǔ)新品;浦銀國際研究:從華為AI存儲(chǔ)新品看大模型時(shí)代的存儲(chǔ)趨勢(shì);中國新聞網(wǎng):大模型催生多樣化數(shù)據(jù)處理 數(shù)據(jù)存儲(chǔ)面臨新要求;醫(yī)療科技高峰論壇:大模型的深度與速度
原文標(biāo)題 : AI芯天下丨趨勢(shì)丨從AI存儲(chǔ)新品,看大模型時(shí)代的存儲(chǔ)趨勢(shì)
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長度6~500個(gè)字
您提交的評(píng)論過于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)
驗(yàn)證碼: 刷新
最新活動(dòng)更多
-
即日-10.29立即報(bào)名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會(huì)
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車
-
11月14日立即報(bào)名>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國智造CIO在線峰會(huì)
推薦專題
- 1 Intel宣布40年來最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價(jià)骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國產(chǎn)AI芯片公司破產(chǎn)!白菜價(jià)拍賣
- 5 具身智能火了,但規(guī)模落地還需時(shí)間
- 6 國產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 7 三次錯(cuò)失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來
- 9 英偉達(dá)的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實(shí)力拉滿
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市