IBM投資AI硬件,計(jì)劃10年內(nèi)將AI性能提升1000倍
盡管現(xiàn)今IBM的硬件業(yè)務(wù)僅限于POWER和Mainframe芯片和系統(tǒng),但這家技術(shù)巨頭正在悄悄地建立自己在AI硬件方面的專業(yè)知識和能力。所有人都肯會猜測IBM接下來要干嘛,今天我們主要探討一些關(guān)于IBM所做的事情的思考以及對背后原因的猜測。
IBM對AI硬件的研究
IBM于2019年初成立了IBM AI硬件研究中心,中心位于紐約州,與紐約州立大學(xué)理工學(xué)院以及Mellanox、Samsung和Synopsys等技術(shù)公司合作進(jìn)行AI 芯片研究。
據(jù)介紹,該中心對AI硬件采取整體,端到端的方法,朝著其雄心勃勃的目標(biāo)努力,即在未來10年內(nèi)將AI性能提高1000倍。同時(shí),該中心還在開發(fā)新的數(shù)字和模擬AI內(nèi)核。
IBM AI硬件研發(fā)中心發(fā)布的實(shí)現(xiàn)AI性能提升1000倍的概念性路線圖展示了將采用不同于目前半導(dǎo)體制造使用的全新材料制成新內(nèi)核的方式。
IBM最近發(fā)表了兩篇論文,描述了其降低精度的方法,這些方法旨在提高AI處理效率,同時(shí)保留預(yù)期的準(zhǔn)確性。基本上,在NVIDIA和Google的帶領(lǐng)下,人工智能研究在過去4-5年中一直在利用降低的精度數(shù)字和數(shù)學(xué)運(yùn)算。如果“降低精度”聽起來好像不是什么好事,但是我們要記住,更高的精度會帶來巨大的成本,使用數(shù)字的位長的平方也會增加。因此,從32位到16位成本降低了4倍。
Google最近提出了一種新的16位格式,稱為Bfloat,該格式使用的位數(shù)更多,指數(shù)尾數(shù)更少。高于IEEE 16位浮點(diǎn)標(biāo)準(zhǔn)。與傳統(tǒng)的32位格式相比,這可以在保留精度的同時(shí)使用更少的功率和芯片空間。英特爾就是其中之一。但是,研究人員在努力爭取8位浮點(diǎn)數(shù)下保持準(zhǔn)確性。
IBM本周提出了一種“混合8位浮點(diǎn)數(shù)”格式,該格式可以提高性能或?qū)⒊杀窘档投噙_(dá)4倍。就是說,如果有人(IBM?)生產(chǎn)出可以執(zhí)行這些計(jì)算進(jìn)行訓(xùn)練的芯片,則該芯片將使用已經(jīng)“量化”為那些8位格式的DNN。這些操作的“混合”性質(zhì)來自于前向和后向傳播計(jì)算所需的不同精度要求。通過將用于指數(shù)和尾數(shù)的位數(shù)調(diào)整為向前和向后傳遞計(jì)算,IBM證明了確實(shí)可以僅使用8位權(quán)重和激活來訓(xùn)練用于視覺、語音和語言處理的神經(jīng)網(wǎng)絡(luò)。此外,這些較小的數(shù)字可以更有效地在芯片上進(jìn)行通信,從而將訓(xùn)練時(shí)間進(jìn)一步減少了30-60%。
如果所有這些數(shù)學(xué)運(yùn)算聽起來很復(fù)雜,但其帶來的好處非常簡單。從理論上講,這種方法可以讓人打造用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的芯片,芯片面積僅為原來的四分之一,或者以相同的成本實(shí)現(xiàn)4倍的性能提升。
在AI的推理方面,出于相同的原因,芯片公司和模型開發(fā)人員正在轉(zhuǎn)向8位。但是,有人還能降得更低嗎?迄今為止,使用較低精度的努力未能達(dá)到8位模型提供的精度。但是,IBM最近發(fā)表了一篇論文,該論文提議使用稱為參數(shù)化限幅激活(PACT)和統(tǒng)計(jì)感知權(quán)重合并(SAWB)的兩種技術(shù),當(dāng)結(jié)合使用時(shí),它們已經(jīng)演示了2位推理處理,可實(shí)現(xiàn)與8位相當(dāng)?shù)臏?zhǔn)確性。
那么,誰在乎呢?
如果有人在CPU或AI芯片中使用這些技術(shù),答案可能是“所有人”。 IBM的路線圖肯定意味著該公司將做到這一點(diǎn),但是就目前而言,這一切都是在IBM研發(fā)而非產(chǎn)品部門完成的。IBM經(jīng)常有一些研究項(xiàng)目從未變成最終產(chǎn)品。
IBM通過AI硬件研究成果獲利基本上有三種途徑。首先,它可以將該技術(shù)授權(quán)可給其他半導(dǎo)體公司用于移動、邊緣和數(shù)據(jù)中心應(yīng)用。其次,IBM可以將該技術(shù)應(yīng)用到IBM POWER或大型機(jī)處理器中,尤其是2位推理處理。第三,IBM可以生產(chǎn)用于數(shù)據(jù)中心培訓(xùn)和推理處理的加速器,直接與NVIDIA,Intel等競爭。
最后一種途徑可能會解決更大的市場需要,但會帶來業(yè)務(wù)問題,如IBM需要建立一個(gè)渠道,以覆蓋其POWER和Mainframe安裝基礎(chǔ)之外的數(shù)據(jù)中心客戶。例如,IBM可以通過Lenovo出售給正在構(gòu)建數(shù)據(jù)中心服務(wù)器的ODM。當(dāng)然,這三種途徑并不是互相排斥的。
總結(jié)
IBM在新的AI硬件研究中心所取得的成就給我們留下了深刻的印象,而且他僅用了一年的時(shí)間。從實(shí)現(xiàn)將效率提高1000倍的雄心勃勃的愿景開始,采用了從算法到芯片再到材料的整體方法。這讓IBM在這個(gè)快速發(fā)展的市場中具有巨大的潛力。
該研發(fā)中心很快將需要對其商業(yè)模式做出一些艱難的選擇,以便將這項(xiàng)研究變現(xiàn)并達(dá)到其目標(biāo)市場。管理層需要保持耐心并堅(jiān)持到底,我認(rèn)為下一任首席執(zhí)行官Arvind Krishna將會做到這一點(diǎn)。也就是說,在過去十年中,IBM穩(wěn)步擺脫了硬件業(yè)務(wù)。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個(gè)字
最新活動更多
-
即日-10.29立即報(bào)名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月14日立即報(bào)名>> 2024工程師系列—工業(yè)電子技術(shù)在線會議
-
12月19日立即報(bào)名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
即日-12.26火熱報(bào)名中>> OFweek2024中國智造CIO在線峰會
推薦專題
- 1 Intel宣布40年來最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價(jià)骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國產(chǎn)AI芯片公司破產(chǎn)!白菜價(jià)拍賣
- 5 具身智能火了,但規(guī)模落地還需時(shí)間
- 6 國產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 7 三次錯失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來
- 9 英偉達(dá)的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實(shí)力拉滿
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市