訂閱
糾錯
加入自媒體

趨勢丨設計的代價:深度學習已經接近計算極限

2020-07-27 16:49
Ai芯天下
關注

前言:

關于深度學習,它正在快速接近其極限。雖然事實可能的確如此,但我們仍未能在日常生活中感受到全面部署深度學習的影響。

MIT:算力將探底,算法需改革

近日,MIT發(fā)出警告:深度學習正在接近現(xiàn)有芯片的算力極限,如果不變革算法,深度學習恐難再進步。

根據(jù)麻省理工學院,MIT-IBM Watson AI實驗室,Underwood國際學院和巴西利亞大學的研究人員在最近的研究中發(fā)現(xiàn),持續(xù)不斷的進步將需要通過改變現(xiàn)有技術或通過尚未發(fā)現(xiàn)的新方法來更有效地使用深度學習方法。

目前深度學習的繁榮過度依賴算力的提升,在后摩爾定律時代可能遭遇發(fā)展瓶頸,在算法改進上還需多多努力。

AI芯天下丨趨勢丨設計的代價:深度學習已經接近計算極限

深度學習不是偶然的計算代價,而是設計的代價。共同的靈活性使它能夠出色地建模各種現(xiàn)象,并且性能優(yōu)于專家模型,這也使其在計算上的成本大大提高。

研究人員估計,三年的算法改進相當于計算能力提高10倍。總體而言,在深度學習的許多領域中,訓練模型的進步取決于所使用的計算能力的大幅度提高。 另一種可能性是,要改善算法本身可能需要互補地提高計算能力。

在研究過程中,研究人員還對預測進行了推斷,以了解達到各種理論基準所需的計算能力以及相關的經濟和環(huán)境成本。

即使是最樂觀的計算,要降低ImageNet上的圖像分類錯誤率,也需要進行10的五次方以上的計算。

根據(jù)多項式和指數(shù)模型的預測,通過深度學習獲得相應性能基準所需的算力(以Gflops為單位),碳排放量和經濟成本,最樂觀的估計,ImageNet分類誤差要想達到1%,需要10^28 Gflops的算力,這對硬件來說是不小的壓力。

AI芯天下丨趨勢丨設計的代價:深度學習已經接近計算極限

1  2  3  下一頁>  
聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關注公眾號
OFweek人工智能網
獲取更多精彩內容
文章糾錯
x
*文字標題:
*糾錯內容:
聯(lián)系郵箱:
*驗 證 碼:

粵公網安備 44030502002758號