訂閱
糾錯
加入自媒體

AI界三位“教父”獲2018年圖靈獎,深度學習的盡頭究竟在哪?

2019-03-29 14:41
AiChinaTech
關注

2019年3月27日,Yoshua Bengio, Geoffrey Hinton 和 Yann LeCun 計算機科學界的最高榮譽——ACM 圖靈獎,它被譽為是計算機界的諾貝爾獎。Hinton、LeCun 和 Bengio 獨立工作,共同開發(fā)了深度學習神經網絡領域的概念基礎,通過實驗和實際工程證明了深度神經網絡的優(yōu)勢。

圖靈獎得主介紹及主要技術成就

Yann LeCun,紐約大學教授,同時也是 Facebook 的副總裁和首席 AI 科學家。ACM 表示 Yann LeCun 主要有三大重要貢獻:提出卷積神經網絡,改進反向傳播算法,拓寬神經網絡的視角。

Geoffrey Hinton,谷歌副總裁兼工程研究員,Vector Institute 的首席科學顧問,同時也是多倫多大學的名譽大學教授。Hinton 最重要的貢獻來自他 1986 年發(fā)明反向傳播的論文“Learning Internal Representations by Error Propagation”,1983 年發(fā)明的玻爾茲曼機(Boltzmann Machines),以及 2012 年對卷積神經網絡的改進。

Yoshua Bengio,蒙特利爾大學教授,魁北克人工智能研究所 Mila 科學主管,Bengio 的主要貢獻是在 1990 年代發(fā)明的 Probabilistic models of sequences。自 2010 年以來,Bengio 非常關注生成式深度學習,特別是他與 Ian Goodfellow 等研究者提出的生成對抗網絡(GAN),這項研究引起了計算機視覺和計算機圖形學的革命。

時至今日,幾乎我們能聽到的所有關于 AI 的重要進展,背后都離不開深度學習。深度神經網絡促進了現(xiàn)代計算機科學的極大進步,顯著提升了計算機感知世界的能力,正是上述三位獲獎者為此奠定了重要基礎。

深度學習是否有盡頭?

但從去年開始,關于深度學習“寒冬論”、“天花板”的論調頻繁出現(xiàn),不少人認為深度學習似乎遇到了瓶頸,需要特別大、特別深的網絡以及大量數據訓練。

深度學習確有很多先天缺陷。比如低效率問題,我們都知道數據集的逐漸增大加上正確的訓練有助于性能的提高,而樣本量的缺少容易出現(xiàn)算法偏差。深度學習模型很淺。人工智能應用程序通過大量數據和深度學習算法的訓練可以很好地完成一件事,但卻不能應用在另一個方面,到目前為止,還沒有一個好的辦法可以將訓練從一種情況轉移到另一種情況。

另外,深度學習算法里還有一個特別棘手的問題,應用不穩(wěn)定。讓這些算法在沒有明確編程的情況下接受數據訓練和學習,目前為止,深度學習是很難達到預期效果的。

另一個威脅是易受對抗攻擊。由于它們的創(chuàng)建方式,深度學習算法可以以意想不到的方式運行 - 或者至少以對我們人類來說似乎不合邏輯的方式運行。鑒于神經網絡的不透明性,很難找到它們包含的所有邏輯錯誤。

但斷定深度學習“已死”的論調顯然是不合理的,即使可能在未來幾年內深度學習無法達到人類水平的認知,我們也會在許多其他領域看到深度學習有巨大的改進。以下是神經網絡和深度學習的一些重要趨勢。

神經網絡和深度學習的發(fā)展趨勢

膠囊網絡

膠囊網絡 (CapsNet)是Geoffrey Hinton提出的一種新型深層神經網絡結構。它們以類似于人腦的方式處理信息。這實質上意味著膠囊網絡可以維持層次關系。

這與卷積神經網絡形成對比。卷積神經網絡未能考慮簡單和復雜對象之間存在的關鍵空間層次結構。這導致錯誤分類和更高的錯誤率。膠囊網絡彌補了不少缺陷,比如數據量、準確度、訓練數據多樣性等等,性能更好。

深層強化學習

深度強化學習是神經網絡的一種形式,它通過觀察、行動和獎勵與環(huán)境交流來學習。深度強化學習(DRL)已經被成功地用于確定游戲策略,比如Atari和Go。著名的AlphaGo項目被用來擊敗人類冠軍,而且也取得了成功。

深度學習有較強的感知能力,但是缺乏一定的決策能力。而深度強化學習還具有決策能力,不僅能利用現(xiàn)有數據,還可以通過對環(huán)境的探索獲得新數據,并利用新數據循環(huán)往復地更新迭代現(xiàn)有模型的機器學習算法,為復雜系統(tǒng)的感知決策問題提供了解決思路。

元學習

元學習可幫助模型在少量樣本下快速學習,從元學習的使用角度看,人們也稱之為少次學習。更具體地,如果訓練樣本數為 1,則稱為一次學習;訓練樣本數為 K,稱為 K 次學習;更極端地,訓練樣本數為 0,稱為零次學習。另外,多任務學習和遷移學習在理論層面上都能歸結到元學習的大家庭中。

元學習通過人工智能技術,把算法的設計自動化,降低了應用門檻,使得自動化的人工智能開發(fā)成為可能。

帶記憶模型的網絡

區(qū)分人類和機器的一個重要方面是工作和思考的能力。毫無疑問,計算機可以預先編程,以極高的精度完成一項特定的任務。但是,當你需要它們在不同的環(huán)境中工作時,就會出現(xiàn)問題。

為了使機器能夠適應現(xiàn)實世界的環(huán)境,神經網絡必須能夠在不遺忘的情況下學習順序任務。神經網絡需要借助多種強大的體系結構來克服遺忘。這些可以包括:長期內存網絡,可以處理和預測時間序列;彈性權重合并算法,可以根據先前完成的任務定義的優(yōu)先級減慢學習速度;不受遺忘影響的漸進式神經網絡,能夠從已經學過的網絡中提取有用的特征,以用于新的任務。

混合學習模式

不同類型的深度神經網絡,例如生成對抗網絡(Generative adversarial networks, GANs)或DRL,已經在性能和廣泛應用層面顯示出了巨大的前景。這可以幫助我們實現(xiàn)更好的模型性能和可解釋性的模型,從而可以鼓勵更廣泛的應用。通過概率編程語言的結合進行深度學習,以期看到更深層的學習方法獲得貝葉斯等價物。

深度學習不是終點,只是起步

深度學習在近年來能夠取得成功得益于兩個關鍵因素:一是計算機運算速度提高數倍;二是深度學習可順序計算的能力提高。目前深度學習依舊生命力旺盛,深度學習可用的工具和方法也成為了科學和商業(yè)中有價值應用的堅實基礎。

技術進步,眾多行業(yè)借助AI賦能產業(yè)結構,不斷升級換代與創(chuàng)新變革,走在技術前沿的公司也在不斷涌現(xiàn)。國內誕生了諸如曠視科技、商湯科技、極鏈科技Video++、依圖科技等優(yōu)秀人工智能初創(chuàng)企業(yè)。人工智能技術迎來了發(fā)展的春天,我們期待即將到來的新的革命。

聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關注公眾號
OFweek人工智能網
獲取更多精彩內容
文章糾錯
x
*文字標題:
*糾錯內容:
聯(lián)系郵箱:
*驗 證 碼:

粵公網安備 44030502002758號