深度神經(jīng)網(wǎng)絡(luò),為何備受關(guān)注?
深度神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)(ML, Machine Learning)領(lǐng)域中一種技術(shù)。
在監(jiān)督學(xué)習(xí)中,以前的多層神經(jīng)網(wǎng)絡(luò)的問(wèn)題是容易陷入局部極值點(diǎn)。如果訓(xùn)練樣本足夠充分覆蓋未來(lái)的樣本,那么學(xué)到的多層權(quán)重可以很好的用來(lái)預(yù)測(cè)新的測(cè)試樣本。但是很多任務(wù)難以得到足夠多的標(biāo)記樣本,在這種情況下,簡(jiǎn)單的模型,比如線(xiàn)性回歸或者決策樹(shù)往往能得到比多層神經(jīng)網(wǎng)絡(luò)更好的結(jié)果(更好的泛化性,更差的訓(xùn)練誤差)。
非監(jiān)督學(xué)習(xí)中,以往沒(méi)有有效的方法構(gòu)造多層網(wǎng)絡(luò)。多層神經(jīng)網(wǎng)絡(luò)的頂層是底層特征的高級(jí)表示,比如底層是像素點(diǎn),上一層的結(jié)點(diǎn)可能表示橫線(xiàn),三角; 而頂層可能有一個(gè)結(jié)點(diǎn)表示人臉。一個(gè)成功的算法應(yīng)該能讓生成的頂層特征最大化的代表底層的樣例。如果對(duì)所有層同時(shí)訓(xùn)練,時(shí)間復(fù)雜度會(huì)太高; 如果每次訓(xùn)練一層,偏差就會(huì)逐層傳遞。這會(huì)面臨跟上面監(jiān)督學(xué)習(xí)中相反的問(wèn)題,會(huì)嚴(yán)重欠擬合。
2006年,hinton提出了在非監(jiān)督數(shù)據(jù)上建立多層神經(jīng)網(wǎng)絡(luò)的一個(gè)有效方法,簡(jiǎn)單的說(shuō),分為兩步,一是每次訓(xùn)練一層網(wǎng)絡(luò),二是調(diào)優(yōu)使原始表示x向上生成的高級(jí)表示r和該高級(jí)表示r向下生成的x'盡可能一致。方法是
1,首先逐層構(gòu)建單層神經(jīng)元,這樣每次都是訓(xùn)練一個(gè)單層網(wǎng)絡(luò)。
2,當(dāng)所有層訓(xùn)練完后,hinton使用wake-sleep算法進(jìn)行調(diào)優(yōu)。將除最頂層的其它層間的權(quán)重變?yōu)殡p向的,這樣最頂層仍然是一個(gè)單層神經(jīng)網(wǎng)絡(luò),而其它層則變?yōu)榱藞D模型。向上的權(quán)重用于”認(rèn)知“,向下的權(quán)重用于”生成“。然后使用Wake-Sleep算法調(diào)整所有的權(quán)重。讓認(rèn)知和生成達(dá)成一致,也就是保證生成的最頂層表示能夠盡可能正確的復(fù)原底層的結(jié)點(diǎn)。比如頂層的一個(gè)結(jié)點(diǎn)表示人臉,那么所有人臉的圖像應(yīng)該激活這個(gè)結(jié)點(diǎn),并且這個(gè)結(jié)果向下生成的圖像應(yīng)該能夠表現(xiàn)為一個(gè)大概的人臉圖像。Wake-Sleep算法分為醒(wake)和睡(sleep)兩個(gè)部分。
2.1,wake階段,認(rèn)知過(guò)程,通過(guò)外界的特征和向上的權(quán)重(認(rèn)知權(quán)重)產(chǎn)生每一層的抽象表示(結(jié)點(diǎn)狀態(tài)),并且使用梯度下降修改層間的下行權(quán)重(生成權(quán)重)。也就是“如果現(xiàn)實(shí)跟我想像的不一樣,改變我的權(quán)重使得我想像的東西就是這樣的“。
2.2,sleep階段,生成過(guò)程,通過(guò)頂層表示(醒時(shí)學(xué)得的概念)和向下權(quán)重,生成底層的狀態(tài),同時(shí)修改層間向上的權(quán)重。也就是“如果夢(mèng)中的景象不是我腦中的相應(yīng)概念,改變我的認(rèn)知權(quán)重使得這種景象在我看來(lái)就是這個(gè)概念“。
由于自動(dòng)編碼器(auto-encoder,即上面說(shuō)的神經(jīng)網(wǎng)絡(luò)。廣義上的自動(dòng)編碼器指所有的從低級(jí)表示得到高級(jí)表示,并能從高級(jí)表示生成低級(jí)表示的近似的結(jié)構(gòu),狹義上指的是其中的一種,谷歌的人臉識(shí)別用的)有聯(lián)想功能,也就是缺失部分輸入也能得到正確的編碼,所以上面說(shuō)的算法也可以用于有監(jiān)督學(xué)習(xí),訓(xùn)練時(shí)y做為頂層網(wǎng)絡(luò)輸入的補(bǔ)充,應(yīng)用時(shí)頂層網(wǎng)絡(luò)生成y'。
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
即日-10.29立即報(bào)名>> 2024德州儀器嵌入式技術(shù)創(chuàng)新發(fā)展研討會(huì)
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線(xiàn)會(huì)議】多物理場(chǎng)仿真助跑新能源汽車(chē)
-
11月14日立即報(bào)名>> 2024工程師系列—工業(yè)電子技術(shù)在線(xiàn)會(huì)議
-
12月19日立即報(bào)名>> 【線(xiàn)下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線(xiàn)峰會(huì)
推薦專(zhuān)題
- 1 Intel宣布40年來(lái)最重大轉(zhuǎn)型:年底前裁員15000人、拋掉2/3房產(chǎn)
- 2 因美封殺TikTok,字節(jié)股價(jià)骨折!估值僅Meta1/5
- 3 宏山激光重磅發(fā)布行業(yè)解決方案,助力智能制造產(chǎn)業(yè)新飛躍
- 4 國(guó)產(chǎn)AI芯片公司破產(chǎn)!白菜價(jià)拍賣(mài)
- 5 具身智能火了,但規(guī)模落地還需時(shí)間
- 6 國(guó)產(chǎn)英偉達(dá)們,抓緊沖刺A股
- 7 三次錯(cuò)失風(fēng)口!OpenAI前員工殺回AI編程賽道,老東家捧金相助
- 8 英特爾賦能智慧醫(yī)療,共創(chuàng)數(shù)字化未來(lái)
- 9 英偉達(dá)的麻煩在后頭?
- 10 將“網(wǎng)紅”變成“商品”,AI“爆改”實(shí)力拉滿(mǎn)
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷(xiāo)售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷(xiāo)售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專(zhuān)家 廣東省/江門(mén)市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市