撰文 ／   張賀飛

編輯 ／   沈潔

“科技無(wú)國(guó)界”的幻想，因?yàn)闁|歐的戰(zhàn)火被徹底擊碎。

蘋果、谷歌、Facebook、SAP、微軟等科技巨頭，早已有了實(shí)際的行動(dòng)。單單是Apple Pay和Google Pay的停用，就已經(jīng)影響了數(shù)千萬(wàn)人的生活秩序，而GitHub、Node、React等開源平臺(tái)針對(duì)俄羅斯開發(fā)者的嚴(yán)格限制，則給不少企業(yè)的產(chǎn)品開發(fā)、商業(yè)運(yùn)作蒙上了一層不確定的陰影。

在這樣的語(yǔ)境下，開源軟件的自主可控再度成為輿論場(chǎng)上的焦點(diǎn)，特別是作為AI基礎(chǔ)技術(shù)的深度學(xué)習(xí)框架，更是聚焦了無(wú)數(shù)開發(fā)者的關(guān)切。深度學(xué)習(xí)框架屬于AI的底層技術(shù)創(chuàng)新，一旦這些技術(shù)被套上枷鎖，千行百業(yè)的智能化轉(zhuǎn)型將被制約，甚至?xí)�影響�?guó)內(nèi)第四次工業(yè)革命的進(jìn)程。

可能在不少人的認(rèn)知里，深度學(xué)習(xí)框架還是一個(gè)陌生的詞匯，對(duì)其所扮演的角色以及重要性仍處于懵懂狀態(tài)。我們不妨從盤點(diǎn)和回顧的視角，梳理下深度學(xué)習(xí)框架的周期演變，在從學(xué)術(shù)圈走向工業(yè)界再到產(chǎn)業(yè)化的歷程中，找尋屬于中國(guó)企業(yè)的機(jī)會(huì)和挑戰(zhàn)到底在哪里。

01

學(xué)術(shù)時(shí)代：學(xué)者們的“刀耕火種”

想要講清楚深度學(xué)習(xí)框架的起源，難免要花上一定的篇幅，簡(jiǎn)單概述下人工智能技術(shù)的進(jìn)化歷程：

早在1943年，美國(guó)心理學(xué)家麥卡洛克和數(shù)學(xué)家皮茨就提出了人工神經(jīng)網(wǎng)絡(luò)的概念，比世界上最早的通用計(jì)算機(jī)的出現(xiàn)還早了3年時(shí)間。

其后出現(xiàn)了不少新概念和新模型，但人工智能的進(jìn)展始終差強(qiáng)人意。直到杰弗里·辛頓在2006年發(fā)表了一篇題為《一種深度置信網(wǎng)絡(luò)的快速學(xué)習(xí)算法》的文章，其中的核心理念是利用 GPU 來(lái)加速訓(xùn)練，大幅提高了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度。

時(shí)間來(lái)到2012年，師從杰弗里·辛頓的多倫多大學(xué)研究生艾力克斯·克柴夫斯基，在當(dāng)年的 ImageNet 挑戰(zhàn)賽中使用一種新的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行訓(xùn)練，在 ImageNet 數(shù)據(jù)集上達(dá)到了 SOTA 精度，遠(yuǎn)超一些學(xué)術(shù)界的頂級(jí)團(tuán)隊(duì)。這種深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，就是后來(lái)大名鼎鼎的AlexNet，并在全球范圍內(nèi)掀起了深度學(xué)習(xí)的熱潮。

圖：杰弗里·辛頓

在機(jī)器學(xué)習(xí)大行其道的時(shí)候，幾乎沒(méi)有一種算法在大量的問(wèn)題上取得壓倒性的優(yōu)勢(shì)，大多數(shù)業(yè)務(wù)問(wèn)題可以通過(guò)大數(shù)據(jù)和算法結(jié)合的經(jīng)典方式解決�？傻搅松疃葘W(xué)習(xí)的時(shí)代，數(shù)據(jù)、算法和算力都在爆炸式增長(zhǎng)，為了提高工作的效率，一些研究者開始編寫深度學(xué)習(xí)模型的幾個(gè)必要過(guò)程，把前人的研究成果不斷沉淀其中，后來(lái)人可以直接調(diào)用某些成果，大幅降低了編寫深度學(xué)習(xí)模型的門檻。

“深度學(xué)習(xí)框架”的概念由此誕生，迅速涌現(xiàn)出了Theano、Caffe、Torch等多款深度學(xué)習(xí)框架，至今仍是人工智能圈子里的熱門話題。

科技文明的每一次躍進(jìn)，都離不開個(gè)體的靈光乍現(xiàn)，人工智能又恰恰是一個(gè)標(biāo)準(zhǔn)的眾創(chuàng)型技術(shù)。所以早期深度學(xué)習(xí)框架的締造者，往往被賦予一種特殊的光環(huán)，并隨著時(shí)間的推移不斷放大其中的價(jià)值。可回頭來(lái)看，這些盛名在外的早期框架也有著時(shí)代的局限性，所能解決的往往是一類問(wèn)題，而且有著鮮明的學(xué)術(shù)色彩。

比如艾力克斯·克柴夫斯基就寫過(guò)一套名叫Cuda－Convnet的深度學(xué)習(xí)框架，可以在GPU上快速跑神經(jīng)網(wǎng)絡(luò)，卻不怎么重視工程設(shè)計(jì)，也談不上模塊化和抽象化能力，單純是為了搞科研、出論文。

深度學(xué)習(xí)開源工具的鼻祖Theano，嚴(yán)格地說(shuō)是一個(gè)擅長(zhǎng)處理多維數(shù)組的 Python 庫(kù)，用于高效解決多維數(shù)組的計(jì)算問(wèn)題。相較于當(dāng)前深度學(xué)習(xí)框架的功能，Theano更像是一個(gè)數(shù)學(xué)表達(dá)式的編譯器。

值得一提的是，在深度學(xué)習(xí)框架“刀耕火種”的日子里，中國(guó)的學(xué)者們并沒(méi)有缺席。百度2013年成立了深度學(xué)習(xí)研究院，Caffe等框架的主導(dǎo)者中都有華人的身影。暗合科技創(chuàng)新的潛在趨勢(shì)，中國(guó)不再是創(chuàng)新進(jìn)程中的跟隨者，這一次我們也站在了最前沿的領(lǐng)域。

02

商業(yè)時(shí)代：科技巨頭“闖入江湖”

2015年是深度學(xué)習(xí)框架的轉(zhuǎn)折點(diǎn)，這年前后發(fā)生了兩件深刻影響到人工智能歷史進(jìn)程的重要事件：

一件發(fā)生在學(xué)術(shù)領(lǐng)域。微軟亞洲研究院的學(xué)者提出了著名的ResNet架構(gòu)，影響力絲毫不輸當(dāng)年的AlexNet，不僅在ImageNet的準(zhǔn)確率上再創(chuàng)新高，也讓學(xué)術(shù)界外的工業(yè)界形成了一個(gè)共識(shí)，即深度學(xué)習(xí)將成為下一個(gè)重大技術(shù)趨勢(shì)。

另一件發(fā)生在圍棋圈。谷歌旗下DeepMind團(tuán)隊(duì)開發(fā)的AlphaGo，和韓國(guó)著名棋手李世石進(jìn)行了一場(chǎng)圍棋人機(jī)大戰(zhàn)，最終以4比1的總比分獲勝。由此出圈的不只有AlphaGo和谷歌，深度學(xué)習(xí)的概念也被越來(lái)越多的“行外人”知曉。

后知后覺(jué)的話，這兩起事件都有其吊詭之處。ResNet在2015年的原始?xì)埐罹W(wǎng)絡(luò)的結(jié)果一度被質(zhì)疑無(wú)法復(fù)現(xiàn)，而AlphaGo的圍棋挑戰(zhàn)賽本身就有作秀的嫌疑。草蛇灰線，伏脈千里，不尋常的背后是科技巨頭們的精妙布局。

2013年3月，谷歌以4400萬(wàn)美元的價(jià)格收購(gòu)了杰弗里·辛頓創(chuàng)建的DNNResearch，這場(chǎng)交易的重心并不是什么新業(yè)務(wù)，而是辛頓本人和他的兩位學(xué)生。據(jù)說(shuō)百度也參與了這場(chǎng)“拍賣”，并堅(jiān)持到了辛頓做出選擇的最后一刻。

谷歌瘋狂“斂才”的原因，在2015年11月被揭曉：谷歌大腦團(tuán)隊(duì)開發(fā)的深度學(xué)習(xí)框架TensorFlow正式開源，杰弗里·辛頓為此做了很多貢獻(xiàn)。谷歌的另一位研究員弗朗索瓦·喬萊特，幾乎獨(dú)自完成了Keras框架的開發(fā)，為谷歌再添一條護(hù)城河。

遺憾錯(cuò)失杰弗里·辛頓的百度也沒(méi)閑著，2012年開始大規(guī)模采購(gòu)和建立GPU運(yùn)算集群，是國(guó)內(nèi)最早投入研究深度學(xué)習(xí)平臺(tái)的企業(yè)，培養(yǎng)和吸納大批AI頂尖人才，內(nèi)部打磨重構(gòu)多年的PaddlePaddle，也在2016年正式開源，后來(lái)取了一個(gè)中文名字叫“飛槳”。

同樣對(duì)深度學(xué)習(xí)框架野心勃勃的Meta（原Facebook），走了一條循序漸進(jìn)的路。先是控制了著名的深度學(xué)習(xí)庫(kù)Torch，然后用從Python替換了Lua語(yǔ)言，對(duì)Tensor上的全部模塊進(jìn)行重構(gòu)，并在2017年初以PyTorch的身份正式開源。同時(shí)還搞了Caffe2項(xiàng)目，像谷歌一樣開啟了雙平臺(tái)戰(zhàn)略。

這個(gè)階段可以說(shuō)是深度學(xué)習(xí)框架的第一次“百家爭(zhēng)鳴”，Amazon主導(dǎo)的MXNet、微軟背書的CNTK陸續(xù)出現(xiàn)在開源名單上。深度學(xué)習(xí)框架不再是學(xué)者們的自留地，科技巨頭們接過(guò)了主導(dǎo)市場(chǎng)的權(quán)柄。

相對(duì)應(yīng)的是新舊交替的一幕。

Alpha Go最初是基于Torch開發(fā)的，但在TensorFlow開源后立即進(jìn)行了遷移；Theano的開發(fā)團(tuán)隊(duì)在2017年9月宣布停止維護(hù)和更新，從此退出了歷史舞臺(tái)；微軟的CNTK經(jīng)歷了一定時(shí)間的奮力追趕后，最終在2019年宣布停止維護(hù)；Keras后來(lái)被TensorFlow收編，Caffe2被PyTorch接納．．．．．．

還有很多不知名的深度學(xué)習(xí)框架，還沒(méi)來(lái)得及被外界所熟知，就被埋在了人工智能高速增長(zhǎng)所掀起的塵土中。相比于豪擲千金買技術(shù)、團(tuán)隊(duì)、人才的巨頭，很多初創(chuàng)企業(yè)常常被各種因素束手束腳，結(jié)局在一開始就注定了。

03

應(yīng)用時(shí)代：“剩者為王”的競(jìng)速賽

正如人類歷史屢屢被驗(yàn)證的趨勢(shì)，深度學(xué)習(xí)框架經(jīng)歷過(guò)短暫的激烈角逐后，也呈現(xiàn)出了“寡頭化”的局面。

背靠谷歌這座開源大山，TensorFlow在開源伊始就表現(xiàn)出了主場(chǎng)優(yōu)勢(shì)，大批學(xué)者自覺(jué)轉(zhuǎn)移了陣地。按照谷歌天才科學(xué)家杰夫·迪恩在一次演講中的說(shuō)法：2016年TensorFlow的論文引用次數(shù)呈現(xiàn)出指數(shù)級(jí)暴漲。

不過(guò)，谷歌無(wú)意在學(xué)術(shù)圈畫地為牢，早早將目光瞄向了工業(yè)界，得到了英特爾、英偉達(dá)等硬件平臺(tái)的配合，向全球開發(fā)者免費(fèi)供給AI庫(kù)與工具，并在2015年推出了專門為TensorFlow框架打造的計(jì)算神經(jīng)網(wǎng)絡(luò)專用芯片TPU，引發(fā)了云端造芯的浪潮，并以每年一代的速度持續(xù)迭代。

應(yīng)該說(shuō)，谷歌的商業(yè)嗅覺(jué)非常靈敏，ResNet和AlphaGo一下子就點(diǎn)燃了工業(yè)界的激情，人工智能以熊熊大火之勢(shì)席卷工業(yè)界。TensorFlow自然而然地向工業(yè)需求進(jìn)行傾斜，逐步推出了TensorFlow Serving、TensorFlow Lite等產(chǎn)品，讓客戶可以在云、服務(wù)器、移動(dòng)設(shè)備和 IoT 設(shè)備上進(jìn)行部署。

此舉卻被學(xué)術(shù)界詬病連連，學(xué)者們追求的不是部署的便捷性，而是易用性。這也為身為后來(lái)者的PyTorch提供了可乘之機(jī)，憑借“易用性”的聚力一招，PyTorch在研究領(lǐng)域迅速站穩(wěn)腳跟，大多數(shù)出版論文和開源模型都在使用 PyTorch，目前論文中的占比已經(jīng)達(dá)到80％，有了和TensorFlow分庭抗禮的資格。

國(guó)外不少研究者心中，深度學(xué)習(xí)框架已經(jīng)是TensorFlow和 PyTorch共天下的局面，代表了深度學(xué)習(xí)框架研發(fā)和生產(chǎn)中 90％ 以上的用例�？蓪⒅袊�(guó)市場(chǎng)納入討論范疇的話，則出現(xiàn)了一些不同的聲音。

知名市場(chǎng)調(diào)研機(jī)構(gòu)IDC曾在2020年下半年公布了一份中國(guó)深度學(xué)習(xí)框架平臺(tái)市場(chǎng)份額的報(bào)告，TensorFlow、飛槳和PyTorch排名前三，合計(jì)占據(jù)了70％以上的份額。等到2021年上半年，IDC再次更新了市場(chǎng)報(bào)告，彼時(shí)百度飛槳已經(jīng)超越TensorFlow位居中國(guó)市場(chǎng)綜合份額第一。

我們?cè)�就這份報(bào)告詢問(wèn)過(guò)不少開發(fā)者，對(duì)方給出的回答大多是“沒(méi)想到”，再進(jìn)一步的溝通后，聽到最多的聲音是：“原來(lái)EasyDL也是飛槳的產(chǎn)品。”其中被頻頻強(qiáng)調(diào)的EasyDL，是百度基于飛槳深度學(xué)習(xí)框架構(gòu)建的零門檻AI開發(fā)平臺(tái)，開發(fā)者上傳數(shù)據(jù)并標(biāo)注后，即可訓(xùn)練相應(yīng)的模型部署應(yīng)用。

考慮到中國(guó)在人才方面的巨大缺口，飛槳的市場(chǎng)滲透方式有著鮮明的實(shí)用主義，先讓客戶把AI模型用起來(lái)，哪怕他們并不知道后面還有一個(gè)深度學(xué)習(xí)框架。因?yàn)橹袊?guó)的大部分中小企業(yè)并不具備專業(yè)的AI算法開發(fā)能力，開發(fā)定制 AI 模型絕不是一件容易的事。可從結(jié)果導(dǎo)向的話，飛槳或許摸索出了不同于谷歌、Facebook的第三條路。

巨頭們“闖入江湖”的連鎖反應(yīng)已然發(fā)生，市場(chǎng)份額越來(lái)越向少數(shù)幾個(gè)平臺(tái)集中，無(wú)論是美國(guó)還是中國(guó)，同時(shí)在便捷性、易用性、穩(wěn)定性的多重指標(biāo)下，算法、算力、編譯器等一個(gè)都不能少，深度學(xué)習(xí)框架的門檻正變得高不可攀。

04

產(chǎn)業(yè)時(shí)代：中國(guó)市場(chǎng)“暗”流涌動(dòng)

中國(guó)市場(chǎng)對(duì)深度學(xué)習(xí)框架的關(guān)注，在時(shí)空上遲滯了許多，直到中美科技戰(zhàn)的爆發(fā)，相關(guān)討論才多了起來(lái)。

相當(dāng)長(zhǎng)的一段時(shí)間里，中國(guó)開發(fā)者都是TensorFlow、PyTorch的重度擁躉，還有一些企業(yè)曾經(jīng)深耕過(guò)MXNet。這里面的原因很復(fù)雜，百度的工程師文化講求實(shí)干不張揚(yáng)，飛槳在很長(zhǎng)一段時(shí)間里專注于技術(shù)和產(chǎn)品，在輿論場(chǎng)上缺少存在感。

國(guó)內(nèi)的其他互聯(lián)網(wǎng)公司則犯了“拿來(lái)主義”的錯(cuò)誤，要么缺少創(chuàng)新精神，怯于和海外的科技巨頭同臺(tái)競(jìng)技；要么奔著摘果子的心態(tài)，等別人探索出了眉目再跟隨借鑒．．．．．． 所以在2020年以前，中國(guó)的深度學(xué)習(xí)框架屈指可數(shù)，除了百度打造的飛槳，只有小米MACE、阿里巴巴XDL在內(nèi)的幾個(gè)推理框架。

轉(zhuǎn)機(jī)出現(xiàn)在2018年前后，中興、華為等企業(yè)先后被美國(guó)制裁。當(dāng)Matlab這樣的老牌工具都能被禁用時(shí)，不少企業(yè)逐漸嗅到了“危險(xiǎn)”的氣息：倘若Pytorch和Tensorflow有一天重蹈Matlab的覆轍，對(duì)中國(guó)AI產(chǎn)業(yè)的影響無(wú)異于釜底抽薪。

深度學(xué)習(xí)框架的應(yīng)用也在這個(gè)時(shí)間點(diǎn)進(jìn)入了產(chǎn)業(yè)化階段，且呈現(xiàn)出了兩個(gè)典型的特征：一是大型模型訓(xùn)練，GPT－3、BERT等大模型的誕生，需要在數(shù)百臺(tái)甚至數(shù)千臺(tái)設(shè)備上進(jìn)行訓(xùn)練，所瞄準(zhǔn)的正是產(chǎn)業(yè)化的需求；二是可用性，TensorFlow、飛槳、PyTorch先后引入了計(jì)算圖和動(dòng)態(tài)圖，目的是讓運(yùn)算更加簡(jiǎn)潔，開發(fā)者可以采用命令式的編程風(fēng)格，方便進(jìn)行模型的調(diào)試。

留給企業(yè)和開發(fā)者的，其實(shí)是一個(gè)三難的選擇：倘若像過(guò)去那樣All in國(guó)外的深度學(xué)習(xí)框架，存在著各種不確定風(fēng)險(xiǎn)；如果盲目退出國(guó)外的框架，似乎也不是理智的選擇，有競(jìng)爭(zhēng)才會(huì)有進(jìn)步；何況深度學(xué)習(xí)框架屬于高投入、長(zhǎng)周期、搶生態(tài)的競(jìng)爭(zhēng)，在產(chǎn)業(yè)鏈中承上啟下的關(guān)鍵地位，有著統(tǒng)領(lǐng)產(chǎn)業(yè)進(jìn)步節(jié)奏、帶動(dòng)終端場(chǎng)景與云端服務(wù)協(xié)同發(fā)展的重要作用，押錯(cuò)寶的代價(jià)不言而喻。

所幸最后的結(jié)果并不算糟糕。

按照百度官方的信息，目前基于飛槳開發(fā)的模型數(shù)量已經(jīng)有47．6萬(wàn)個(gè)，不乏文心等大模型，服務(wù)的開發(fā)者數(shù)量已經(jīng)達(dá)到406萬(wàn)，并在270多所高校開設(shè)了AI學(xué)分課程。至少可以保證在中國(guó)市場(chǎng)上奠定飛槳、TensorFlow、PyTorch三分天下的格局，再在市場(chǎng)份額分配上徐徐圖謀。

進(jìn)入2020年以后，清華大學(xué)計(jì)圖、曠視科技天元、華為MindSpore、一流科技OneFlow相繼開源，騰訊和阿里也在后面推出了PocketFlow、X－Deep Learning。如果這些新空間有能力以資金、人才等資源換時(shí)間，針對(duì)中國(guó)產(chǎn)業(yè)的需求因地制宜，也不排除進(jìn)一步向國(guó)外框架搶奪份額的可能。

回到文初遺留的問(wèn)題，在AI基礎(chǔ)技術(shù)的角逐中，來(lái)自中國(guó)的力量確實(shí)有些孤獨(dú)，很長(zhǎng)時(shí)間里只有百度一家在搏殺。好在結(jié)果并不糟糕，在深度學(xué)習(xí)框架的“PPT”（飛槳PaddlePaddle、PyTorch、TensorFlow）格局中，已經(jīng)有一個(gè)字母是來(lái)自中國(guó)，不必再面臨被封殺后無(wú)計(jì)可施的境地。

05

結(jié)語(yǔ)

距離1956年的達(dá)特矛斯會(huì)議，已經(jīng)走過(guò)了66個(gè)春秋，人工智能終于迎來(lái)了工業(yè)大生產(chǎn)的浪潮。來(lái)自中國(guó)的企業(yè)和科學(xué)家們，或許缺席了人工智能的過(guò)去，卻在一步步錨定人工智能的未來(lái)。

目前中國(guó)已經(jīng)在AI應(yīng)用層站穩(wěn)了腳跟，近幾年的專利申請(qǐng)甚至超過(guò)了美國(guó)，在數(shù)據(jù)、人才、市場(chǎng)等方面的綜合優(yōu)勢(shì)正在逐步顯現(xiàn)。假如可以用深度學(xué)習(xí)框架進(jìn)一步聚合開發(fā)者、資本和平臺(tái)，創(chuàng)造有利于創(chuàng)新的土壤，不無(wú)可能擺脫“數(shù)字鐵幕”的威脅，讓中國(guó)AI在一條堅(jiān)實(shí)的道路上加速奔跑。

主理人 ｜ 張賀飛（Alter）

       原文標(biāo)題 : 深度學(xué)習(xí)框架簡(jiǎn)史：PPT格局初現(xiàn)，中國(guó)占有一席