2021年度大創(chuàng)意報告發(fā)布:這15個顛覆性創(chuàng)新改變世界!
15. 第二代細胞和基因療法
第二代細胞和基因療法是該報告的最后一篇,ARK 預測第二代細胞和基因療法可將腫瘤治療的總潛在市場增加 20 倍以上。
時代的寵兒 — 深度學習
根據 ARK 的說法,深度學習可能是我們這個時代最重要的軟件突破。根據 ARK 的研究,深度學習將在未來 15-20 年內為全球股票市值增加 30 萬億美元。
圖 | 深度學習是軟件 2.0
報告認為,深度學習正在創(chuàng)造下一代計算平臺,其中包括:
智能對話平臺:在人工智能的支持下,智能揚聲器在 2020 年回答了 1000 億條語音命令,比 2019 年增長了 75%;
無人駕駛汽車:Waymo 的自動駕駛汽車已在 25 個城市(包括舊金山、底特律和鳳凰城)收集了超過 2000 多萬英里的真實世界行駛里程;
消費類應用程序:使用深度學習進行視頻推薦的 TikTok,日活人數已經超過了 Snapchat 和 Pinterest 的總和。
圖 | 深度學習正在創(chuàng)造下一代計算平臺
ARK 指出:盡管硬件和軟件的進步,每年將人工智能培訓成本降低 37%,但人工智能模型的規(guī)模卻仍以每年 10 倍的速度增長,相比較培訓成本的降低速度來講這種規(guī)模增長的速度更快。因此,人工智能培訓的總成本不斷攀升。我們相信最先進的人工智能培訓模型成本可能會增加 100 倍,從目前的大約 100 萬美元增加到 2025 年的 1 億美元。
圖 | 深度學習需要無限算力
深度學習還將在人工智能芯片領域創(chuàng)造繁榮。ARK 估計,在未來五年中,數據中心在人工智能處理器上的支出將增加四倍以上,從目前的每年 50 億美元增加到 2025 年的 220 億美元。
圖 | 深度學習正在創(chuàng)造 AI 芯片的繁榮
同時,ARK 預測人工智能將從視覺擴展到語言。報告指出:2020 年是會話式 AI 的突破年。人工智能系統首次能夠以人類一樣準確地理解并生成語言。會話式 AI 所需的計算資源是計算機視覺的 10 倍,并在未來幾年會刺激相關領域的大量投資。
圖 | AI 正在從視覺擴展到語言
報告中最大膽的估計也許是,深度學習可以創(chuàng)造比互聯網更大的經濟價值。ARK 認為,深度學習將在未來 15-20 年內為股市的資本增加 30 萬億美元。
圖 | 深度學習可以創(chuàng)造比互聯網更大的經濟價值
引發(fā)關注的 GPT-3
除了上述的內容,Big Ideas 2021 的深度學習部分還使用了單獨頁面介紹了 GPT-3。
報告認為,AI 的每個領域都在進步,而自然語言處理和深度學習正是 AI 領域中發(fā)展最快的部分。GPT-3 是該領域最新的潮流引領者,它一出現就成為了每一個社交媒體討論的話題。
圖 | OpenAI 的 GPT-3 是第一個能真正 “理解” 語言的 AI
GPT 是一種自動回歸語言模型,由人工智能研究實驗室 OpenAI 創(chuàng)建,使用深度學習來生成類似于人的文本。GPT-3 是 GPT 系列的第三代產品,被認為是迄今為止創(chuàng)建的最大的人工神經網絡。該系列模型的工作方式類似于手機中的自動完成功能,可嘗試預測人們輸入中缺少的難題。
2019 年,OpenAI 發(fā)布了擁有 15 億參數的 GPT-2,這是第一個具有超過 10 億參數的自然語言模型,這在當時被人們認為是驚人的壯舉。僅僅過了一年,OpenAI 就發(fā)布了 GPT-3,其參數高達 1750 億,GPT-3 的誕生,顛覆了人們的既有認知。
GPT-3 可以生成推文、寫詩、總結電子郵件、回答瑣碎問題、翻譯語言,甚至可以編寫計算機程序。在這一過程中,它只需要獲得很少的提示就能完成這些任務,其中一些技能甚至讓專家們都措手不及。
盡管以前的語言模型也以類似的方式工作,但 GPT-3 可以執(zhí)行以前模型做不到的事情,比如編寫自己的計算機代碼。更重要的是,它可以只用幾個例子為特定的任務做準備,而不是像它的 “前輩們” 那樣,需要成千上萬個例子和數小時的額外訓練。
而為推動研發(fā)我國自主的大規(guī)模預訓練模型,2020 年 10 月,北京智源人工智能研究院、阿里巴巴、清華大學、中國人民大學、中科院、搜狗、智譜?AI、循環(huán)智能等單位科研骨干組成 “悟道” 聯合攻關團隊,啟動了新型超大規(guī)模預訓練模型研發(fā)項目 “悟道”,包括四類大規(guī)模預訓練模型:
文源:以中文為核心的超大規(guī)模預訓練語言模型 ;
文匯:面向認知的超大規(guī)模新型預訓練模型;
文瀾:超大規(guī)模多模態(tài)預訓練模型;
文溯:超大規(guī)模蛋白質序列預訓練模型。
其中, 文源:以中文為核心的超大規(guī)模預訓練語言模型,第一階段 26 億參數規(guī)模的中文語言模型已于 2020 年 11 月 14 日發(fā)布;文匯:面向認知的超大規(guī)模新型預訓練模型,已于 2021 年 1 月 11 日發(fā)布,文匯模型參數規(guī)模達 113 億,僅次于 DALL?E 模型的 120 億參數量,是目前我國規(guī)模最大的預訓練模型,并已實現與國際領先預訓練技術的并跑。
下一步,“悟道” 團隊將加快四類大規(guī)模預訓練模型的研發(fā)進度。特別是 “文匯” 模型,未來將著力在多語言、多模態(tài)條件下,提升完成開放對話、基于知識的問答、可控文本生成等復雜認知推理任務的能力,使其更加接近人類水平。
身處于一個科技創(chuàng)新的時代中,一行行代碼,一串串數字,背后都蘊藏著無窮的力量。正如 Big Ideas 2021 報告中所說,深度學習可以創(chuàng)造比互聯網更大的經濟價值,并將在未來 15-20 年內為股市的資本增加 30 萬億美元。以 GPT-3 為代表的 AI 前沿發(fā)展方向,也定將開啟一個全新的智能時代。
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-10.29立即報名>> 2024德州儀器嵌入式技術創(chuàng)新發(fā)展研討會
-
10月31日立即下載>> 【限時免費下載】TE暖通空調系統高效可靠的組件解決方案
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月14日立即報名>> 2024工程師系列—工業(yè)電子技術在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯網產業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
推薦專題
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結構工程師 廣東省/深圳市