訂閱
糾錯
加入自媒體

GPT-4,下周到來!

自從整合進ChatGPT后必應(yīng)一路開掛,昨日,必應(yīng)日活用戶破億的喜訊傳開。微軟野心不止于此,它希望ChatGPT融入各種軟件生態(tài),不禁加快了技術(shù)升級動作。

就在當(dāng)天,微軟德國首席技術(shù)官 Andreas Braun 在一場會議上提到了將于下周發(fā)布GPT-4。
ChatGPT 的內(nèi)核即將從 GPT-3 升級為 GPT-4 ,參數(shù)規(guī)?赡懿⒉粫 GPT-3 大很多,但關(guān)鍵細節(jié)是,GPT-4 是多模態(tài)的。

多模態(tài)版 GPT-4 下周到來

2023年3月9日的“AI in Focus - Digital Kickoff”的會議主題是介紹微軟展示幾款類如GPT一樣牛逼的大型語言模型(LLM)產(chǎn)品的。

在展開對Azure-OpenAI 產(chǎn)品介紹時,由于 GPT-4  相關(guān)關(guān)注熱情過高,微軟德國首席技術(shù)官 Andreas Braun 對 GPT 的發(fā)布時間進行了回應(yīng):它快來了,下周。

德國微軟是 OpenAI 的重要合作伙伴,在關(guān)于GPT-4傳言回應(yīng)可以說是最接近官方的。
從三月初 Kosmos-1發(fā)布以來,微軟就再不斷用 OpenAI 對多模態(tài)進行微調(diào)。Andreas Braun 提到了即將發(fā)布的數(shù)據(jù),諸多信息在官宣前還要保密,但可以透露的是,GPT-4將是多模態(tài)的。
網(wǎng)傳GPT-3和GPT-4的區(qū)別
之前就有業(yè)務(wù)消息流出,OpenAI 在 beta 測試版 GPT-4 中采用了更強大的大語言模型,相較前代 GPT-4 可能不會有參數(shù)量上的顯著上升,但會在其他方向?qū)で筇岣撸癘penAI 也確實在開發(fā)一款通過文字能生成視頻的 AI 模型”。
這意味著,GPT-4 不單單可以生成文字,還可以生成語音,圖像,視頻。這對于 ChatGPT 只能夠生成文本的進步幅度是顯著的。
本內(nèi)容( LLM)的 ChatGPT 相比,Kosmos-1 屬于多模態(tài)大型語言模型(MLLM),目前能同時理解文字與圖像內(nèi)容,GPT-4的多模態(tài)可謂令人期待。

GPT-1到GPT-4的發(fā)展歷程

近兩年的時間里,Chat GPT-1到GPT-4在目標(biāo)和概念、使用的數(shù)據(jù)集、模型架構(gòu)和實現(xiàn)細節(jié)歷經(jīng)了四次迭代。
GPT-1 通過生成預(yù)訓(xùn)練(GPT-1)提高語言理解,但監(jiān)督模型有兩個限制——大量注釋數(shù)據(jù)來學(xué)習(xí)通常不容易獲得的特定任務(wù);也無法概括自己所接受訓(xùn)練以外的任務(wù)。該模型顯示了生成性預(yù)訓(xùn)練的力量,并為其他模型開辟了道路,這些模型可以通過更大的數(shù)據(jù)集和更多的參數(shù)更好地釋放這種潛力。
GPT-2 使用更大的數(shù)據(jù)集和向模型中添加更多參數(shù)以學(xué)習(xí)更強大的語言模型方面,但GPT-2對WebText數(shù)據(jù)集的擬合不足,需要減少困惑并使語言模型更好地理解自然語言。
GPT-3 是少樣本學(xué)習(xí)者語言模型,能夠生成高質(zhì)量的文本,但有時它會在制定長句子時開始失去連貫性,并一遍又一遍地重復(fù)文本序列。
GPT-4 將能更準(zhǔn)確地推斷用戶的意圖。GPT-4 不需要比 GPT-3 大很多就可以更強大。語言模型的最大缺點之一是用于訓(xùn)練的資源。公司通常決定以較低的價格交換準(zhǔn)確性,從而導(dǎo)致 AI 模型明顯未優(yōu)化。

微軟GPT 是業(yè)內(nèi)一條鯰魚

微軟的 ChatGPT 對業(yè)內(nèi)無疑是一條投進沙丁魚群的鯰魚,迅速引發(fā)了魚群應(yīng)激。
行業(yè)老大哥谷歌手握類ChatGPT技術(shù)兩年,由于發(fā)生了幾次類如谷歌 Bard 聊天機器人公開演示中犯錯導(dǎo)致股價大跌的事情后,團隊變得過度謹(jǐn)慎,放緩了產(chǎn)品化和商品化進度,結(jié)果一次次被微軟 OpenAI 搶先。
OpenAI實力和運氣都顯得很好。選擇去年11月底推出ChatGPT是個明智之舉,22年初期演示的時候還是GPT-3.0,年底推出了GPT-3.5,3.0到3.5做了很多優(yōu)化,例如CoT(思維鏈,Chain of Thought)能力,一經(jīng)面世給了用戶很多驚喜。
昨日微軟必應(yīng)發(fā)布喜訊,稱日活用戶破億。搜索領(lǐng)域一直被谷歌制霸,微軟歷經(jīng)數(shù)年疲軟,此次增長十分振奮士氣。
這讓諸多廠家看到了希望,先是原來手握大語言模型主動權(quán)的谷歌和微軟差點打起來;比爾·蓋茨、埃隆·馬斯克、英偉達CEO黃仁勛等大佬也緊密關(guān)注動向;國內(nèi)Baidu、Alibaba、網(wǎng)易、360、字節(jié)等大廠爭相布局;創(chuàng)投圈也都做著“一朝人工智障變人工智能”的美夢“看好就投”。
就在昨日維科網(wǎng)人工智能還報道了美團王興投資好友做GPT相關(guān)方向的創(chuàng)業(yè)。
微軟德國首席技術(shù)官 Andreas Braun 稱微軟在做的大語言模型是“游戲改變者”,它們教會機器理解自然語言,它將向著擁有人類的解釋能力這一目標(biāo)進步。
微軟目前運氣不錯,至于會不會被谷歌或后起之秀的廠商偷家?也許這波熱浪稍微降溫之后會看得更清楚,過熱會盲判。


聲明: 本網(wǎng)站所刊載信息,不代表OFweek觀點?帽菊靖寮瑒(wù)經(jīng)書面授權(quán)。未經(jīng)授權(quán)禁止轉(zhuǎn)載、摘編、復(fù)制、翻譯及建立鏡像,違者將依法追究法律責(zé)任。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯
x
*文字標(biāo)題:
*糾錯內(nèi)容:
聯(lián)系郵箱:
*驗 證 碼:

粵公網(wǎng)安備 44030502002758號