知情郎·眼|

科技那些事兒

OpenAI用一場低調(diào)而華麗的“GPT-4”發(fā)布會震撼了世界，低調(diào)的是“公關(guān)聲量”，華麗的則是技術(shù)與應(yīng)用。

在這場發(fā)布會上，人們驚訝的發(fā)現(xiàn)，人工智能不僅能自由的編寫代碼，能承擔(dān)文本、音頻、圖像的生成任務(wù)，甚至還聽得懂“梗”，擁有人類般的幽默感。

無數(shù)人震撼失語，看完這場發(fā)布會，推想科技CEO陳寬稱“人工智能領(lǐng)域的奇點在敲門”，著名經(jīng)濟學(xué)家朱嘉明表示，OpenAI又創(chuàng)造出了一個重大科技事件，AI由此達到了前所未有的“新歷史高度”。但實際上，OpenAI GPT-4的應(yīng)用能力比它在發(fā)布會上展現(xiàn)的還要強大。

GPT-4 強在哪里

和外界此前的猜測一樣，GPT-4是一個多模態(tài)大型語言模型，不再僅僅處理文本數(shù)據(jù)，對圖片也有了理解能力。但相比于此前各大科技公司推出的多模態(tài)模型，GPT-4可以說是遙遙領(lǐng)先。雖然官方表示，GPT-4現(xiàn)在只開放了文字輸入的功能，圖片輸入功能還在加緊開發(fā)中。但在官方的文章中，OpenAI給出了幾個使用范例，如說明圖片的內(nèi)容、分析圖表、解答圖片內(nèi)的考題、找出圖片不尋常的原因等，已經(jīng)讓人大開眼界。

在OpenAI官方發(fā)布的視頻中，GPT-4通過識別上圖中隨便畫出的草圖，就識別出了這是一個關(guān)于網(wǎng)站的草圖，然后“順手”生成了建成這個網(wǎng)頁的全部代碼，再然后...一個網(wǎng)站就這樣建成了。

一直以來，人工智能雖然表現(xiàn)出了強大的能力，但邏輯推理依然是人類區(qū)別于AI的最顯著特征，而GPT-4表現(xiàn)出的邏輯和推理能力，需要所有人開始重新思考人類區(qū)別于AI的本質(zhì)到底是什么。

相比GPT-3.5，GPT-4更可靠、更有創(chuàng)意，對于更細微的指令的處理能力更強。在各種專業(yè)測試和學(xué)術(shù)基準上，GPT-4與人類水平相當(dāng)。它通過了模擬律師考試，且分數(shù)在應(yīng)試者的前10%左右（GPT-3.5的得分在倒數(shù)10%左右）。此外，對于英語以外的語種支持，GPT-4也得到了更多優(yōu)化。

GPT-4是如何訓(xùn)練出來的

遵循GPT、GPT-2和GPT-3的研究路徑，OpenAI的深度學(xué)習(xí)方法利用更多數(shù)據(jù)和更多計算來創(chuàng)建越來越復(fù)雜和強大的語言模型。

OpenAI花了6個月的時間使用對抗性測試程序和ChatGPT的經(jīng)驗教訓(xùn)迭代調(diào)整 GPT-4，從而在真實性、可操縱性以及拒絕越界和敏感問題方面獲得了有史以來最好的結(jié)果。

在OpenAI的內(nèi)部評估中，與GPT-3.5相比，GPT-4響應(yīng)被禁止內(nèi)容請求的可能性低82%，產(chǎn)生事實響應(yīng)的可能性高40%。

與以前的GPT模型一樣，GPT-4基礎(chǔ)模型經(jīng)過訓(xùn)練可以預(yù)測文檔中的下一個單詞，并且使用公開可用的數(shù)據(jù)（例如互聯(lián)網(wǎng)數(shù)據(jù)）以及已獲得許可的數(shù)據(jù)進行訓(xùn)練。

盡管功能強大，但GPT-4與早期的GPT模型具有相似的局限。最重要的是，它仍然不完全可靠，會“幻覺”事實并出現(xiàn)推理錯誤。

GPT-4的訓(xùn)練數(shù)據(jù)截止到2021年9月，因此對之后發(fā)生的事件缺乏了解，并且不會從自己的經(jīng)驗中學(xué)習(xí)。它有時會犯一些簡單的推理錯誤，這些錯誤似乎與其強大的跨領(lǐng)域功能不符，有時也會過于輕信用戶明顯錯誤的陳述；有時，它也會像人類一樣在解決難題時失敗，例如在生成的代碼中引入安全漏洞。

OpenAI提醒，在使用語言模型輸出時應(yīng)格外小心，特別是在高風(fēng)險上下文中，使用符合特定用例需求的確切協(xié)議。

GPT的下一站

關(guān)于GPT-4的下一次革命會往哪去眾說紛紜。但GPT-4自己的回答是：

更廣泛的知識覆蓋；

更多語言支持；

更好的創(chuàng)造性；

更好的可解釋性和透明度以及結(jié)構(gòu)化數(shù)據(jù)和知識圖譜。

 圖為GPT-4對自己優(yōu)化方向的預(yù)測

OpenAI自己認為GPT-4仍然有誤差，并有一定的風(fēng)險。其工作人員在推特上發(fā)帖稱：“GPT4和GPT3.5之間的差異可能不會像普通用戶所宣傳的那樣夸大。”

OpenAI納入了更多的人工反饋，包括ChatGPT用戶提交的反饋——這其中可能也包括你與ChatGPT的對話數(shù)據(jù)。OpenAI還與50多位專家合作，在AI安全和保障等領(lǐng)域獲得早期反饋。

雖然生成內(nèi)容的可靠性仍是一個真問題，但GPT-4相對于以前的模型顯著減少了胡說八道。在OpenAI的內(nèi)部對抗性真實性評估中，GPT-4的得分比OpenAI最新的GPT-3.5高 40%：

GPT-4項目的主要焦點之一是構(gòu)建可預(yù)測擴展的深度學(xué)習(xí)框架，主要原因是對于像GPT-4這樣非常大的訓(xùn)練任務(wù)，進行大量的模型特定調(diào)整是不可行的。

OpenAI開發(fā)了基礎(chǔ)設(shè)施和優(yōu)化方法，能夠在多個規(guī)模下表現(xiàn)出非�？深A(yù)測的行為。為了驗證這種可擴展性，OpenAI通過對使用相同方法進行訓(xùn)練但計算量少10000倍的模型進行推斷，在內(nèi)部代碼庫（不是訓(xùn)練集的一部分）上準確預(yù)測了GPT-4的最終損失。

OpenAI正在加大力度開發(fā)方法，為社會提供更好的未來系統(tǒng)預(yù)期指導(dǎo)，希望這成為該領(lǐng)域的共同目標(biāo)。

德高行知情郎認為，GPT-4的突然發(fā)布，讓復(fù)現(xiàn)GPT-3.5和ChatGPT的各類工作都在瞬間黯然失色。在這個時候，不僅谷歌等科技大廠需要思考為什么會落后于僅有三百多名員工的OpenAI，每個人也都需要思考未來的創(chuàng)新到底是什么樣子。

【轉(zhuǎn)載請注明德高行·知情郎】

       原文標(biāo)題 : ChatGPT-4震撼發(fā)布，OpenAI的斷崖式領(lǐng)先，人類的專屬技能不多了