自3月16日百度文心一言發(fā)布以來，關(guān)于文心一言與GPT4的對(duì)比評(píng)測(cè)已經(jīng)很多。今天我們對(duì)兩者進(jìn)行寫作能力測(cè)試，即在既定寫作要求下的文本生成能力。

GPT4最重大的更新就是多模態(tài)，可以根據(jù)文本或圖像輸入，提供文本輸出（圖像輸入暫時(shí)未上線）。號(hào)稱中國版chatGPT的文心一言，一開始就具備多模態(tài)內(nèi)容生成能力，比如文生圖，文生視頻等。

不過，雖然大模型在多模態(tài)方面積極探索，但通過文本輸出輔助寫作仍然是類chatGPT產(chǎn)品最重要的功能之一。普通人怎么利用類chatGPT產(chǎn)品更快更好地寫東西？是更值得思考的問題。

今天，「智能進(jìn)化論」從幾個(gè)主流的寫作類型展開測(cè)試，看看文心一言和GPT4誰更強(qiáng)？

圖片來自攝圖網(wǎng)

本次測(cè)試的寫作類型有：

1. 新聞稿

2. 廣告文案Slogan

3. 廣告創(chuàng)意腳本

4. 小學(xué)生作文

5. 高考作文

6. 知乎回答

7. 商業(yè)評(píng)論文章

8. 虛構(gòu)故事

寫在前面：

測(cè)試對(duì)象：

文心一言（企業(yè)版云服務(wù)）

基于GPT4的chatGPT Plus

實(shí)時(shí)搜索能力：

文心一言是聯(lián)網(wǎng)的，具備實(shí)時(shí)搜索能力；

chatGPT Plus不能聯(lián)網(wǎng)，它的知識(shí)截止于2021年9月。從信息更新的角度，chatGPT Plus是不占優(yōu)勢(shì)的。

       擅長語言：

文心一言擅長中文。GPT4擅長英文。GPT4處理中文任務(wù)能力相對(duì)較弱，在應(yīng)對(duì)中文問題時(shí)不如英文那樣精確和流暢。所以回答中文問題，chatGPT Plus有些吃虧。

•        輸入指令長度限制：

chatGPT Plus可以支持 25000單詞；文心一言對(duì)輸入限制在1024字。一般情況下，不需要這么長的輸入，都足以描述清楚任務(wù)。本文每組測(cè)試的輸入完全一致，有時(shí)因?yàn)槠�幅，沒有完全顯示。

• 聲明：本文對(duì)兩種產(chǎn)品的打分僅代表個(gè)人觀點(diǎn)（滿分5分），且僅針對(duì)文中特定回答結(jié)果的評(píng)判。

以下是對(duì)8種寫作類型的初步測(cè)試：

1 新聞稿

文心一言：1分

chatGPT Plus：2分

3月一波旗艦手機(jī)即將發(fā)布，我們以O(shè)PPO Find X6為例，讓文心一言和chatGPT Plus寫一篇預(yù)熱新聞稿。

文心一言可能沒有完全理解“寫一篇新聞稿”的要求，不具備新聞稿的文體形式，而且產(chǎn)品賣點(diǎn)有遺漏。也沒有通過實(shí)時(shí)搜索，豐富和補(bǔ)充信息。

chatGPT Plus寫出了像樣的新聞稿，并在標(biāo)題、導(dǎo)語、結(jié)尾這些地方突出了核心賣點(diǎn)“影像旗艦”。這說明語義理解能力強(qiáng)，可以從給定信息中抓重點(diǎn)。但距離可以直接用還有很長距離，只能說快速提供了一版最原始的初稿。

      2 廣告文案Slogan

文心一言：3分

chatGPT Plus：2分

顯然文心一言生成的中文句式更靈活多變，畢竟母語優(yōu)勢(shì)在。

      3 廣告創(chuàng)意腳本

文心一言：2分

chatGPT Plus：2分

兩者都沒有太多創(chuàng)意可言。文心一言的方案過長，有些混亂，顯然沒有理解15秒廣告的意思。chatGPT Plus的文案平平無奇。

      4 小學(xué)生作文

文心一言：3分

chatGPT Plus：3分

我們要求作文中要有故事沖突。多試幾次，文心一言和chatGPT Plus都能給出一個(gè)語句通順的作文，但都不出彩，有點(diǎn)像流水賬。

      5 高考作文

文心一言：——

chatGPT Plus：3分

“本手、妙手、俗手”是2022年登上熱搜的一道作文題。

文心一言完全敗北，沒有理解題意，居然寫成了“如何下好圍棋”。

chatGPT Plus順利完成了文章，懂得從圍棋引申到生活領(lǐng)悟。但出現(xiàn)引用錯(cuò)誤，“執(zhí)大象，天下往”不是莊子說的，而出自老子的《道德經(jīng)》。而且文章結(jié)尾沒有寫完。

      6 知乎問答

文心一言：2分

chatGPT Plus：4分

chatGPT是快速產(chǎn)出互聯(lián)網(wǎng)問答的好工具。不過連著兩個(gè)問題下來，文心一言有點(diǎn)不在狀態(tài)。

我們先問了“為什么當(dāng)代年輕人戒不掉熬夜？”，又問了“為什么現(xiàn)在的年輕人都不想卷了？”，都是知乎熱門問題。

第一次， 文心一言居然沒有理解什么是“卷”，并照搬了自己前面回答的熬夜的答案。

過一會(huì)再問，恢復(fù)了正常。這一點(diǎn)在其他評(píng)測(cè)中也出現(xiàn)過。即文心一言容易受之前問題的影響。如果前后兩個(gè)問題形式相近，文心一言會(huì)“偷懶”，直接copy第一個(gè)答案用在第二個(gè)回答上。實(shí)際上，兩個(gè)問題在內(nèi)容上完全不相關(guān)。

      7 商業(yè)評(píng)論文章

文心一言：4分

chatGPT Plus：3分

文心一言回答更全面，還補(bǔ)充了挑戰(zhàn)和應(yīng)對(duì)建議。

chatGPT Plus邏輯清晰，而且回答有結(jié)構(gòu)性。

      8 虛構(gòu)故事

文心一言：1分

chatGPT Plus：4分

我們以《名偵探柯南》為例，看看文心一言和chatGPT Plus編故事的能力。

chatGPT Plus的故事比較完整，有畫面感，而且符合柯南的敘事風(fēng)格。

對(duì)于虛構(gòu)文體，文心一言的故事架構(gòu)能力和想象力有待提升。

      總結(jié)

總體來看，GPT4即使在不擅長的中文領(lǐng)域，仍然更加技高一籌。包括更精準(zhǔn)的語義理解能力、生成文本的邏輯性、創(chuàng)造性等方面。

而文心一言對(duì)一些發(fā)散式問題，視角更全面，細(xì)節(jié)更豐富。當(dāng)然，文心一言還存在一些明顯的問題，比如有時(shí)語義理解能力掉線，有時(shí)容易受之前問題影響，給出答非所問的重復(fù)答案。

不過，一切才剛剛開始。

chatGPT誕生4個(gè)月了，文心一言才誕生4天。

目前對(duì)比的結(jié)果，只是為我們提供類chatGPT產(chǎn)品寫作能力的感知。chatGPT對(duì)每個(gè)人能產(chǎn)生多大價(jià)值，離不開具體的個(gè)性化的探索。

而且現(xiàn)在的感知可能很快就過時(shí)了，需要重新迭代。因?yàn)榇竽Ｐ偷倪M(jìn)化相當(dāng)快。相當(dāng)于一個(gè)孩子第一天剛學(xué)會(huì)加減乘除，第二天就會(huì)微積分了。畢竟chatGPT和文心一言都在飛速進(jìn)化。

關(guān)于類chatGPT產(chǎn)品的最新進(jìn)展，「智能進(jìn)化論」也將持續(xù)關(guān)注。

END

本文為「智能進(jìn)化論」原創(chuàng)作品。