高質(zhì)量的語(yǔ)料數(shù)據(jù) ，是大模型的“香餑餑”。

眼看著2023就要過(guò)去了，沒(méi)想到年底又曝出一個(gè)大瓜。

近期據(jù)《The Verge》報(bào)道：

字節(jié)跳動(dòng)因使用ChatGPT的API，來(lái)開(kāi)發(fā)自家大模型，被OpenAI“封號(hào)”了。

盡管在事后，字節(jié)澄清，表示自己此舉“僅為測(cè)試”，且早已勒令停止。

然而，這終歸是一件讓人浮想聯(lián)翩的事……

字節(jié)被封號(hào)的背后，打的究竟是什么算盤？

01 字節(jié)想要什么？

雖然在《The Verge》報(bào)道中，沒(méi)有明確指出字節(jié)究竟是怎么用OpenAI的API來(lái)開(kāi)發(fā)自身大模型的，但可能的訓(xùn)練路徑來(lái)說(shuō)，用一個(gè)大模型（例如OpenAI的GPT）來(lái)訓(xùn)練另一個(gè)大模型的過(guò)程，往往有以下幾種。

其中一種，就是“師傅帶徒弟”的模式。

想象一下，師傅（已有的大模型）在處理各種任務(wù)時(shí)，會(huì)生成一些輸出（例如文本、圖像等）。徒弟（新的大模型）會(huì)觀察師傅的行為，嘗試模仿這些輸出。

這樣，徒弟就能學(xué)會(huì)如何處理類似的任務(wù)。在實(shí)際應(yīng)用中，這可以通過(guò)讓新模型學(xué)習(xí)舊模型生成的數(shù)據(jù)來(lái)實(shí)現(xiàn)。

還有一種方式，就是通過(guò)聯(lián)合訓(xùn)練，讓“師傅”和“徒弟”一起處理任務(wù)。

在實(shí)際應(yīng)用中，這可以通過(guò)讓兩個(gè)模型共享一些層次或參數(shù)來(lái)實(shí)現(xiàn)，新舊模型就可以互相學(xué)習(xí)、互相幫助，共同完成任務(wù)。

從技術(shù)可行性來(lái)判斷，在這次事件中，字節(jié)使用的更有可能是第一種方法。

即利用了OpenAI API生成的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)。

因此，在這次風(fēng)波中，字節(jié)真正想要的，是ChatGPT生成的高質(zhì)量語(yǔ)料數(shù)據(jù)。

而這樣的數(shù)據(jù)，也是任何一個(gè)訓(xùn)練中的大模型，最渴望的“香餑餑”。

但由于之前OpenAI的協(xié)議中，已明確表示禁止用其大模型去開(kāi)發(fā)競(jìng)品，因此，字節(jié)被OpenAI“封號(hào)”也是一種必然。

問(wèn)題是：作為一家實(shí)力雄厚的大廠，字節(jié)理應(yīng)不缺相應(yīng)的人手和資金，去做這些數(shù)據(jù)爬取、語(yǔ)料標(biāo)注方面的工作，為何要走這一步“險(xiǎn)棋”呢？

02 為何犯險(xiǎn)？

其實(shí)，在現(xiàn)階段的大模型賽道上，字節(jié)缺的不是人才和資金，而是時(shí)間。

與百度、訊飛等國(guó)內(nèi)大廠相比，字節(jié)真正入局大模型的時(shí)間，可以說(shuō)是相當(dāng)晚了。

從時(shí)間上看，字節(jié)真正推出第一款大模型豆包的時(shí)間，是今年的8月中旬，而那時(shí)，大模型之火已經(jīng)燃燒了近半年之久。

任何真正想入局大模型的玩家都知道，模型層的競(jìng)爭(zhēng)，是有時(shí)間窗口的。

在大模型領(lǐng)域，先進(jìn)入市場(chǎng)的企業(yè)往往能夠積累更多的用戶、數(shù)據(jù)和經(jīng)驗(yàn)，從而形成競(jìng)爭(zhēng)優(yōu)勢(shì)。后來(lái)者要想迎頭趕上，需要付出更多的努力和成本。

盡管8月上線的豆包，讓字節(jié)勉強(qiáng)趕上了模型層的晚班車，但從性能和定位上看，那更像是一個(gè)“嘗鮮”的應(yīng)景之作，無(wú)法真正與字節(jié)現(xiàn)有的業(yè)務(wù)相契合。

作為一個(gè)在移動(dòng)互聯(lián)網(wǎng)時(shí)代制造了抖音這類爆款的大廠，字節(jié)真正想要的，是像文心一言那樣更通用、更全能，且能整合或嵌入進(jìn)自身的各類APP中的大模型。

這才有了后來(lái)字節(jié)的“種子計(jì)劃”——計(jì)劃在今年年底前，打造與 GPT-3.5 性能相匹敵的Seed 大模型。

問(wèn)題是，大模型的訓(xùn)練，終歸不是件一蹴而就的事。

標(biāo)注數(shù)據(jù)、提取優(yōu)質(zhì)語(yǔ)料等等一系列繁瑣的前期工作，都需要時(shí)間。

那如何在有限的、緊迫的時(shí)間內(nèi)，搜集到足夠多的高質(zhì)量語(yǔ)料數(shù)據(jù)？

一個(gè)最靠譜的辦法，就是直接使用那些已經(jīng)驗(yàn)證過(guò)的，成熟度較高的模型的數(shù)據(jù)，例如ChatGPT。

03 模型層的窗口期

其實(shí)，不只是字節(jié)，即使是身處一線的AI玩家谷歌，也為了“急于求成”，做出了類似小動(dòng)作。

本月月初，谷歌曾失望地宣布，被其寄予厚望的大模型Gemini，由于無(wú)法較好地處理非英語(yǔ)領(lǐng)域的查詢?nèi)蝿?wù)，而被推遲了上線。

可鬼使神差的是，之后沒(méi)過(guò)幾天，谷歌就來(lái)了個(gè)回馬槍，在12月6日鄭重推出了Gemini，似乎之前提到的“缺陷”已經(jīng)不是問(wèn)題。

后來(lái)，網(wǎng)友經(jīng)過(guò)測(cè)試才發(fā)現(xiàn)，原來(lái)谷歌早就從百度的文心一言那里找到了“解決之策”。

經(jīng)過(guò)微博大V@闌夕夜等眾多網(wǎng)友的測(cè)試，在與Gemini-Pro用中文交流時(shí)，如果問(wèn)“你是誰(shuí)”，Gemini-Pro上來(lái)就回答：我是百度文心大模型。

如此狀況，讓人紛紛猜測(cè)，是谷歌直接用了百度文心一言的中文語(yǔ)料進(jìn)行訓(xùn)練。

為了反超GPT-4，谷歌真是趕鴨子上架了。

不過(guò)，從長(zhǎng)遠(yuǎn)來(lái)看，這種大廠互相薅羊毛的行為，終歸是一種暫時(shí)的現(xiàn)象。

畢竟，經(jīng)過(guò)這么幾回“露餡”后，各個(gè)大廠一定會(huì)對(duì)自家的數(shù)據(jù)看得更嚴(yán)，更死。

但即便如此，這種互相套用數(shù)據(jù)的行為，也讓眾多用戶、投資人不禁暗自嘀咕：如果各個(gè)模型之間的數(shù)據(jù)，在技術(shù)上能輕易地互相套用，那將來(lái)除了ChatGPT等少數(shù)頂流外，還有哪些模型是有“真材實(shí)料”的？

這樣的擔(dān)憂背后，其實(shí)有一個(gè)更重要的前置性問(wèn)題，那就是：

我們?yōu)槭裁葱枰�那么多雷同的大模型�?/strong>