2023年，生成式AI技術(shù)破繭成蝶，引發(fā)了一場全球范圍的數(shù)字革命。

從最初的聊天、下棋開始，到醫(yī)療、金融、制造、教育、科研等，生成式AI表現(xiàn)出了強(qiáng)大的創(chuàng)造力和無限潛力。據(jù)不完全統(tǒng)計(jì)，截至今年8月底，全國已經(jīng)發(fā)布了逾百個(gè)行業(yè)AI大模型。

但與此伴生的對于數(shù)據(jù)保護(hù)、合規(guī)風(fēng)險(xiǎn)及隱私泄露的擔(dān)憂，也讓業(yè)界格外關(guān)注AI大模型部署過程中將帶來的安全風(fēng)險(xiǎn)。

同時(shí)，生成式AI又是一把雙刃劍，它既可以幫助企業(yè)解決實(shí)際問題，又面臨著數(shù)據(jù)泄露等巨大風(fēng)險(xiǎn)。

今年年初，某大型全球化企業(yè)就在大模型訓(xùn)練過程中，泄露了企業(yè)數(shù)據(jù)庫中的機(jī)密信息，給企業(yè)帶來了巨大的負(fù)面影響。而此類事件依然層出不窮。

對于生成式AI帶來的安全挑戰(zhàn)，部分AI企業(yè)認(rèn)為，生成式AI已經(jīng)展現(xiàn)前所未有的智能化水平，由此將占據(jù)企業(yè)的IT關(guān)鍵位置，而就此重要性帶來的受攻擊頻度，也將使得大模型成為云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)之后的一個(gè)全新的安全戰(zhàn)場。

與此同時(shí)，生成式AI技術(shù)也將會(huì)在多個(gè)方面幫助提升網(wǎng)絡(luò)安全運(yùn)維效率，在更深層次改變網(wǎng)絡(luò)安全格局的基礎(chǔ)。

生成式AI的主流企業(yè)用例正在出現(xiàn)

生成式AI是一種利用深度學(xué)習(xí)技術(shù)生成高質(zhì)量內(nèi)容的人工智能，其基于深度學(xué)習(xí)技術(shù)的生成式算法、生成式函數(shù)和無模板調(diào)用。在計(jì)算機(jī)視覺、自然語言處理、機(jī)器翻譯等領(lǐng)域具有廣泛的應(yīng)用。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展和應(yīng)用場景的擴(kuò)大，生成式AI將在未來獲得更廣泛的應(yīng)用。目前，有三種企業(yè)用例正在成為行業(yè)主流。

首先，在客戶支持方面，生成式AI包括GPT和其他大型學(xué)習(xí)模型，正在將對話式聊天機(jī)器人的能力轉(zhuǎn)變?yōu)橐环N感覺自然、更加準(zhǔn)確、能更好感知和應(yīng)對語氣和情緒的能力。

因此，產(chǎn)品支持聊天機(jī)器人中的對話式人工智能是我們在業(yè)界看到的第一批企業(yè)用例之一。這些聊天機(jī)器人可以搜索和查詢現(xiàn)有的內(nèi)部信息，并以類似人類的方式進(jìn)行交流，為客戶回答問題和解決常見問題。

對于已經(jīng)使用某種形式的對話式人工智能的公司來說，GPT提高了響應(yīng)質(zhì)量和客戶滿意度。而對于希望將其人工呼叫中心轉(zhuǎn)換為反應(yīng)更迅速、永遠(yuǎn)在線且更有效的公司來說，GPT成為了一個(gè)極具吸引力的選擇。

第二，圍繞商業(yè)洞察力，數(shù)據(jù)科學(xué)最大的挑戰(zhàn)之一是將商業(yè)用戶與數(shù)據(jù)科學(xué)家分開。

前者最了解業(yè)務(wù)的細(xì)微差別和需要回答的問題，但只有后者才能真正用計(jì)算機(jī)語言編程來獲得這些問題的答案。生成式AI現(xiàn)在允許商業(yè)用戶用自然語言提出問題。

AI可以將這些問題轉(zhuǎn)換為SQL查詢，針對內(nèi)部數(shù)據(jù)庫運(yùn)行，并以結(jié)構(gòu)化的敘述方式返回答案，所有這些都在幾分鐘之內(nèi)。這里的優(yōu)勢不僅僅是效率，它是決策的速度和業(yè)務(wù)用戶更直接、更具交互性地詢問數(shù)據(jù)的能力。

第三，在編程自動(dòng)化方面，大型語言模型在多種語言中具有很高的準(zhǔn)確性，包括計(jì)算機(jī)語言。

軟件開發(fā)人員編寫代碼和相關(guān)文檔的時(shí)間幾乎減少了50%。例如，微軟的Power Automate程序——一種機(jī)器人流程自動(dòng)化的工具，現(xiàn)在可以使用自然語言編程，以更直觀和用戶友好的方式實(shí)現(xiàn)任務(wù)和工作流程的自動(dòng)化。

這不僅比讓大型的程序員和測試人員團(tuán)隊(duì)參與進(jìn)來更有效率，而且還減少了自動(dòng)化啟動(dòng)和運(yùn)行的時(shí)間和迭代。

防范生成式AI風(fēng)險(xiǎn)已成企業(yè)必修課

我們需要看到，生成式AI技術(shù)是把“雙刃劍”，其在推動(dòng)社會(huì)進(jìn)步的同時(shí)，也有可能帶來技術(shù)、設(shè)計(jì)、算法以及數(shù)據(jù)等方面的安全風(fēng)險(xiǎn)。因此，必須做好前瞻研究，建立健全保障人工智能健康發(fā)展的法律法規(guī)、制度體系、倫理道德，在重視防范風(fēng)險(xiǎn)的同時(shí)，同步建立容錯(cuò)、糾錯(cuò)機(jī)制，努力實(shí)現(xiàn)規(guī)范與發(fā)展的動(dòng)態(tài)平衡。

理解安全風(fēng)險(xiǎn)的來源，首先需明了其運(yùn)轉(zhuǎn)的特征和原理。生成式AI具有“大數(shù)據(jù)、大模型、大算力”三大技術(shù)特征，以及自然語言理解、知識工程方法、類腦交互決策等關(guān)鍵技術(shù)。

因此，這使得生成式人工智能具備社會(huì)價(jià)值、用戶使用、數(shù)據(jù)合規(guī)，數(shù)據(jù)安全、數(shù)據(jù)質(zhì)量五大風(fēng)險(xiǎn)，這些風(fēng)險(xiǎn)在金融、醫(yī)療、教育、電商、傳媒等各領(lǐng)域和應(yīng)用場景都已有所體現(xiàn)。

年初以來，我國相關(guān)部門已推進(jìn)多項(xiàng)相關(guān)監(jiān)管法案落地。其中，4月11日，國家網(wǎng)信辦起草《生成式人工智能服務(wù)管理辦法（征求意見稿）》（以下簡稱《辦法》）并向社會(huì)公開征求意見。

該《辦法》聚焦隱私安全、技術(shù)濫用、知識產(chǎn)權(quán)和他人權(quán)益三大問題，為AIGC的發(fā)展建立了防護(hù)機(jī)制。

像任何新興技術(shù)一樣，生成式AI的最大挑戰(zhàn)之一是其相對不成熟。雖然生成式AI非常適合在個(gè)人使用中試驗(yàn)聊天機(jī)器人，但它在主流企業(yè)應(yīng)用中仍處于早期。

部署它的組織不得不自己做很多繁重的工作，比如通過實(shí)驗(yàn)找到最佳的使用案例，在不斷增加的、令人困惑的可用選項(xiàng)列表中進(jìn)行篩選（例如在OpenAI的ChatGPT服務(wù)與微軟Azure之間進(jìn)行選擇），或者將其整合到他們的業(yè)務(wù)流程中（通過將其充分整合到許多應(yīng)用工作流中）。

結(jié)果是，隨著技術(shù)的成熟，這其中的大部分都會(huì)消失，廠商會(huì)將更多技術(shù)以一種整合的方式納入到他們的核心產(chǎn)品中。

第二，生成式AI的主要缺陷之一是可能產(chǎn)出不正確但明顯令人信服的回答。由于GPT在自然語言處理方面取得了重大進(jìn)展，因此存在一個(gè)相當(dāng)大的風(fēng)險(xiǎn)，即它提供的答復(fù)聽起來是正確的，但事實(shí)上是錯(cuò)誤的。

在準(zhǔn)確性至關(guān)重要的行業(yè)，如醫(yī)療保健或金融服務(wù)，這是不允許發(fā)生的事情。企業(yè)必須仔細(xì)選擇正確的應(yīng)用領(lǐng)域，然后建立治理和監(jiān)督，以減輕這種風(fēng)險(xiǎn)。

第三，企業(yè)需要注意設(shè)置和管理企業(yè)準(zhǔn)則，數(shù)據(jù)隱私以及維護(hù)受保護(hù)企業(yè)數(shù)據(jù)的機(jī)密性是企業(yè)成功的關(guān)鍵。因此，作為第一步，定義和設(shè)置適當(dāng)?shù)钠髽I(yè)準(zhǔn)則是至關(guān)重要的。

除了機(jī)密或個(gè)人身份識別或其他受保護(hù)數(shù)據(jù)丟失的風(fēng)險(xiǎn)外，用專有數(shù)據(jù)訓(xùn)練公開可用的語言模型的額外風(fēng)險(xiǎn)是，它可能導(dǎo)致知識產(chǎn)權(quán)的無意損失，特別是當(dāng)基于訓(xùn)練的結(jié)果被提供給其他競爭對手時(shí)。

要有健全的政策和框架很難，因?yàn)樗鼈儽仨氁环矫嫫胶鈩?chuàng)新的需要，另一方面平衡生成式AI的相關(guān)風(fēng)險(xiǎn)。

最后，在過度沉迷于被炒作的技術(shù)和專注于最高回報(bào)計(jì)劃之間找到適當(dāng)?shù)钠胶饪赡芫哂刑魬?zhàn)性。組織需要確保他們?yōu)樽罹o迫的計(jì)劃分配適當(dāng)?shù)馁Y本和資源。

另一方面，那些坐等技術(shù)成熟太久的組織，可能會(huì)失去AI在行業(yè)主流化的機(jī)會(huì)，落后于可能對他們的業(yè)務(wù)產(chǎn)生重大影響的最新技術(shù)，并降低他們的持久競爭優(yōu)勢。

治理思路回歸AI本源

在應(yīng)對生成式AI安全風(fēng)險(xiǎn)的思路與策略上，AI技術(shù)本身具備的特性已經(jīng)受到業(yè)界重視。通過傳統(tǒng)的ICT網(wǎng)絡(luò)安全模式已無法適應(yīng)當(dāng)前生成式AI帶來的安全，而AI在逆向估算能力尤其是針對有些惡意軟件的反逆向工程能力，效果非常突出。

目前業(yè)內(nèi)普遍認(rèn)同，AI的服務(wù)能力估算已能達(dá)到從業(yè)技術(shù)人員四到五年的水平，而通過AI算力提升防御數(shù)字化水平，再加上作為輔助的自動(dòng)化運(yùn)營，這使得在應(yīng)對生成式AI風(fēng)險(xiǎn)方面具有先天優(yōu)勢。

這一背景，也使得以安全大模型來治理生成式AI的風(fēng)險(xiǎn)，成為行業(yè)共識。

這就需要從“場景牽引，技術(shù)驅(qū)動(dòng)，生態(tài)協(xié)同”三個(gè)方面進(jìn)行建設(shè)，應(yīng)用AI實(shí)現(xiàn)安全行業(yè)工作范式重塑，通過大模型解決實(shí)戰(zhàn)態(tài)勢指揮調(diào)度、紅藍(lán)對抗輔助決策以及安全運(yùn)營效能提升三大問題。

一方面，抓住生成式AI最根本的元素——數(shù)據(jù)和算法，以此為突破口，把控大數(shù)據(jù)源頭治理，提前布局和構(gòu)建系統(tǒng)性大數(shù)據(jù)防火墻，控制和防范數(shù)據(jù)泄密。

同時(shí)，應(yīng)及時(shí)啟動(dòng)并優(yōu)化國家級自主研發(fā)數(shù)據(jù)庫系統(tǒng)和備份系統(tǒng)，抓緊布局和研發(fā)AI大數(shù)據(jù)控制系統(tǒng)、分級分層享用系統(tǒng)、網(wǎng)絡(luò)風(fēng)險(xiǎn)防范系統(tǒng)以及由此產(chǎn)生的AI智能管控監(jiān)督架構(gòu)系統(tǒng)。

另一方面，采取多種舉措推動(dòng)生成式AI的技術(shù)發(fā)展與治理。鼓勵(lì)生成式AI技術(shù)在各行業(yè)、各領(lǐng)域的創(chuàng)新應(yīng)用，探索優(yōu)化應(yīng)用場景，構(gòu)建應(yīng)用生態(tài)體系。

支持行業(yè)組織、企業(yè)、教育和科研機(jī)構(gòu)、公共文化機(jī)構(gòu)、有關(guān)專業(yè)機(jī)構(gòu)等在生成式AI技術(shù)創(chuàng)新、數(shù)據(jù)資源建設(shè)、轉(zhuǎn)化應(yīng)用、風(fēng)險(xiǎn)防范等方面開展協(xié)作。推動(dòng)生成式AI基礎(chǔ)設(shè)施和公共訓(xùn)練數(shù)據(jù)資源平臺(tái)建設(shè)。

促進(jìn)算力資源協(xié)同共享，提升算力資源利用效能。推動(dòng)公共數(shù)據(jù)分類分級有序開放，擴(kuò)展高質(zhì)量的公共訓(xùn)練數(shù)據(jù)資源。

如今，爭奪“數(shù)據(jù)主權(quán)”已經(jīng)成為全球數(shù)據(jù)安全發(fā)展新態(tài)勢，隨著各國紛紛出臺(tái)數(shù)據(jù)戰(zhàn)略，立法維護(hù)國家數(shù)據(jù)主權(quán)。

在此背景下，提升生成式AI的安全性將成為全球各國未來的產(chǎn)業(yè)重任之一，而我國安全企業(yè)已然邁出重要一步。

 相關(guān)閱讀

生成式AI大模型，或?qū)⒑硠?dòng)云服務(wù)市場格局

當(dāng)云廠商主動(dòng)擁抱生成式AI，會(huì)碰撞出什么樣的火花？

生成式AI來了，我們還能相信自己的眼睛嗎？

【科技云報(bào)道原創(chuàng)】

轉(zhuǎn)載請注明“科技云報(bào)道”并附本文鏈接

       原文標(biāo)題 : 生成式AI已成為企業(yè)新興風(fēng)險(xiǎn)，但我們不應(yīng)該因噎廢食