生成式AI正在把跨境電商領(lǐng)域變成互聯(lián)網(wǎng)里的“新緬北”。

最近有不少賣家稱收到偽裝成亞馬遜官方的“釣魚郵件”，通過提供的惡意鏈接，提取賣家的重要賬戶信息。有人因此上當(dāng)在短短一夜之間損失高達40萬。

蘇丹就是受害者中的幸運兒。他9月初收到的郵件中，發(fā)件地址與亞馬遜官方地址高度相似，內(nèi)容更是精巧地仿制了亞馬遜的通知風(fēng)格，敦促賣家更新緊急聯(lián)系人信息。

按照郵件中的指引操作，會被引導(dǎo)到了一個似乎是“亞馬遜”的網(wǎng)站，并被要求輸入自己的郵箱、密碼以及二次驗證碼。一旦上當(dāng)，很快就會收到真正的亞馬遜官方發(fā)出的“店鋪異地登錄”通知。

ChatGPT殺手GPTZero的檢測結(jié)果

蘇丹意識到不對勁后及時止損，他還利用技術(shù)工具對郵件內(nèi)容進行分析，顯示有高達90%的可能性是由AI生成。新技術(shù)再次站在了走向善惡的十字路口。

生成式AI正在“作惡”

經(jīng)常在國內(nèi)外互聯(lián)網(wǎng)上沖浪，蘇丹對ChatGPT并不陌生還多次進行體驗，也早就聽聞ChatGPT可以通過某種方式繞過安全機制，從而生成違法和不道德的內(nèi)容。

他尚未意識到的是，ChatGPT的“越獄”技術(shù)已經(jīng)迭代數(shù)次，現(xiàn)在市面上甚至有了更為先進的“邪惡GPT”版本，而這次遭遇的釣魚郵件，就可能出自該版本的手筆。

眼下比較有名的“邪惡GPT”版本是WormGPT和FraudGPT，兩者都能快速實現(xiàn)釣魚郵件騙局。

2021年3月，WormGPT問世，其開發(fā)者今年6月開始在黑客論壇上出售使用權(quán)。與ChatGPT不同，WormGPT并沒有設(shè)置阻止回答與非法活動相關(guān)問題的限制，構(gòu)建的基礎(chǔ)是稍顯過時的2021年的開源GPT-J模型，并專門在與惡意軟件開發(fā)相關(guān)的數(shù)據(jù)中進行訓(xùn)練。

為了評估潛在風(fēng)險，安全分析公司Slashnext的研究團隊對BEC（商務(wù)郵件詐騙）攻擊進行了測試。實驗中他們要求WormGPT制作一封電子郵件，目標是對一個不設(shè)防的賬戶經(jīng)理施加壓力，迫使其支付虛假發(fā)票。

WormGPT生成的釣魚郵件

結(jié)果令人震驚，WormGPT生成的郵件不僅極具說服力，而且策略十分巧妙，充分展示了其在進行復(fù)雜性網(wǎng)絡(luò)釣魚和BEC攻擊方面的能力。

另一款名為FraudGPT的邪惡語言模型在今年7月亮相。從7月22日開始，開發(fā)者在多個論壇上宣傳該產(chǎn)品，稱其為不受限制的ChatGPT替代版本。

據(jù)透露，F(xiàn)raudGPT每隔一至兩周更新一次，架構(gòu)下采用了多種AI模型。此工具采用基于訂閱的定價策略，每月收費為200美元，或年費為1700美元。

一個論壇的截圖，展示了FraudGPT的功能

安全研究團隊Netenrich購買并進行了測試。FraudGPT的界面與ChatGPT極為相似，左側(cè)展示了用戶的歷史查詢，而聊天窗口則占據(jù)了界面的大部分。使用者只需在“提問”區(qū)域輸入問題，系統(tǒng)便會為其生成相應(yīng)答案。

FraudGPT生成釣魚郵件

測試中研究人員指示FraudGPT制作一個與某銀行相關(guān)的釣魚郵件。用戶只需將問題格式化以包含特定銀行的名稱，F(xiàn)raudGPT就能處理其余部分。這款工具還會指導(dǎo)用戶在郵件內(nèi)容的哪個位置放置惡意鏈接，并能進一步生成用于詐騙的登錄頁面，誘導(dǎo)受害者提供個人信息。

分析人士稱，F(xiàn)raudGPT 可能成為發(fā)動有影響力的網(wǎng)絡(luò)釣魚和BEC攻擊的理想工具，從而導(dǎo)致巨大的財務(wù)欺詐和數(shù)據(jù)竊取。

活躍的“邪惡GPT”不只上述兩個。就在8月中旬，有網(wǎng)絡(luò)安全領(lǐng)域的專家揭示了另一個基于GPT的網(wǎng)絡(luò)犯罪工具，名為EvilGPT。

這款應(yīng)用與FraudGPT、WormGPT類似，它可以幫助制造惡意軟件、誘騙郵件、陷阱鏈接并針對企業(yè)網(wǎng)絡(luò)安全的弱點進行探測。若上述GPT因某些原因被封禁或移除，它將作為備選方案在市場上供應(yīng)。與此同時，它也采用了基于訂閱的定價模式，吸引潛在用戶購買。

EvilGPT僅僅是在最近幾周中被發(fā)現(xiàn)的冰山一角。隨著時間的推移，可能會有更多基于人工智能技術(shù)的惡意工具和應(yīng)用浮現(xiàn)出來。

AI“加持”下，釣魚郵件防不勝防

釣魚郵件對跨境電商從業(yè)者來說并不陌生，但蘇丹這次仍然險些中招，除了偶爾的疏忽大意之外，生成式AI的“加持”功不可沒。

過去，一種有效的識別釣魚郵件的方法是注意內(nèi)容單詞的拼寫及語法錯誤。據(jù)資料顯示，約有50%的釣魚郵件來源于俄羅斯、德國和中國。從這些母語非英語地區(qū)發(fā)出的郵件中，大多假冒的內(nèi)容都包含了不正常的語法或用詞，與正規(guī)標準的電子郵件風(fēng)格不符。

未經(jīng)校對的釣魚郵件

事實上，為了防止員工點擊帶有惡意鏈接的郵件或泄露登錄信息，許多電商公司在培訓(xùn)中都會提醒注意拼寫錯誤、不尋常的語法以及非英語母語者可能犯的其它錯誤。

然而，現(xiàn)在的生成式AI技術(shù)已經(jīng)能夠完美地排除掉這些傳統(tǒng)的識別特征。這次的亞馬遜釣魚郵件沒有任何語法上的錯誤。

最近電子郵件安全公司Abnormal Security的CEO Evan Reiser在接受采訪時也指出了這點，由生成式AI平臺制作的精細釣魚郵件幾乎與真實郵件無異，使人難以一眼辨識。他表示：“當(dāng)你瀏覽這些郵件時，大腦中并不會產(chǎn)生任何提示，警告你這可能是一次網(wǎng)絡(luò)釣魚攻擊。”

可怕的是，避免語言錯誤只是生成式AI在釣魚郵件上展現(xiàn)的基本技能，更強的欺詐和混淆能力更為致命。

得益于AI模仿人類書寫的能力，釣魚郵件的內(nèi)容可能包括制造緊迫感、鼓勵收件人點擊鏈接或者偽裝為匯款請求的社交工程郵件等。一旦收件人點擊鏈接，他們的系統(tǒng)就可能受到惡意代碼的感染。

上述偽造亞馬遜郵件的場景中，便是被AI制造了對于賣家而言比較急迫的場景。不少賣家在仔細審查郵件內(nèi)容后，雖感到不太對勁，但由于擔(dān)憂可能錯過了某些重要信息，還是按照郵件中的指引操作。

另外，生成式AI還能夠使釣魚郵件更具攻擊性。它們可以從社交平臺、新聞門戶、網(wǎng)上論壇等多種來源中抓取個人信息，以針對性更強的誘人郵件。這在過去通常是需要花上數(shù)月的時間才能完成的任務(wù)。如果攻擊者能夠掌握這些專有信息，他們可以在郵件中植入更具說服力的細節(jié)內(nèi)容，或是模仿某人的寫作方式。

Evan Reiser指出：“目前，犯罪者只需捕獲這些電子郵件，自動地喂養(yǎng)到一個大型模型，接著指示它構(gòu)建一封引用最近五次在線對話的郵件。這樣之前可能需要八小時完成的任務(wù)，現(xiàn)在只需八秒。”

即使是技術(shù)能力有限的攻擊者，也可以利用生成式AI來編寫VBA代碼。他們只需指示AI將惡意URL嵌入到代碼中，當(dāng)用戶打開如Excel這樣的文件時，系統(tǒng)會自動下載并執(zhí)行惡意軟件。

過去，像ChatGPT和Bard這樣的系統(tǒng)都有內(nèi)置的保護功能，能夠盡可能預(yù)防生成惡意內(nèi)容，但隨著越來越多的邪惡GPT版本涌現(xiàn)，電子郵件安全正在面臨巨大的挑戰(zhàn)。

2023年8月21日，國際安全研究團隊Perception Point與Osterman Research公司聯(lián)合發(fā)布了名為《人工智能在電子郵件安全中的作用》的報告。該報告揭示了網(wǎng)絡(luò)犯罪分子如何利用AI來增加和復(fù)雜化電子郵件威脅（如網(wǎng)絡(luò)釣魚和BEC攻擊）的驚人趨勢。

此項研究指出，網(wǎng)絡(luò)罪犯正在迅速采用AI工具以推動其利益，而有91.1%的組織稱他們已遭受到了被AI增強的電子郵件攻擊。

解決之道：使用AI來對抗AI？

在AI的威脅下，過去依靠經(jīng)驗躲避釣魚郵件陷阱的方法不再有效，新的對策或在于以AI對抗AI。已有數(shù)家網(wǎng)絡(luò)安全公司將生成式AI融入其產(chǎn)品，力圖在被大規(guī)模濫用前采取措施。

有供應(yīng)商正在利用AI來提高電子郵件的安全能力和流程，例如：為了洞察每個發(fā)送者和接收者的習(xí)慣和特性，一個AI模型被設(shè)計出給組織中的每位成員繪制通信模式。

具體來說，誰會給他們發(fā)信息？信息內(nèi)容是什么？何時和從哪里發(fā)送這些消息？通常有其他人被抄送還是只有一個目標接收者？每位發(fā)送者使用哪些電郵地址？簡而言之，AI被用于構(gòu)建關(guān)于每個人常規(guī)行為的檔案。

另外，為了察覺不常見的郵件發(fā)送模式，供應(yīng)商結(jié)合了以下策略：利用社交圖技術(shù)進行基礎(chǔ)發(fā)送模式的分析；識別相似或相近的電子郵件地址；鑒別包含社交工程技巧的信息；檢測冒名頂替的標記和其它品牌相關(guān)的視覺元素；以及對電子郵件中的語氣、情感和風(fēng)格進行分類。以上策略都有助于檢測那些旨在混淆人類思維的異常郵件。

盡管接受過安全意識培訓(xùn)的人力也可以找到這些異常信號，但只有AI能夠在網(wǎng)絡(luò)速度下整合所有分析維度，確保在面對海量消息時能夠持續(xù)并可靠地執(zhí)行檢測。

AI解決方案還可以利用多個機器學(xué)習(xí)模型來識別帶有惡意內(nèi)容的信息。這些模型是基于被標記為惡意或無害的信息數(shù)據(jù)集進行開發(fā)、調(diào)整和更新的。某些供應(yīng)商采用生成式AI技術(shù)，從已知的惡意信息中產(chǎn)生附加的樣本數(shù)據(jù)，這為機器學(xué)習(xí)模型提供了更為豐富的優(yōu)質(zhì)訓(xùn)練數(shù)據(jù)。

能夠戰(zhàn)勝AI的，也就只有AI了。

實際上，不少組織已經(jīng)在使用AI進行電子郵件安全防護。根據(jù)Osterman Research的數(shù)據(jù)，最近的兩年內(nèi)五分之四的組織已經(jīng)部署了或正在積極推進基于AI的電子郵件安全解決方案，這種方案是在常規(guī)保護措施之外附加的。

其中，引進AI加強電子郵件安全的方式主要有兩個方向：一方面是現(xiàn)有的電子郵件安全提供商將AI防護集成到他們的產(chǎn)品中；另一方面是組織正在刻意尋找新的AI啟用的解決方案。

而在過去兩年中，仍有五分之一的受訪者沒有采納此類方案：12.7%的人沒有實行任何解決方案，而6.0%的人正在積極探索和評估可能的選擇。

從Osterman Research的數(shù)據(jù)來看，AI在提高檢測效率和強化保護方面顯示出了不俗的能力。

在采納AI加強的電子郵件安全解決方案之前，各組織都有一定的檢測效率。但隨著網(wǎng)絡(luò)罪犯使用AI提高攻擊技術(shù)，沒有AI保護的組織會發(fā)現(xiàn)他們的檢測效率將受到嚴峻挑戰(zhàn)。

只有魔高一尺道高一丈，才能把釣魚郵件的攻防雙方，重新拉回到AI技術(shù)這同一起跑線上。

（文中人物為化名）

參考資料：

Over91%ofOrganizationsHaveExperiencedAI-enhancedEmailAttacksand84% ExpectContinuedUseofAI toCircumventExistingSecurity Systems

WormGPT-TheGenerativeAIToolCybercriminalsAreUsingtoLaunchBusinessEmailCompromiseAttacks

WormGPT and FraudGPT - The Rise of Malicious LLMs

Generative AI Could Revolutionize Email-for Hackers

       原文標題 : 一封釣魚電郵背后的AI攻防戰(zhàn)