▲ 圖片由AI生成

LLM強(qiáng)勢(shì)挺進(jìn)端側(cè)，AI大語(yǔ)言模型端側(cè)部署如何影響超自動(dòng)化？

端側(cè)部署對(duì)大語(yǔ)言模型落地有什么好處？對(duì)超自動(dòng)化有什么影響？

產(chǎn)業(yè)上下游齊發(fā)力LLM挺進(jìn)端側(cè)，大語(yǔ)言模型加速落地利好超自動(dòng)化

芯片、云服務(wù)、終端廠商齊發(fā)力，LLM決勝端側(cè)，超自動(dòng)化受益其中

從谷歌推出Gecko到高通引入Llama 2，端側(cè)部署成為L(zhǎng)LM落地重要方向

大語(yǔ)言模型端側(cè)部署+LLM超自動(dòng)化，“賈維斯”智能管家照進(jìn)現(xiàn)實(shí)  

文/王吉偉

算力資源吃緊，成本居高不下，數(shù)據(jù)隱私泄露，用戶(hù)體驗(yàn)不佳……

以O(shè)penAI為代表的大語(yǔ)言模型爆發(fā)后，多重因素影響之下本地化部署成為L(zhǎng)LM落地的主流模式。LLM迫切需要部署在本地設(shè)備上，圍繞LLM端側(cè)部署的研究與探索空前高漲。

5月份，Google推出了可以在旗艦手機(jī)上離線(xiàn)運(yùn)行的PaLM2 輕量版Gecko。

從這一刻起，能夠在端側(cè)運(yùn)行的大語(yǔ)言模型成了廠商們的重要任務(wù)。畢竟LLM要落地，移動(dòng)終端是最好的載體之一，同時(shí)端側(cè)也有著巨大的市場(chǎng)空間。

于是，廠商們紛紛開(kāi)啟狂飆模式，踏上LLM的壓縮、蒸餾及優(yōu)化之路，要把自家的云端大模型先行裝進(jìn)手機(jī)。

也就是在此期間，高通提出了混合AI概念：AI處理必須分布在云端和終端進(jìn)行，才能實(shí)現(xiàn)AI的規(guī)模化擴(kuò)展并發(fā)揮其最大潛能。

端側(cè)的市場(chǎng)規(guī)模，加上混合AI趨勢(shì)，就連微軟也與Meta結(jié)盟共同推出了可以部署在端側(cè)的開(kāi)源大語(yǔ)言模型Llama 2。

被稱(chēng)為“GPT-4最強(qiáng)平替”的Llama 2，可以讓開(kāi)發(fā)者以很低的成本為客戶(hù)提供自主大模型，將為開(kāi)發(fā)者們帶來(lái)更多可能性和創(chuàng)新機(jī)遇。

由此開(kāi)始，各家芯片廠商全力研發(fā)能夠適配各種大模型的芯片、技術(shù)以及解決方案。

雖然能夠支持LLM本地運(yùn)行的芯片還沒(méi)有量產(chǎn)，但高通在世界人工智能大會(huì)期間于手機(jī)端使用SD十幾秒生成一張圖片的演示，迅速吸引多方眼球。

高通計(jì)劃2024年開(kāi)始在搭載驍龍平臺(tái)的終端上支持基于Llama 2的AI部署，聯(lián)發(fā)將在下半年發(fā)布的下一代旗艦SoC也將支持AI部署。

端側(cè)部署芯片蓄勢(shì)待發(fā)，智能終端廠商披星戴月。

尤其是手機(jī)廠商，都在全力進(jìn)行面向LLM的研發(fā)與測(cè)試，目前基本都已發(fā)布基于云端的自有大語(yǔ)言模型，更想全力爭(zhēng)奪LLM端側(cè)部署的先發(fā)時(shí)刻。

產(chǎn)業(yè)鏈上下游雨點(diǎn)般的密集動(dòng)作，彰顯LLM正在快速挺進(jìn)端側(cè)。

關(guān)注王吉偉頻道的朋友知道，LLM也正在與超自動(dòng)化高速融合，并為超自動(dòng)帶來(lái)了從技術(shù)架構(gòu)到產(chǎn)品生態(tài)再到經(jīng)營(yíng)模式的轉(zhuǎn)變。

過(guò)去的LLM都在云端部署，就已為超自動(dòng)化帶來(lái)了這么大變化�，F(xiàn)在LLM即將實(shí)現(xiàn)端側(cè)部署，又將為超自動(dòng)化帶來(lái)哪些影響？

本文，王吉偉頻道就跟大家聊聊這些。

手機(jī)廠商推出大模型

7月下旬，外媒爆料蘋(píng)果公司正在悄悄開(kāi)發(fā)人工智能工具，且已建立了自己的框架“Ajax”來(lái)創(chuàng)建大型語(yǔ)言模型。以“Ajax”為基礎(chǔ)，蘋(píng)果還創(chuàng)建了一項(xiàng)聊天機(jī)器人服務(wù)，內(nèi)部一些工程師將其稱(chēng)為“Apple GPT”。

一個(gè)月后，蘋(píng)果開(kāi)始全面招聘工程師和研究人員以壓縮LLM，使其能在iPhone和iPad上高效運(yùn)行。這一舉措標(biāo)志著蘋(píng)果公司正積極推動(dòng)人工智能的發(fā)展，并希望成為首批開(kāi)發(fā)出能在手機(jī)和設(shè)備上而非云端有效運(yùn)行的人工智能軟件的公司之一。

8月初，華為在HDC 2023 開(kāi)發(fā)者大會(huì)上表示手機(jī)小藝語(yǔ)音助手已升級(jí)支持大語(yǔ)言模型，可以像目前火熱的 AI 聊天機(jī)器人那樣輔助辦公和學(xué)習(xí)。

同時(shí)華為在發(fā)布HarmonyOS 4時(shí)，也宣布已將AI大模型能力內(nèi)置在了系統(tǒng)底層。HarmonyOS 4由華為盤(pán)古大模型提供底層支持，希望給用戶(hù)帶來(lái)智慧終端交互、高階生產(chǎn)力效率、個(gè)性化服務(wù)的全新AI體驗(yàn)變革。

小米公司此前并未“官宣”進(jìn)入LLM賽道，但其大語(yǔ)言大模型MiLM-6B已經(jīng)悄然現(xiàn)身 C-Eval、CMMLU 大模型評(píng)測(cè)榜單。截至當(dāng)前，小米大模型在C-Eval總榜單排名第10、同參數(shù)量級(jí)排名第1。

在8月14日晚舉辦的小米年度演講中，雷軍表示小米AI大模型最新一個(gè)13億參數(shù)大模型已經(jīng)成功在手機(jī)本地跑通，部分場(chǎng)景可以媲美60億參數(shù)模型在云端運(yùn)行結(jié)果。小米旗下人工智能助手小愛(ài)同學(xué)已開(kāi)始升級(jí)AI大模型能力，在發(fā)布會(huì)當(dāng)天開(kāi)啟邀請(qǐng)測(cè)試。

OPPO已在8月13日宣布，基于AndesGPT打造的全新小布助手即將開(kāi)啟大型體驗(yàn)活動(dòng)。升級(jí)后的小布助手將具備AI大模型能力，擁有更強(qiáng)的語(yǔ)義理解對(duì)話(huà)能力，可以根據(jù)需求的文案撰寫(xiě)用戶(hù)需要的內(nèi)容，歸納總結(jié)等AI能力也將大大增強(qiáng)。

AndesGPT是OPPO 安第斯智能云團(tuán)隊(duì)打造的基于混合云架構(gòu)的生成式大語(yǔ)言模型。該團(tuán)隊(duì)在兩年前開(kāi)始對(duì)預(yù)訓(xùn)練語(yǔ)言模型進(jìn)行探索和落地應(yīng)用，自研了一億、三億和十億參數(shù)量的大模型OBERT。OBERT曾一度躍居中文語(yǔ)言理解測(cè)評(píng)基準(zhǔn)CLUE1.1總榜第五名，大規(guī)模知識(shí)圖譜問(wèn)答KgCLUE1.0排行榜第一名。

vivo也在今年5月研發(fā)了面向自然語(yǔ)言理解任務(wù)的文本預(yù)訓(xùn)練模型3MP-Text，曾一舉奪得 CLUE 榜單（中文語(yǔ)言理解基準(zhǔn)測(cè)評(píng)）1億參數(shù)模型效果排名第一。有消息透露，vivo將在今年10月左右推出新的OriginOS 4.0系統(tǒng)，新系統(tǒng)將內(nèi)置AI大模型。

榮耀是最早布局AI的手機(jī)廠商之一，其AI能力的進(jìn)階主要分為三個(gè)階段：第一階段是從0到1提出概念，將需求場(chǎng)景化，比如相機(jī)可以直接識(shí)別綠植、天空，AI能夠?qū)�圖像進(jìn)行對(duì)應(yīng)的優(yōu)化；第二階段，AI有了上下文理解與學(xué)習(xí)，基于位置、時(shí)間對(duì)消費(fèi)者習(xí)慣進(jìn)行整合式機(jī)器的決策；第三階段就是把AI引入端側(cè)。

榮耀也曾公開(kāi)對(duì)外表示，將率先將 AI 大模型引入端側(cè)。

芯片廠商的LLM動(dòng)作

高通是LLM端側(cè)部署的堅(jiān)定推動(dòng)者。

6月初，高通發(fā)布了《混合AI是AI的未來(lái)》白皮書(shū)。高通認(rèn)為，隨著生成式 AI正以前所未有的速度發(fā)展以及計(jì)算需求的日益增長(zhǎng)，AI 處理必須分布在云端和終端進(jìn)行，才能實(shí)現(xiàn)AI 的規(guī)�；瘮U(kuò)展并發(fā)揮其最大潛能。

云端和邊緣終端如智能手機(jī)、汽車(chē)、個(gè)人電腦和物聯(lián)網(wǎng)終端協(xié)同工作，能夠?qū)崿F(xiàn)更強(qiáng)大、更高效且高度優(yōu)化的 AI，混合AI將支持生成式AI應(yīng)用開(kāi)發(fā)者和提供商利用邊緣側(cè)終端的計(jì)算能力降低成本，因此混合AI才是AI的未來(lái)。（后臺(tái)發(fā)消息 混合 ，獲取該白皮書(shū)）。在今年的世界人工智能大會(huì)上，高通展示了在終端側(cè)運(yùn)行生成式AI模型Stable Diffusion的技術(shù)演示，和終端側(cè)語(yǔ)言-視覺(jué)模型（LVM）ControlNet的運(yùn)行演示，參數(shù)量達(dá)到10億-15億，能夠在十幾秒內(nèi)完成一系列推理。

7月19日，Meta宣布與微軟合作共同推出開(kāi)源大語(yǔ)言模型Llama 2之后，高通隨即官宣了與Meta公司的合作，將實(shí)現(xiàn)在高通驍龍芯片上可以不聯(lián)網(wǎng)的情況下，運(yùn)行基于Llama 2模型的應(yīng)用和服務(wù)。

雙方通過(guò)合作，可以在智能手機(jī)、PC、AR / VR 頭顯設(shè)備、汽車(chē)等設(shè)備上，運(yùn)行Llama 2為代表的生成式 AI 模型，幫助開(kāi)發(fā)者減少云端運(yùn)行成本，為用戶(hù)提供私密、更可靠和個(gè)性化的體驗(yàn)。

高通計(jì)劃從2024年起，在搭載驍龍平臺(tái)的終端上支持基于Llama 2的AI部署。目前，開(kāi)發(fā)者已經(jīng)可以開(kāi)始使用高通AI軟件棧面向終端側(cè)AI進(jìn)行應(yīng)用優(yōu)化。

聯(lián)發(fā)科在4月28日官宣發(fā)布了全球首個(gè)繁體中文AI大型語(yǔ)言模型BLOOM-zh，該模型于2月份開(kāi)始內(nèi)測(cè)，至發(fā)布時(shí)在大多數(shù)繁體中文基準(zhǔn)測(cè)試中優(yōu)于其前身，同時(shí)保持其英語(yǔ)能力。

與高通一樣，聯(lián)發(fā)科也在積極擁抱Llama 2。

8月24日，聯(lián)發(fā)科宣布將運(yùn)用Meta最新一代大型語(yǔ)言模型Llama2以及聯(lián)發(fā)科最先進(jìn)的人工智能處理單元(APU)和完整的AI開(kāi)發(fā)平臺(tái)(NeuroPilot)，建立完整的終端運(yùn)算生態(tài)系統(tǒng)，加速智能手機(jī)、汽車(chē)、智慧家庭、物聯(lián)網(wǎng)等終端裝置上的AI應(yīng)用開(kāi)發(fā)。

預(yù)計(jì)運(yùn)用Llama 2模型開(kāi)發(fā)的AI應(yīng)用，將在年底最新旗艦產(chǎn)品上亮相。

聯(lián)發(fā)科透露，其下一代旗艦SoC天機(jī)9300將于下半年推出，常規(guī)的性能提升之外，還將整合最新的APU，在手機(jī)等終端設(shè)備上帶來(lái)更強(qiáng)的AI能力，類(lèi)似ChatGPT的服務(wù)體驗(yàn)。

6月上旬，也有消息透露三星電子已在開(kāi)發(fā)自己的大型語(yǔ)言模型（LLM）以供內(nèi)部使用。

除了手機(jī)等端側(cè)設(shè)備，PC仍舊是重要的個(gè)人與企業(yè)生產(chǎn)力工具，英特爾也在不遺余力的對(duì)大語(yǔ)言模型進(jìn)行支持。

英特爾在6月份官宣了用Aurora超級(jí)計(jì)算機(jī)開(kāi)發(fā)的生成式AI模型Aurora genAI，參數(shù)量將多達(dá)1萬(wàn)億”。

英特爾提供了一系列AI解決方案，為AI社區(qū)開(kāi)發(fā)和運(yùn)行Llama 2等模型提供了極具競(jìng)爭(zhēng)力和極具吸引力的選擇。豐富的AI硬件產(chǎn)品組合與優(yōu)化開(kāi)放的軟件相結(jié)合，為用戶(hù)應(yīng)對(duì)算力挑戰(zhàn)提供了可行的方案。

英特爾還通過(guò)軟件生態(tài)的構(gòu)建和模型優(yōu)化，進(jìn)一步推動(dòng)新興的生成式AI場(chǎng)景在個(gè)人電腦的落地，廣泛覆蓋輕薄本、全能本、游戲本等。目前，英特爾正與PC產(chǎn)業(yè)眾多合作伙伴通力合作，致力于讓廣大用戶(hù)在日常生活和工作中，通過(guò)AI的輔助來(lái)提高效率，帶來(lái)革新性的PC體驗(yàn)。

AMD在6月中旬發(fā)布了最新款數(shù)據(jù)中心GPU——MI300X，但似乎并不被市場(chǎng)看好，大客戶(hù)并不買(mǎi)單。

倒是近期陳天奇TVM團(tuán)隊(duì)出品的優(yōu)化算法，實(shí)現(xiàn)在最新Llama2 7B 和13B模型中，用一塊 AMD Radeon RX 7900 XTX 速度可以達(dá)到英偉達(dá) RTX 4090的80%，或是3090Ti的94%。

這個(gè)優(yōu)化算法，讓更多人開(kāi)始關(guān)注AMD的GPU顯卡，也讓更多AMD個(gè)人玩家看到了用AMD芯片訓(xùn)練LLM的希望。目前，已經(jīng)有一些開(kāi)源LLM模型能夠支持A卡。

眾所周知，目前英偉達(dá)GPU是全球算力的主要構(gòu)建者。當(dāng)前想要玩轉(zhuǎn)大語(yǔ)言模型，從B端到C端都離不開(kāi)英偉達(dá)，相關(guān)數(shù)據(jù)預(yù)測(cè)英偉達(dá)將占據(jù)AI芯片市場(chǎng)至少90%的市場(chǎng)份額。

Jon Peddie Research（JPR）最新GPU市場(chǎng)數(shù)據(jù)統(tǒng)計(jì)報(bào)告顯示，2023年第一季度桌面獨(dú)立顯卡的銷(xiāo)量約為630萬(wàn)塊，英偉達(dá)以84%的市場(chǎng)份額繼續(xù)占據(jù)主導(dǎo)地位，大約銷(xiāo)售了529萬(wàn)張桌面獨(dú)立顯卡；AMD以12%的市場(chǎng)份額排在第二，出貨量大概為76萬(wàn)張。

作為當(dāng)前最大的算力供應(yīng)商，英偉達(dá)在大語(yǔ)言模型以及生成式AI方面以及發(fā)布了很多戰(zhàn)略、解決方案及產(chǎn)品。

限于篇幅關(guān)于英偉達(dá)這里不做贅述，大家可以自行搜索了解。

LLM端側(cè)部署有什么好處？

從芯片廠商到終端廠商，都在搶灘登陸部署大語(yǔ)言模型�，F(xiàn)在，他們又將目光聚焦到了LLM的端側(cè)部署，這其中的邏輯是什么呢？

在討論這個(gè)問(wèn)題之前，不妨先看看端側(cè)部署LLM有哪些好處。

近幾年LLM取得了長(zhǎng)足的進(jìn)展，卻面臨著一些挑戰(zhàn)，比如計(jì)算資源限制、數(shù)據(jù)隱私保護(hù)以及模型的可解釋性等問(wèn)題，都是制約LLM走進(jìn)千行百業(yè)的重要因素。

LLM端側(cè)部署是指將大語(yǔ)言模型運(yùn)行在用戶(hù)的智能設(shè)備上，相對(duì)于LLM運(yùn)行云端服務(wù)器上，在端側(cè)運(yùn)行LLM有以下幾個(gè)好處：

首先，提高用戶(hù)體驗(yàn)。可以大幅減少網(wǎng)絡(luò)延遲，提高響應(yīng)速度，節(jié)省流量和電量。這對(duì)于一些實(shí)時(shí)性要求高的應(yīng)用場(chǎng)景比如語(yǔ)音識(shí)別、機(jī)器翻譯、智能對(duì)話(huà)等，是非常重要的。

其次，保障數(shù)據(jù)安全。能夠有效避免用戶(hù)的數(shù)據(jù)被上傳到云端，從而降低數(shù)據(jù)泄露的風(fēng)險(xiǎn)，增強(qiáng)用戶(hù)的信任和滿(mǎn)意度。對(duì)于健康咨詢(xún)，法律咨詢(xún)，個(gè)人助理等涉及敏感信息的應(yīng)用場(chǎng)景，非常必要。

第三，增加模型靈活性。在端側(cè)部署LLM可以讓用戶(hù)根據(jù)自己的需求和喜好，定制和調(diào)整模型的參數(shù)和功能。這對(duì)于一些需要個(gè)性化和多樣化的應(yīng)用場(chǎng)景，有益于內(nèi)容創(chuàng)作、教育輔導(dǎo)、娛樂(lè)游戲等場(chǎng)景的業(yè)務(wù)與工作開(kāi)展。

AI 部署本地化具有必要性，優(yōu)勢(shì)包括更低的延遲、更小的帶寬、提高數(shù)據(jù)安全、保護(hù)數(shù)據(jù)隱私、高可靠性等。完整的大模型僅參數(shù)權(quán)重就能占滿(mǎn)一張80G的GPU，但是通過(guò)量化、知識(shí)蒸餾、剪枝等優(yōu)化，大模型可以在手機(jī)本地實(shí)現(xiàn)推理。

高通在其AI白皮書(shū)《混合AI是AI的未來(lái)》中已經(jīng)預(yù)測(cè)了LLM的未來(lái)發(fā)展方向，大語(yǔ)言模型挺進(jìn)端側(cè)已是大勢(shì)所趨。包括手機(jī)廠商等在內(nèi)的終端廠商對(duì)此需求巨大，產(chǎn)業(yè)鏈上游的芯片廠商自然要不遺余力地基于大語(yǔ)言模型做各種探索。

雖然高通、聯(lián)發(fā)科、Intel等芯片廠商已經(jīng)與Metad Llama 2展開(kāi)合作，但距離支持LLM端側(cè)運(yùn)行的移動(dòng)端芯片還沒(méi)有規(guī)�；�量產(chǎn)還有一段時(shí)間。

混合AI的趨勢(shì)下，LLM的本地化與網(wǎng)絡(luò)化運(yùn)行都是必需。因此在當(dāng)前這個(gè)空檔期，廣大終端廠商正在通過(guò)云端將大語(yǔ)言模型能力融合到語(yǔ)音助手輸入法等工具軟件上，以此讓用戶(hù)先行體驗(yàn)生成式AI帶來(lái)的諸多好處。

云端配合端側(cè)雙管齊下部署LLM，以本地終端算力支持大部分生成式AI應(yīng)用，必要時(shí)聯(lián)動(dòng)云端算力解決復(fù)雜應(yīng)用問(wèn)題，在將手機(jī)體驗(yàn)提升一大截的同時(shí)，也能將算力成本降低更多。

由此，先由云端LLM提升用戶(hù)體驗(yàn)，后面再通過(guò)端側(cè)部署LLM加強(qiáng)體驗(yàn)，將會(huì)持續(xù)為用戶(hù)帶來(lái)更多的驚喜。如果LLM能夠在手機(jī)端部署，自然也能在其他終端上部署。

這意味著，在手機(jī)之外，包括筆記本電腦、智能家居、VR（Visual Reality，虛擬現(xiàn)實(shí)）/AR（Augmented Reality，增強(qiáng)現(xiàn)實(shí)）設(shè)備、汽車(chē)和其他物聯(lián)網(wǎng)終端，未來(lái)都會(huì)搭載能夠支持LLM的芯片，AIOT將會(huì)迎來(lái)AIOT大換血，可以想象這是一個(gè)多大量級(jí)的市場(chǎng)。

而這些產(chǎn)品，幾乎所有手機(jī)廠商都在做。

此外，手機(jī)端運(yùn)行LLM對(duì)硬件有一定的需求，CPU主頻越高算力也就越大。

IDC數(shù)據(jù)顯示，2023年一季度全球手機(jī)銷(xiāo)量中主處理器頻率超過(guò)2.8GHz 的占比36%，價(jià)格在1000 美金以上的占比13%，即旗艦機(jī)型占比較低。隨著LLM在手機(jī)端落地，加上廠商們的大語(yǔ)言模型、生成式AI等的噱頭營(yíng)銷(xiāo)，有望推動(dòng)新一輪換機(jī)潮。

面向未來(lái)數(shù)十億美元的市場(chǎng)規(guī)模，所有智能終端廠商都將受益其中。

這對(duì)于從2019年就開(kāi)始持續(xù)下行并且用戶(hù)換機(jī)周期延長(zhǎng)的手機(jī)市場(chǎng)來(lái)說(shuō)，著實(shí)是一場(chǎng)及時(shí)雨。而貼上AIGC標(biāo)簽的終端產(chǎn)品，也有望帶領(lǐng)消費(fèi)電子產(chǎn)業(yè)走出長(zhǎng)期的低迷而進(jìn)入一個(gè)新的經(jīng)濟(jì)周期。

端側(cè)部署對(duì)超自動(dòng)化有什么影響

超自動(dòng)化是一個(gè)以交付工作為目的的集合體，是RPA、流程挖掘、智能業(yè)務(wù)流程管理等多種技術(shù)能力與軟件工具的組合，也是智能流程自動(dòng)化、集成自動(dòng)化等概念的進(jìn)一步延伸。

超自動(dòng)化本身涉及到的關(guān)鍵步驟即發(fā)現(xiàn)、分析、設(shè)計(jì)、自動(dòng)化、測(cè)量、監(jiān)視和重新評(píng)估等均囊括在內(nèi)，突出以人為中心，實(shí)現(xiàn)人、應(yīng)用、服務(wù)之間的關(guān)聯(lián)、組合以及協(xié)調(diào)的重要性。

自生成式AI爆發(fā)以后，超自動(dòng)化領(lǐng)域所轄的RPA、低/無(wú)代碼、流程挖掘、BPM、iPaaS等技術(shù)所涉及的廠商都在積極探索LLM自身的融合應(yīng)用，目前基本都已通過(guò)引入LLM以及基于開(kāi)源技術(shù)研發(fā)了自有領(lǐng)域模型。這些大模型正在與各種產(chǎn)品進(jìn)行深度交融，進(jìn)而變革產(chǎn)品形態(tài)與創(chuàng)新商業(yè)模式。

超自動(dòng)化是LLM落地的一個(gè)重要方向，畢竟自動(dòng)化是企業(yè)優(yōu)先考慮的增效降本工具及技術(shù)。尤其是端到端流程自動(dòng)化，已是廣大組織進(jìn)行數(shù)字化轉(zhuǎn)型的主要途徑。

引入生成式AI以后，超自動(dòng)化將從內(nèi)容生成自動(dòng)化和業(yè)務(wù)流程自動(dòng)化兩個(gè)方面同時(shí)賦能組織的長(zhǎng)效運(yùn)營(yíng)。生成式AI將會(huì)進(jìn)一步提升組織的業(yè)務(wù)流程自動(dòng)化效率，進(jìn)而實(shí)現(xiàn)更徹底的降本、提質(zhì)與增效。

LLM對(duì)超自動(dòng)化的影響，可以簡(jiǎn)單概括為提高效率和質(zhì)量、增強(qiáng)智能和靈活性、支持決策自動(dòng)化、拓展領(lǐng)域和范圍、增加創(chuàng)新和價(jià)值等幾個(gè)方面。

之前王吉偉頻道與大家討論的LLM與超自動(dòng)化融合，更多的集中于兩者在技術(shù)架構(gòu)融合后所造就的新產(chǎn)品、模式如何提升生產(chǎn)力及創(chuàng)造更多商業(yè)價(jià)值，沒(méi)有在LLM部署方面做更多探討，這里我們可以簡(jiǎn)單聊一聊這個(gè)話(huà)題。

大語(yǔ)言模型實(shí)現(xiàn)端側(cè)部署，相較于部署在云端的LLM，必然會(huì)讓超自動(dòng)化的實(shí)施與運(yùn)行達(dá)到更好的效果。

RPA作為企業(yè)管理軟件，因?yàn)橐恍┛蛻?hù)的私有化需求，很多時(shí)候都要將RPA部署在本地機(jī)房或者私有云環(huán)境。在大語(yǔ)言模型的引入上，一些對(duì)數(shù)據(jù)隱私要求比較高的客戶(hù)只能選擇本地化部署LLM，但部署在本地算力成本就成了首要問(wèn)題。

將來(lái)LLM能夠部署在端側(cè)，這些客戶(hù)在算力資源上就獲得很大的釋放，PC端以及移動(dòng)端都能夠承擔(dān)一部分算力，可以極大降低算力成本。

因此LLM運(yùn)行在用戶(hù)的設(shè)備上，可以有效降低超自動(dòng)化運(yùn)行的網(wǎng)絡(luò)延遲，減少云端計(jì)算資源的消耗。

在成效方面，LLM的端側(cè)部署可以使超自動(dòng)化更加靈活和可定制，用戶(hù)能夠根據(jù)需求和場(chǎng)景選擇合適的AI模型，并且可以隨時(shí)更新和調(diào)整模型。端側(cè)部署也可以使超自動(dòng)化更加安全和可靠，畢竟用戶(hù)的數(shù)據(jù)不需要上傳到云端，從而避免了數(shù)據(jù)泄露或被篡改的風(fēng)險(xiǎn)。

當(dāng)然，LLM端側(cè)部署也面臨一些挑戰(zhàn)，比如計(jì)算需求量大、對(duì)實(shí)時(shí)性要求高，受限于運(yùn)行環(huán)境、內(nèi)存、存儲(chǔ)空間等，這些正是LLM網(wǎng)絡(luò)側(cè)部署要解決的問(wèn)題。

由此，高通所倡導(dǎo)的多種部署方式相結(jié)合的混合AI就派上了大用場(chǎng)，這也是LLM的端側(cè)部署為何會(huì)成為當(dāng)前大熱門(mén)的主要原因。

后記：LLM端側(cè)部署+超自動(dòng)化將“賈維斯”照進(jìn)現(xiàn)實(shí)

LLM在端側(cè)運(yùn)行，可以讓手機(jī)等終端設(shè)備在不聯(lián)網(wǎng)的情況下與用戶(hù)進(jìn)行更好的交互，并聯(lián)動(dòng)其他移動(dòng)端比如各種智能家居，以更好的服務(wù)用戶(hù)。

超自動(dòng)化產(chǎn)品架構(gòu)中早已引入了對(duì)話(huà)機(jī)器人（Chatbot），目的是通過(guò)語(yǔ)音口令自動(dòng)創(chuàng)建業(yè)務(wù)流程。但之前的機(jī)器人反應(yīng)不夠靈敏，無(wú)法與人更好的交互，也無(wú)法全面調(diào)動(dòng)RPA進(jìn)行流程創(chuàng)建，且只能構(gòu)建或者執(zhí)行簡(jiǎn)單的預(yù)制業(yè)務(wù)流程。

將LLM構(gòu)建于手機(jī)等移動(dòng)終端，基于大語(yǔ)言模型生成能力、語(yǔ)義理解能力和邏輯推理能力，用戶(hù)就可以通過(guò)多輪對(duì)話(huà)進(jìn)行業(yè)務(wù)流程的實(shí)時(shí)創(chuàng)建，進(jìn)而構(gòu)建更多復(fù)雜的業(yè)務(wù)流程，以更智能地處理多項(xiàng)業(yè)務(wù)。

這意味著，通過(guò)手機(jī)等終端以語(yǔ)音對(duì)話(huà)的方式構(gòu)建并執(zhí)行工作、生活及學(xué)習(xí)中的各項(xiàng)業(yè)務(wù)流程已經(jīng)成為可能，通過(guò)終端調(diào)用所在場(chǎng)景中的所有智能終端為個(gè)體服務(wù)也將成為現(xiàn)實(shí)。

目前市面已經(jīng)出現(xiàn)了類(lèi)似的產(chǎn)品，比如實(shí)在智能的TARS-RPA-Agent模式CahtRPA，就已經(jīng)做到通過(guò)對(duì)話(huà)實(shí)現(xiàn)如生成文本一樣流暢地生成并執(zhí)行業(yè)務(wù)流程。接下來(lái)，將會(huì)有更多類(lèi)似產(chǎn)品出現(xiàn)，這將極大地豐富各領(lǐng)域多場(chǎng)景的超自動(dòng)化應(yīng)用。

說(shuō)到這里，大家腦海中是不是已經(jīng)有一個(gè)機(jī)器人管家的形象了？

沒(méi)錯(cuò)，以大語(yǔ)言模型為核心，以語(yǔ)言為接口，控制多AI模型系統(tǒng)，構(gòu)建《鋼鐵俠》中“賈維斯”式的綜合智能管家，可以說(shuō)是每個(gè)人的夢(mèng)想。

而現(xiàn)在來(lái)看，將大語(yǔ)言模型進(jìn)一步構(gòu)建于端側(cè)，云端與端側(cè)雙管齊下，再加上能夠生成各種復(fù)雜流程的超自動(dòng)化，使得這個(gè)夢(mèng)想已然照進(jìn)現(xiàn)實(shí)。

全文完

       原文標(biāo)題 : 從谷歌推出Gecko到高通引入Llama 2，端側(cè)部署成為L(zhǎng)LM落地重要方向