來(lái)源 ｜ 零壹財(cái)經(jīng)

作者 ｜ 沈拙言

一位網(wǎng)約車用戶遇到了重大煩惱。

他甚至都不知道具體是哪一次出行訂單出現(xiàn)了問(wèn)題，滴滴平臺(tái)算法認(rèn)為該用戶存在安全隱患，基于“對(duì)用戶人身安全的考慮”，暫停了這位用戶的叫車功能。

用戶通過(guò)聯(lián)系滴滴客服，告知自身并沒(méi)有安全方面的風(fēng)險(xiǎn)，經(jīng)歷了“人工申訴”環(huán)節(jié)才將自己從異常用戶名單里拉了出來(lái)。

事情并沒(méi)有這樣結(jié)束。正常使用滴滴出行服務(wù)數(shù)次后，用戶發(fā)現(xiàn)自己又無(wú)法叫車，他憤懣地通過(guò)同樣的渠道恢復(fù)了叫車權(quán)利。

直到第三次相同情況的出現(xiàn)，用戶在聯(lián)系滴滴客服時(shí)想要得到一個(gè)解釋：在自己正常叫車、正常支付、行駛導(dǎo)航規(guī)定路線的情況下，究竟是什么樣的舉動(dòng)讓系統(tǒng)誤判為自己存在安全風(fēng)險(xiǎn)？

關(guān)于算法的決策判定，滴滴客服自然是回答不上來(lái)的。用戶在連續(xù)三次的“你認(rèn)為我有安全風(fēng)險(xiǎn)，我安不安全我自己不知道嗎？”的牢騷中，對(duì)平臺(tái)系統(tǒng)的信任度降到最低，成為了人與算法之間的矛盾逐步激化的縮影。

長(zhǎng)期以來(lái)，為了解決這種人與算法之間的不理解、不信任，學(xué)界針對(duì)這一問(wèn)題產(chǎn)生過(guò)激烈討論與實(shí)踐，也衍生了可解釋性AI（Explainable AI，簡(jiǎn)稱“XAI”）的理念。歐盟委員會(huì)甚至把提高人工智能的可解釋性，認(rèn)為是下一次數(shù)據(jù)浪潮的重要內(nèi)容。

遺憾的是，當(dāng)前可解釋性AI還處于早期階段，并沒(méi)有取得突破性進(jìn)展。正如大數(shù)據(jù)領(lǐng)域內(nèi)隱私保護(hù)和用戶便利之間存在沖突，可解釋性AI和高精度AI之間也存在著類似的沖突——解釋的容易程度與AI系統(tǒng)的精度息息相關(guān)，并且很難定義雙方的關(guān)聯(lián)程度是正比還是反比，結(jié)構(gòu)簡(jiǎn)單的AI系統(tǒng)未必具有可解釋性，可解釋性較強(qiáng)的AI系統(tǒng)，往往能夠解決的問(wèn)題也有限。

無(wú)從解釋便無(wú)從理解，無(wú)從理解便無(wú)從信任�？山忉孉I到底是不是看得見(jiàn)摸不著的“鏡花水月”？

如何避免 “人工智障”

提到成功的、舉世皆知的人工智能，便不得不提AlphaGo。

AlphaGo與李世石的“人機(jī)大戰(zhàn)”過(guò)后，業(yè)界通常認(rèn)為AlphaGo采用的并非人類下棋的策略，也正是AlphaGo采用了神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等技術(shù)，吸納了海量復(fù)雜的數(shù)據(jù)，跳出了人類對(duì)于下棋的固有思路，棋局廣度已非人類可想象，出招沒(méi)有任何“套路”可言，故而在于人類的對(duì)決中鮮有敗績(jī)。

假設(shè)DeepMind公司通過(guò)完全相同的培養(yǎng)、訓(xùn)練路徑，再造一個(gè)全新的AlphaGo，新AlphaGo與舊版AlphaGo對(duì)決，勝負(fù)該如何預(yù)測(cè)？黑箱性依然是其中不可忽視的特點(diǎn)，即便再造AlphaGo，也未必是當(dāng)初的AlphaGo了。

AlphaGo具不具備可解釋性？它的每一個(gè)發(fā)展路徑、下棋思路、落子預(yù)兆是否能被人類所理解？目前尚未有人對(duì)決策邏輯進(jìn)行解釋。即便AlphaGo不具備可解釋性，也因?yàn)樗�身處一個(gè)相對(duì)無(wú)害的圍棋領(lǐng)域中，人類也能容忍這樣的人工智能擊敗自身群體中最優(yōu)秀的棋手。
柯潔曾說(shuō)AlphaGo就是圍棋上帝，但也僅限于此。AlphaGo在圍棋中可以主宰一切，從不犯錯(cuò)，它的案例卻不能應(yīng)用在更多復(fù)雜且意義重大的業(yè)務(wù)場(chǎng)景中。

一些決策意義重大的場(chǎng)景中，人類無(wú)法容忍人工智能的無(wú)解釋性。比如醫(yī)生已經(jīng)習(xí)慣了人工智能作為輔助手段，通過(guò)后者進(jìn)行一系列數(shù)據(jù)分析，為最終的病例診斷提供依據(jù)。但當(dāng)人工智能給出的答案與醫(yī)生從醫(yī)經(jīng)驗(yàn)出現(xiàn)分歧，這種分歧往往很難有明確解決方案——若以醫(yī)生為準(zhǔn)，醫(yī)生也有誤診的可能性；若以人工智能決策為準(zhǔn)，那人工智能是怎樣做出這個(gè)決斷的？沒(méi)有明確依據(jù)，也無(wú)法向患者交代。

也正因?yàn)閷?duì)人工智能做出決策的邏輯無(wú)法充分理解，使用方也就很難判斷這樣的決策是否會(huì)帶來(lái)公平性上的巨大缺陷以及安全性上的重大隱患。早在1993年，學(xué)者Gerald Peterson就指出，除非人類能夠說(shuō)服自己完全信任這項(xiàng)技術(shù)，否則神經(jīng)網(wǎng)絡(luò)算法將不會(huì)被應(yīng)用于關(guān)鍵領(lǐng)域，而增進(jìn)信任的核心在于人類能夠理解AI的內(nèi)部運(yùn)行原理。

甚至，因?yàn)槿斯ぶ悄艿臄?shù)據(jù)樣本摻雜人為主觀因素，曾出現(xiàn)過(guò)重大社會(huì)矛盾問(wèn)題。美國(guó)曾廣泛使用的犯罪風(fēng)險(xiǎn)評(píng)估算法 COMPAS 被證明對(duì)黑人犯罪嫌疑人造成歧視，白人更多被錯(cuò)誤地評(píng)估為具有低犯罪風(fēng)險(xiǎn)，而黑人被錯(cuò)誤地評(píng)估為具有高犯罪風(fēng)險(xiǎn)，且黑人的概率比白人高出一倍，這一邏輯也讓COMPAS算法臭名昭著。

國(guó)內(nèi)一個(gè)比較典型的案例是《外賣騎手，困在系統(tǒng)里》一文所引發(fā)的社會(huì)思考。外賣平臺(tái)的實(shí)時(shí)智能配送系統(tǒng)是AI智能算法深度學(xué)習(xí)能力的產(chǎn)物，是平臺(tái)令人稱道的重大進(jìn)步，卻逼迫著外賣騎手與死神競(jìng)賽、與交警較勁、與紅燈為友。系統(tǒng)根據(jù)用戶下單地址，根據(jù)騎手的當(dāng)前位置、順路性、方向等因素決定哪位騎手接單，然后在數(shù)秒內(nèi)規(guī)劃騎手的路線與送達(dá)時(shí)間，聽(tīng)起來(lái)很精密，實(shí)際上一個(gè)紅燈、一場(chǎng)大雨、一趟等不到的電梯，都能輕易擊碎這些“最優(yōu)解”。

相比之下，文首滴滴案例社會(huì)影響力則不那么巨大，它沒(méi)有涉及算法上的歧視，也沒(méi)有損害某類群體的應(yīng)有利益（最多影響到個(gè)體用戶，需要專項(xiàng)解決），但卻在人類與算法矛盾上更具代表性。使用方不知自身何種行為會(huì)被AI算法判定為安全隱患，運(yùn)營(yíng)方則無(wú)法解釋算法依據(jù)何種數(shù)據(jù)做出決策，出現(xiàn)誤判之后，仍需要訴諸于人工干預(yù)。

在很多人工智能應(yīng)用中，人類的監(jiān)督與干預(yù)是常常被提及的重要方面，在醫(yī)療、金融、法律界，對(duì)于人工智能的應(yīng)用都有嚴(yán)格、審慎的內(nèi)部管理。而到了人工干預(yù)環(huán)節(jié)，似乎又回到了“無(wú)法解決人為決策上的完全客觀”問(wèn)題。

當(dāng)前業(yè)界對(duì)人工干預(yù)提出了解決辦法：由于AI算法缺乏足夠的可解釋性，人類對(duì)AI的決策尚沒(méi)有極高的信賴度，且由于機(jī)器不會(huì)自己把自己的決策邏輯說(shuō)出來(lái)，相比于這樣決策的不可控，由人類來(lái)決策至少有解釋的空間，即使這樣的決策無(wú)法做到絕對(duì)客觀。

歐盟甚至把人類監(jiān)管糾錯(cuò)放在可信人工智能系統(tǒng)需要滿足條件的首條。根據(jù)歐盟發(fā)布的《可信人工智能道德原則指導(dǎo)》，可信人工智能系統(tǒng)必須滿足七個(gè)方面的要求：人類監(jiān)管糾錯(cuò)、技術(shù)安全及魯棒、隱私保護(hù)與數(shù)據(jù)治理、透明及可解釋、算法公平無(wú)歧視、環(huán)保及社會(huì)影響、問(wèn)責(zé)制度。
歐盟委員會(huì)人工智能高級(jí)專家組（AI HLEG）編制的《人工智能道德準(zhǔn)則》（AI Ethics Guidelines）也曾做出過(guò)解釋：人類需要制定一個(gè)以人為中心的 AI 發(fā)展方向，時(shí)刻銘記 AI 的發(fā)展并不是為了發(fā)展其本身，最終目標(biāo)應(yīng)該是為人類謀福祉。因此，可信賴 AI（Trustworthy AI）將成為人類的指路明燈。

可解釋AI的Who ＆ How

盡管多年以來(lái)，學(xué)界一直在探討可解釋性AI，但遺憾的是，至今并沒(méi)有形成一個(gè)統(tǒng)一的認(rèn)知。

其中一點(diǎn)分歧在于，如果要解釋，解釋給誰(shuí)看？會(huì)不會(huì)出現(xiàn)“給農(nóng)夫講火箭運(yùn)行原理”的情況？

DARPA（美國(guó)國(guó)防部高級(jí)研究計(jì)劃局）認(rèn)為，可解釋性AI的目的是要解釋給用戶，讓用戶知道為什么AI系統(tǒng)會(huì)這么做，也能解釋AI系統(tǒng)不這么做的理由。既能知道AI這么做下去會(huì)不會(huì)成功，也能預(yù)測(cè)AI系統(tǒng)的失敗。

《歐盟平臺(tái)商戶關(guān)系條例》（EU Platform to Business Regulation）就以用戶為中心。該條例規(guī)定了在線平臺(tái)和搜索引擎對(duì)排名算法的解釋義務(wù)。在線平臺(tái)和搜索引擎必須對(duì)影響平臺(tái)排名的“主要參數(shù)”進(jìn)行“合理描述”，解釋必須以“通俗易懂”的語(yǔ)言說(shuō)明，這種“合理描述”必須是有用的，它應(yīng)該幫助企業(yè)用戶改進(jìn)其商品和服務(wù)的展示，解釋的內(nèi)容應(yīng)幾乎完全與用戶的可理解性與實(shí)用性相聯(lián)系。對(duì)于可能影響商業(yè)機(jī)密的“合理描述”，《歐盟平臺(tái)商戶關(guān)系條例》提及，在線平臺(tái)服務(wù)和搜索引擎不需要披露其排名機(jī)制，包括算法的詳細(xì)運(yùn)作情況，但描述必須基于所使用的排名參數(shù)強(qiáng)相關(guān)的實(shí)際數(shù)據(jù)。

另一種觀點(diǎn)認(rèn)為，即便實(shí)現(xiàn)了可解釋性AI，也不應(yīng)該把過(guò)多信息傳遞給應(yīng)用層，用戶需要的是未必精準(zhǔn)但相對(duì)通俗的解釋，而開(kāi)發(fā)層需要專業(yè)精準(zhǔn)的解釋。一套AI邏輯的解釋也不可能滿足所有人。如果只推行精準(zhǔn)解釋一套標(biāo)準(zhǔn)，到應(yīng)用層的用戶也未必能完全理解，不能完全理解便導(dǎo)致用戶對(duì)AI系統(tǒng)的信賴度無(wú)法提高，可解釋性AI實(shí)現(xiàn)的意義將大打折扣。

甚至還有觀點(diǎn)認(rèn)為，畢竟世界上存在太多無(wú)法解釋的事物，AI具有可解釋性是人類不切實(shí)際的夢(mèng)想。鑒于不同學(xué)者和單位對(duì)可解釋性的定義不同，解決問(wèn)題角度不同，可解釋性的研究體系結(jié)構(gòu)仍不明確。人工智能深度學(xué)習(xí)、算法決策的不可預(yù)測(cè)性與機(jī)器不會(huì)說(shuō)話的桎梏，導(dǎo)致未來(lái)對(duì)AI可解釋性的研究仍會(huì)遭遇瓶頸。

面對(duì)一個(gè)近乎“兩難”的局面，各國(guó)監(jiān)管機(jī)構(gòu)、平臺(tái)方在監(jiān)管與業(yè)務(wù)開(kāi)展中進(jìn)行了一定的取舍。實(shí)際應(yīng)用中對(duì)于可解釋性AI往往采取折中的解決方案：由機(jī)器進(jìn)行決策，減少人工成本，但最終由人類監(jiān)督與干預(yù)，當(dāng)出現(xiàn)算法誤判，人類有撥亂反正的能力。

這總會(huì)讓人聯(lián)想到大數(shù)據(jù)時(shí)代隱私保護(hù)與用戶便利的沖突。李彥宏曾說(shuō)過(guò)，如果犧牲一定的隱私來(lái)?yè)Q取使用上的便利，大部分人都會(huì)愿意。而到可解釋AI中，如果犧牲一部分對(duì)AI決策的理解來(lái)?yè)Q取多項(xiàng)問(wèn)題的解決率，造成“有些問(wèn)題可以通過(guò)AI來(lái)解決卻無(wú)法解釋”的情況，大部分人會(huì)不會(huì)愿意？

社會(huì)對(duì)美團(tuán)配送時(shí)間的算法進(jìn)行熱議之后，美團(tuán)將騎手配送時(shí)間算法進(jìn)行了調(diào)整，由訂單預(yù)計(jì)送達(dá)“時(shí)間點(diǎn)”變更為彈性的“時(shí)間段”。美團(tuán)只公布了算法決策結(jié)果，沒(méi)有對(duì)算法為何劃定某某時(shí)間段做出詳細(xì)解釋，但由于解決了問(wèn)題，關(guān)于美團(tuán)算法的討論便告一段落。這再次印證了在解決問(wèn)題和解釋邏輯尚不能兩全的情況下，人們更愿意關(guān)注前者。

基于現(xiàn)實(shí)問(wèn)題的考量，我國(guó)對(duì)AI算法可解釋的監(jiān)管要求并沒(méi)有像歐盟那樣嚴(yán)格。3月1日施行的《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》第十二條提出，鼓勵(lì)算法推薦服務(wù)提供者綜合運(yùn)用內(nèi)容去重、打散干預(yù)等策略，并優(yōu)化檢索、排序、選擇、推送、展示等規(guī)則的透明度和可解釋性，避免對(duì)用戶產(chǎn)生不良影響，預(yù)防和減少爭(zhēng)議糾紛。

《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》以結(jié)果為導(dǎo)向，展示相關(guān)規(guī)則和可解釋性的根本目的是為了避免對(duì)用戶的不良影響，鼓勵(lì)平臺(tái)服務(wù)者提高算法的可解釋性，當(dāng)出現(xiàn)算法爭(zhēng)議時(shí)，具有解釋能力。

以上文網(wǎng)約車平臺(tái)為例，當(dāng)用戶一而再、再而三出現(xiàn)困擾的時(shí)候，平臺(tái)應(yīng)當(dāng)有對(duì)算法的解釋能力，以規(guī)避同樣問(wèn)題的再次出現(xiàn)。但指望每一個(gè)客服都能將算法決策邏輯娓娓道來(lái)，這也不現(xiàn)實(shí)，如何將具備解釋能力的人員對(duì)接到需要解釋的用戶，這仍是平臺(tái)需要考慮的問(wèn)題。

但平臺(tái)什么時(shí)候能有結(jié)論？可能還要五年，可能是十年，但不會(huì)是當(dāng)下。我問(wèn)在網(wǎng)約車出行中飽受算法誤判苦惱的那名用戶，是否會(huì)因此放棄這種出行方式？

“直接放棄并不現(xiàn)實(shí)，哪怕之后再出現(xiàn)這樣的誤判，我內(nèi)心會(huì)憤怒、會(huì)苦惱，但依然會(huì)不厭其煩地用同樣的方式解決這樣的問(wèn)題，我無(wú)法因?yàn)樗�算法上的瑕疵而拋棄我�?xí)以為常的便利�！�

用戶還能忍，平臺(tái)還有時(shí)間，但時(shí)間不多了。

       原文標(biāo)題 : 算法之過(guò)，算誰(shuí)的？