編者按：世界各國(guó)在政府治理中越來(lái)越多地使用人工智能。然而，由于欠缺對(duì)人工智能的了解，擔(dān)憂(yōu)技術(shù)過(guò)于復(fù)雜，且缺少實(shí)施技術(shù)的必要知識(shí)，公共機(jī)構(gòu)往往對(duì)采用人工智能保持謹(jǐn)慎態(tài)度。為此，包括Salesforce、德勤（Deloitte）、世界經(jīng)濟(jì)論壇(WEF)和英國(guó)AI辦公室在內(nèi)的一個(gè)協(xié)作小組日前推出了《人工智能系統(tǒng)政府采購(gòu)白皮書(shū)》。該指南為政府提供了人工智能的定義和大致按順序排列的10項(xiàng)原則，以確保公共部門(mén)負(fù)責(zé)任地使用。本刊對(duì)該指南進(jìn)行編譯，以饗讀者。 

　　把握好人工智能政府采購(gòu)10項(xiàng)原則 

　　《人工智能系統(tǒng)政府采購(gòu)白皮書(shū)》——摘編（一） 

　　什么是人工智能？ 

　　“人工智能”（Artificial Intelligence），英文縮寫(xiě)為AI，它正式被定義為計(jì)算機(jī)科學(xué)的一個(gè)分支，企圖了解智能的實(shí)質(zhì)，并生產(chǎn)出一種新的能以人類(lèi)智能相似的能力做出反應(yīng)的智能機(jī)器。這些能力包括：學(xué)習(xí)和適應(yīng);感覺(jué)理解和互動(dòng);推理和規(guī)劃;優(yōu)化程序和參數(shù);自治;創(chuàng)造力。 

　　過(guò)去十年，人工智能蓬勃發(fā)展，特別是作為人工智能核心技術(shù)，神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的發(fā)展極大地提高了人工智能在復(fù)雜環(huán)境與多體交互中做出最優(yōu)決策的能力。同時(shí)，人工智能以新數(shù)據(jù)集合和新算法助力很多領(lǐng)域和具體工作大幅度提高工作效率、生產(chǎn)率和可靠性，甚至可以說(shuō)為絕大多數(shù)的行業(yè)都帶來(lái)了可觀的收益。 

　　為什么公共采購(gòu)需要人工智能？ 

　　世界各國(guó)政府也在積極布局人工智能。政府治理中通過(guò)大數(shù)據(jù)、超算、精算等計(jì)算理論以及深度學(xué)習(xí)等技術(shù)提高公共部門(mén)生產(chǎn)力或工作效率。此外，布局人工智能技術(shù)還可以極大地提高政府公共服務(wù)精準(zhǔn)化水平，提升公民生活質(zhì)量。例如，人工智能為改善人們生產(chǎn)生活提供了技術(shù)支撐，并在城市治理、社會(huì)治理、環(huán)境治理、城市運(yùn)行、學(xué)校教育、醫(yī)療養(yǎng)老、司法服務(wù)等領(lǐng)域廣泛應(yīng)用。但是，目前各國(guó)政府缺乏獲取人工智能解決問(wèn)題的經(jīng)驗(yàn)，大部分公共機(jī)構(gòu)對(duì)人工智能這一技術(shù)持謹(jǐn)慎觀望態(tài)度。人工智能政府采購(gòu)準(zhǔn)則也許可以為政府解決上述問(wèn)題提供思路。 

　　首先，政府和社會(huì)公眾出于對(duì)偏見(jiàn)、隱私、問(wèn)責(zé)制、透明度和整體復(fù)雜性的擔(dān)憂(yōu)，對(duì)利用人工智能持謹(jǐn)慎態(tài)度。因此，公共機(jī)構(gòu)在采用人工智能上既要了解其帶來(lái)的積極影響，更要了解負(fù)面結(jié)果。例如，在司法領(lǐng)域，盡管人工智能輔助辦案系統(tǒng)的開(kāi)發(fā)和應(yīng)用，能夠?yàn)榉ü傩淌罗k案提供證據(jù)分析判斷的技術(shù)幫助。然而，如果量刑規(guī)范化本身存在問(wèn)題，過(guò)于限制法官個(gè)體的刑事裁量權(quán)，則人工智能輔助辦案系統(tǒng)也會(huì)不適當(dāng)?shù)貕嚎s辦案法官的司法能動(dòng)空間，甚至無(wú)限擴(kuò)大量刑規(guī)范本身帶來(lái)的負(fù)面效應(yīng)。 

　　（政府官員應(yīng)使用可以提供可解釋性的AI系統(tǒng)，以便對(duì)模型如何得出結(jié)論提供解釋。）在沒(méi)有關(guān)于如何確保問(wèn)責(zé)制、透明度和可解釋性的明確指導(dǎo)的情況下，政府可能無(wú)法履行其對(duì)制定算法決策的專(zhuān)家以及公眾的期望，并可能無(wú)意中造成新的風(fēng)險(xiǎn)或危害。 

　　當(dāng)前，關(guān)于人工智能各國(guó)公共機(jī)構(gòu)缺乏必要的技能完全理解或跟蹤人工智能算法的因果關(guān)系，需要依賴(lài)人工智能技術(shù)的供應(yīng)商的專(zhuān)業(yè)知識(shí)以及已有模型認(rèn)識(shí)人工智能內(nèi)涵及其發(fā)展邏輯。因此，無(wú)論是公共機(jī)構(gòu)還是提供人工智能的供應(yīng)商都希望構(gòu)建一個(gè)強(qiáng)大的、嚴(yán)格的、透明的人工智能政府采購(gòu)指導(dǎo)框架。一方面，可以幫助大多數(shù)行政機(jī)構(gòu)克服不愿購(gòu)買(mǎi)或使用人工智能技術(shù)的思想；另一方面，可以幫助研發(fā)人工智能的公司打開(kāi)新的市場(chǎng)，幫助人工智能領(lǐng)域的公司在透明、公開(kāi)的環(huán)境中競(jìng)爭(zhēng)政府合同。 

　　其次，建議通過(guò)立法、政策措施、框架協(xié)議、示范合同等方式建立一套有效的人工智能政府采購(gòu)制度，以此提升人工智能政府采購(gòu)效率，提高采購(gòu)結(jié)果滿(mǎn)意度。因?yàn)?，良好的、技術(shù)性的政府采購(gòu)既定原則可能在人工智能政府采購(gòu)中具有更大的意義。例如，許多政府的采購(gòu)工作已經(jīng)交給專(zhuān)業(yè)性的采購(gòu)官或者采購(gòu)團(tuán)隊(duì)負(fù)責(zé)。對(duì)比，具有專(zhuān)業(yè)性采購(gòu)經(jīng)驗(yàn)的人士，通過(guò)人工智能方式進(jìn)行政府采購(gòu)活動(dòng)，對(duì)弱勢(shì)群體、少數(shù)民族地區(qū)以及其他受保護(hù)團(tuán)體可能會(huì)產(chǎn)生無(wú)意的歧視或損害?？紤]到政府在維護(hù)包容性方面的作用，因此人工智能政府采購(gòu)中未來(lái)還需進(jìn)一步強(qiáng)調(diào)多學(xué)科交叉和多種條件交叉融合。 

　　再其次，人工智能近年來(lái)發(fā)展迅速，推動(dòng)經(jīng)濟(jì)社會(huì)各領(lǐng)域從數(shù)字化、網(wǎng)絡(luò)化向智能化加速研究與應(yīng)用。更重要的是政府以及公共機(jī)構(gòu)通過(guò)政府采購(gòu)啟動(dòng)重大項(xiàng)目和系統(tǒng)來(lái)促進(jìn)新一代人工智能技術(shù)的運(yùn)用和傳播。 

　　最后，政府采購(gòu)規(guī)則和采購(gòu)慣例通常會(huì)對(duì)市場(chǎng)產(chǎn)生重大影響，尤其是任何一項(xiàng)新技術(shù)發(fā)展的早期階段。政府權(quán)威與公信力對(duì)行業(yè)標(biāo)準(zhǔn)的制定有一定的借鑒。總而言之，人工智能政府采購(gòu)白皮書(shū)旨在指導(dǎo)與公共采購(gòu)全生命周期有關(guān)的所有各方（政策官員、采購(gòu)官員、數(shù)據(jù)科學(xué)家、技術(shù)提供者及其他相關(guān)人士）朝著維護(hù)公共利益和福祉的總體目標(biāo)邁進(jìn)。 

　　人工智能政府采購(gòu)指南如何制定？ 

　　人工智能政府采購(gòu)指南由世界經(jīng)濟(jì)論壇（WEF）第四次工業(yè)革命中心與多方利益相關(guān)者協(xié)商后制定的。包括英國(guó)人工智能辦公室組成的協(xié)作小組、盛龐卡大數(shù)據(jù)公司（Splunk）、德勤有限公司（Deloitte）以及Salesforce（一家CRM解決方案提供商）。辦公室的項(xiàng)目研究員召開(kāi)研討會(huì)，由來(lái)自政府、學(xué)術(shù)界、民間社會(huì)和私營(yíng)部門(mén)的代表探討關(guān)鍵問(wèn)題并共同設(shè)計(jì)應(yīng)對(duì)方案。 

　　如何使用指南？ 

　　該指南提供了政府在獲取和部署人工智能解決方案和服務(wù)之前應(yīng)確定的基本采購(gòu)準(zhǔn)則。指南特別強(qiáng)調(diào)：人工智能采購(gòu)準(zhǔn)則并非旨在解決所有公共機(jī)構(gòu)采購(gòu)人工智能時(shí)所遇到的所有問(wèn)題，但希望通過(guò)準(zhǔn)則為政府使用人工智能和采購(gòu)人工智能技術(shù)時(shí)提供有力的幫助。具體來(lái)說(shuō)，該準(zhǔn)則將有助于加快行政機(jī)構(gòu)政策目標(biāo)的落實(shí)；政府采購(gòu)官員與商務(wù)團(tuán)隊(duì)制定與人工智能相關(guān)的提案請(qǐng)求并管理政府采購(gòu)流程；數(shù)據(jù)從業(yè)者（例如數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師、統(tǒng)計(jì)學(xué)家和軟件工程師）維護(hù)公共利益并識(shí)別和管理潛在風(fēng)險(xiǎn)；人工智能解決方案提供商可以更好地了解政府人工智能項(xiàng)目的核心期望并使他們的提案與最新的公共采購(gòu)標(biāo)準(zhǔn)保持一致。該準(zhǔn)則由10項(xiàng)高級(jí)別建議組成，根據(jù)它們與采購(gòu)累積過(guò)程的相關(guān)性，按順序大致排序。這些建議包括：每項(xiàng)準(zhǔn)則包括多個(gè)相關(guān)的原則；準(zhǔn)則中會(huì)詳細(xì)闡述每個(gè)原則的實(shí)質(zhì)內(nèi)容。隨著人工智能技術(shù)復(fù)雜程度和政府用途的發(fā)展，人工智能政府采購(gòu)指南應(yīng)該不定時(shí)更新以反映新的技術(shù)和領(lǐng)先實(shí)踐。最終目標(biāo)是為各國(guó)政府以及國(guó)際機(jī)構(gòu)制定正確的政策，協(xié)議甚至標(biāo)準(zhǔn)，以促進(jìn)有效、負(fù)責(zé)任和符合道德的人工智能供公眾使用。 

　　人工智能政府采購(gòu)指南中準(zhǔn)則概述 

　　從事人工智能政府采購(gòu)流程前，編寫(xiě)需求建議書(shū)和評(píng)估建議書(shū)響應(yīng)時(shí)應(yīng)考慮以下原則： 

　　1.采購(gòu)流程應(yīng)關(guān)注所面臨的問(wèn)題和機(jī)會(huì)，而不是特定的解決方案，并支持迭代方法。 

　　a.創(chuàng)新采購(gòu)流程。以創(chuàng)新為中心的采購(gòu)流程為加速人工智能系統(tǒng)等新技術(shù)的采用、促進(jìn)創(chuàng)新、支持次要政策標(biāo)準(zhǔn)等提供了機(jī)會(huì)。比如，這些過(guò)程支持早期的市場(chǎng)參與，使購(gòu)買(mǎi)者可以在不同階段進(jìn)入市場(chǎng)。這樣就有機(jī)會(huì)在真正購(gòu)買(mǎi)決策前對(duì)該技術(shù)在相關(guān)問(wèn)題領(lǐng)域進(jìn)行測(cè)試。 

　　b.采購(gòu)時(shí)要給出明確的問(wèn)題描述，而不是解決方案的詳細(xì)說(shuō)明。除了能發(fā)揮各相關(guān)方的優(yōu)勢(shì)外，該方法還有兩個(gè)好處：一是可以在早期進(jìn)入市場(chǎng)；二是可以讓新的AI服務(wù)提供商參與進(jìn)來(lái)，政府不再關(guān)注于特定的產(chǎn)品。培育新興的AI生態(tài)系統(tǒng)是未來(lái)關(guān)鍵的經(jīng)濟(jì)投資。 

　　c.在產(chǎn)品開(kāi)發(fā)過(guò)程中支持迭代方法。AI驅(qū)動(dòng)的解決方案與其他技術(shù)在學(xué)習(xí)和利用新數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練方面有明顯的不同。因此，AI系統(tǒng)的采購(gòu)過(guò)程應(yīng)該為迭代預(yù)留一定的空間，以確保公平的、透明的評(píng)估和決策過(guò)程。 

　　2.對(duì)使用AI對(duì)公眾的益處進(jìn)行定義并評(píng)估風(fēng)險(xiǎn)。 

　　a.在需求建議書(shū)中說(shuō)清楚為什么覺(jué)得這個(gè)問(wèn)題和AI相關(guān)，同時(shí)接受可選的技術(shù)方案。 

　　b.在需求建議書(shū)中解釋清楚在評(píng)估標(biāo)書(shū)時(shí)公共利益是自動(dòng)決策過(guò)程的主要驅(qū)動(dòng)力。 

　　c.在開(kāi)始采購(gòu)過(guò)程前進(jìn)行人工智能風(fēng)險(xiǎn)和影響評(píng)估，確保評(píng)估結(jié)果反饋到采購(gòu)需求層面，并在決策點(diǎn)重新進(jìn)行評(píng)估。除此之外，在人工智能解決方案的全生命周期內(nèi)，從設(shè)計(jì)到實(shí)現(xiàn)后的維護(hù)，都要進(jìn)行系統(tǒng)性和持續(xù)性的風(fēng)險(xiǎn)監(jiān)控。人工智能解決方案提供商可以通過(guò)項(xiàng)目管理功能來(lái)識(shí)別、草擬解決方案和報(bào)告風(fēng)險(xiǎn)。 

　　3.使采購(gòu)與現(xiàn)有的政府戰(zhàn)略一致，并有助于其進(jìn)一步改進(jìn)。 

　　a.查閱政府發(fā)展規(guī)劃文件和關(guān)于新技術(shù)的公共政策指南文件，如人工智能?chē)?guó)家戰(zhàn)略、創(chuàng)新戰(zhàn)略和工業(yè)戰(zhàn)略。 

　　b.與其他相關(guān)政府機(jī)構(gòu)和科研院所相互協(xié)作和學(xué)習(xí)。 

　　4.在需求建議書(shū)中加入相關(guān)的潛在立法和行業(yè)規(guī)則。 

　　a.對(duì)管理數(shù)據(jù)類(lèi)型和應(yīng)用類(lèi)型的相關(guān)立法、權(quán)利、管理規(guī)則和其他規(guī)范進(jìn)行審查，并在需求建議書(shū)中進(jìn)行引用。 

　　b.將與人工智能系統(tǒng)部署相關(guān)的機(jī)密性、商業(yè)密碼保護(hù)、數(shù)據(jù)隱私最佳實(shí)踐考慮進(jìn)來(lái)；根據(jù)公共利益需要，可以在保密和保護(hù)商業(yè)秘密的前提下，在調(diào)查過(guò)程中，可以通過(guò)部分披露、有限的審查選擇和其他增強(qiáng)公眾信任的手段促進(jìn)透明度。 

　　5.闡明訪(fǎng)問(wèn)相關(guān)數(shù)據(jù)的技術(shù)和管理可行性。 

　　a.確保從采購(gòu)流程開(kāi)始就有適當(dāng)?shù)臄?shù)據(jù)管理機(jī)制。 

　　b.評(píng)估相關(guān)數(shù)據(jù)對(duì)項(xiàng)目是否可用。 

　　c.定義是否以及如何就采購(gòu)計(jì)劃和隨后的項(xiàng)目與廠(chǎng)商進(jìn)行數(shù)據(jù)共享。 

　　6.強(qiáng)調(diào)數(shù)據(jù)使用的技術(shù)和倫理限制來(lái)避免歷史數(shù)據(jù)偏見(jiàn)這樣的問(wèn)題。 

　　a.考慮數(shù)據(jù)的敏感性，以及數(shù)據(jù)使用是否公平；評(píng)估不同數(shù)據(jù)集的隱私需求以確定適當(dāng)?shù)谋Ｗo(hù)等級(jí)。 

　　b.在需求建議書(shū)中強(qiáng)調(diào)對(duì)數(shù)據(jù)的限制，要求投標(biāo)者描述如何解決這些問(wèn)題。并為未提到的相關(guān)限制提出解決方案；如果政府沒(méi)有正確的技能或方法來(lái)綜合檢查數(shù)據(jù)的可能限制，可以提供給廠(chǎng)商關(guān)于數(shù)據(jù)高級(jí)狀態(tài)的指南，以起草適當(dāng)?shù)奶嶙h。保證需求建議書(shū)中數(shù)據(jù)的需求還包括進(jìn)行數(shù)據(jù)質(zhì)量評(píng)價(jià)和為低質(zhì)量的數(shù)據(jù)提出解決方案。 

　　7.與不同的、跨學(xué)科團(tuán)隊(duì)工作。 

　　a.在跨學(xué)科的團(tuán)隊(duì)中通過(guò)采購(gòu)流程提出想法并進(jìn)行決策。組成包含設(shè)計(jì)、采購(gòu)和操作人工智能系統(tǒng)的跨學(xué)科團(tuán)隊(duì)?？鐚W(xué)科的團(tuán)隊(duì)?wèi)?yīng)包括人工智能解決方案要應(yīng)用領(lǐng)域的政策、機(jī)器學(xué)習(xí)/數(shù)據(jù)科學(xué)、數(shù)據(jù)工程、技術(shù)、采購(gòu)、倫理和人權(quán)方面的專(zhuān)業(yè)人才。確保有多樣性的團(tuán)隊(duì)。包括來(lái)自不同性別、種族、社會(huì)和經(jīng)濟(jì)背景的成員，還應(yīng)確保有觀點(diǎn)的融合。這可以確保問(wèn)題和解決方案是來(lái)自不同角度的，這樣可以幫助解決偏見(jiàn)的問(wèn)題。 

　　b.要求中標(biāo)者組織具有適當(dāng)技能的團(tuán)隊(duì)。在評(píng)標(biāo)時(shí)應(yīng)當(dāng)對(duì)中標(biāo)者的團(tuán)隊(duì)技能進(jìn)行評(píng)估，并作為評(píng)標(biāo)結(jié)果的一部分。 

　　8.關(guān)注采購(gòu)流程的算法審計(jì)和透明性機(jī)制。（在傳統(tǒng)模型中，服務(wù)接受者和服務(wù)提供者可以就結(jié)果或決策進(jìn)行交互。接受者還可以對(duì)決策提出問(wèn)題或?qū)Y(jié)果進(jìn)行挑戰(zhàn)。但在使用神經(jīng)網(wǎng)絡(luò)類(lèi)技術(shù)的全自動(dòng)系統(tǒng)中，服務(wù)接受者無(wú)法預(yù)測(cè)結(jié)果。因此神經(jīng)網(wǎng)絡(luò)這樣的算法非常準(zhǔn)確，但無(wú)法就決策向第三方進(jìn)行解釋。） 

　　a.通過(guò)人工智能解決方案來(lái)促進(jìn)可審計(jì)的文化。在一些場(chǎng)景下，應(yīng)當(dāng)對(duì)服務(wù)提供商提出允許對(duì)方案進(jìn)行獨(dú)立審計(jì)的要求。這可以幫助預(yù)防或解決一些意外的后果。服務(wù)提供商和政府官員應(yīng)當(dāng)對(duì)人工智能解決方案的意外后果進(jìn)行風(fēng)險(xiǎn)分析，并將法律的限制寫(xiě)進(jìn)合同中來(lái)明確各方的責(zé)任。 

　　b.確保人工智能決策系統(tǒng)盡可能透明。鼓勵(lì)可解釋人工智能（XAI）的使用。要求投標(biāo)者提供關(guān)于模型構(gòu)建方法的信息等。 

　　c.通過(guò)算法內(nèi)部和外部的可解釋性來(lái)作為建立審計(jì)和市場(chǎng)競(jìng)爭(zhēng)的方法。 

　　9.實(shí)現(xiàn)人工智能服務(wù)提供者和收購(gòu)實(shí)體進(jìn)行成果轉(zhuǎn)讓和長(zhǎng)期風(fēng)險(xiǎn)評(píng)估的過(guò)程。 

　　a.在采購(gòu)過(guò)程中要明確采購(gòu)包括人工智能在內(nèi)的工具并非一次性的決定，而要在全生命周期內(nèi)測(cè)試應(yīng)用。 

　　b.要求人工智能服務(wù)提供者確保成果轉(zhuǎn)讓和培訓(xùn)是項(xiàng)目參與的一部分，確保人工智能解決方案的維護(hù)和第三方獨(dú)立審計(jì)。 

　　c.要求人工智能服務(wù)提供者提供如何管理非專(zhuān)業(yè)人員對(duì)應(yīng)用的合理使用的方法。 

　　d.在提出的方案的評(píng)估標(biāo)準(zhǔn)中加入倫理的考慮。 

　　10.為人工智能解決方案提供商創(chuàng)造公平競(jìng)爭(zhēng)的條件。 

　　a.用多種方式盡可能多地接觸人工智能解決方案提供商。 

　　b.通過(guò)采購(gòu)流程盡早與廠(chǎng)商建立聯(lián)系。 

　　c.確保AI解決方案的互操作性，并要求公開(kāi)許可條款以防廠(chǎng)商鎖定（lock-in）?？紤]避免廠(chǎng)商鎖定的策略，尤其是與黑盒算法相關(guān)的那些。具體包括使用開(kāi)放標(biāo)準(zhǔn)、公開(kāi)許可條款和公共領(lǐng)域發(fā)布條款；既可以設(shè)計(jì)新算法，也可以對(duì)現(xiàn)有算法進(jìn)行修改。因此需要考慮知識(shí)產(chǎn)權(quán)的問(wèn)題；為了保持對(duì)過(guò)時(shí)的系統(tǒng)的訪(fǎng)問(wèn)，要確?？梢元?dú)立于廠(chǎng)商地對(duì)人工智能解決方案進(jìn)行逆向以維護(hù)系統(tǒng)。 

　　昝妍/編譯