[文/美國《連線》雜誌總編輯尼古拉斯·湯普森]

2021年1月13日，我對前國防部長阿什頓·卡特（Ashton Carter）進行了一次視頻採訪，他目前在哈佛大學肯尼迪學院貝爾弗科學與國際事務中心（the Belfer Center for Science and International Affairs at the Harvard Kennedy School）擔任主任。這次採訪是《連線》雜誌“2021美國消費電子展”（CES）系列訪談的一部分，策劃這一系列訪談的目的在於爲大家介紹從醫學、無人駕駛到國防科技等對未來趨勢有重大影響的技術領域的發展情況。我所問的問題有些是從觀衆們實時提出的諸多問題中選出的。爲了便於讀者理解，本文所呈現的採訪稿已經過編輯。

美國《連線》（Wired）雜誌2021年1月17日刊發了該雜誌總編輯尼古拉斯·湯普森對哈佛大學肯尼迪學院貝爾弗科學與國際事務中心主任、美國前國防部長阿什頓·卡特的採訪記錄：《爲了在人工智能領域擊敗中國，美國需要制定新的計劃》

尼古拉斯·湯普森（總編輯）：您在政府部門和私營公司積累了35年非凡的工作經驗，作爲一位在共和黨政府和民主黨政府都工作過的高級官員，您總是很清晰地指出我們這個時代最關鍵的問題，您不但爲此提出了極具智慧的解決方案而且還向大家介紹了自己成熟的思考過程。

在擔任國防部長期間，您曾經非常明智地規定：在做出任何與擊斃敵人有關的決定時都必須有人蔘與其中（in every kill decision，a human would have to be involved）。因此，對於一個人工智能武器系統來說，它是沒有權限向無人機下達攻擊指令的。不過在這方面，我還有一個疑問，防禦性武器系統是否可以由人工智能來控制呢？也就是說，未來是否可能出現一種能夠比人更精確地識別來襲導彈、更精準地進行瞄準響應、更快速地下達發射命令的反導系統呢？攻擊性武器必須由人來操作，而在進行防禦時，是否也必須由人來操作呢？

阿什頓·卡特：從道德角度來說，防禦比進攻時的顧慮更少，這是毫無疑問的。順便提一下，尼古拉斯，你剛纔說“由人來操作”，我認爲這並不符合事實。這是絕對不可能的，而且很早以前人就已經不在武器系統的決策環裏面了（it‘s not literally possible， and hasn’t been for quite some time， to have a human in the decision loop）。你的意思或者說我們實際上在談論的問題是：我們該如何確保人工智能技術在應用時能夠受到道德判斷的干預。或者換一種說法：如果人工智能把問題搞砸了，你該如何爲自己辯解呢？當你站在法庭上，站在股東面前，站在記者面前，你該如何解釋“人工智能把事情搞砸不應被視爲人類的一種犯罪”呢？這是一個非常實際的問題。

如果你是一個採用了人工智能技術的廣告商，那當然問題不大。一個從不買東西的人可能收到了你推送的廣告，或者一個經常購物的人沒有收到你的廣告，這些都不是很嚴重的問題。可是在涉及國家安全時，在軍事、法律或者醫療領域，人工智能犯下錯誤就會造成很嚴重的後果。

在軍事領域，相較於防禦，進攻行爲所擔負的責任更加重大。例如，發射核武器的決策就是嚴重依賴人類意志的，發射核武器的命令必須由美利堅合衆國總統親自下達。我曾擔任國防部長，但是我本人和我所有的部下都沒有按下核按鈕的權力。我們繞過總統自行決定使用核武器的可能性是不存在的，我們必須獲得總統的核武密碼才能發射。而且我自己也有一組核武密碼以證明我就是國防部長本人，畢竟發射核武器是最高層級的軍事行爲。

當然，也有層級不是那麼高的軍事行爲，比如攔截來襲導彈。如果反導系統犯了錯誤，它在美國沒有受到攻擊時向空中發射了一顆導彈，這顆導彈在空中爆炸了，導彈很貴，損失了很多錢，軍方會出醜，可問題不大，畢竟沒有死人。總統把實施這一軍事行爲的權力給了我，而我把這個權力又給了美國北方司令部的洛裏·羅賓遜（Lori Robinson）將軍。她當然也可以把這個權力再下放給更低層級的軍官，因爲這種軍事行爲沒有發射核武器那麼事關重大。

此外，在發射核武和反導這兩者之間還有一個居中的層級，比如擊落民航客機，這也是一個後果非常嚴重的軍事行爲。不過總統把這一權力下放給了國防部長，我在任期間每天都是肩負這一責任的。你也許不知道，此類事件曾多次發生。有時候是民航客機偏離了航線，有時候是無線電應答出了問題，有時候甚至一架飛機直接衝着國會大廈飛過來，有時候悲劇是難以避免的。如何應對，還要看具體情況。

我想我們今天談論的問題是觀衆們日常在使用大數據和人工智能時都會遇到的，那就是——我們該如何讓技術行爲也符合倫理道德標準？向人們進行說教是意義不大的，大家需要很實際的建議。所以我希望把這個問題進行簡化，也就是說：我們該怎麼做才能讓技術行爲符合倫理道德標準？我要講的是具體的做法而不是原因，因爲我們每個人都想做一個有道德的人。我們必須做一個有道德的人，否則我們的事業就會失敗，我們的名譽就會喪失。對於任何一個有良心的人來說，做不道德的事是會令其內心崩潰的。

尼古拉斯·湯普森（總編輯）：是的，我們應該好好討論一下您說的問題，不過首先我們還是先談一談您剛纔提到的擊落民航客機的話題。當一架飛機向白宮或五角大樓飛去的時候，您作爲國防部長會收到關於飛機時速、方向等信息的報告。不過在未來，自動化的防空系統可能會比現在更加高效，它可以追蹤每一架飛機，對其信號進行分析以判斷該飛機是否應被視爲恐怖威脅。您認爲未來有一天是否會出現一種工作效率極高、極可信賴且工作原理可被人類理解的人工智能系統能夠在無需高級軍官授權的情況下自動執行擊落飛機的任務呢？

阿什頓·卡特：我希望這一天最好不要到來。擔任國防部長時，我的工作日程表是排得滿滿的。要知道，我在夜裏12點還沒有睡。保密電話就在我旁邊，聯邦航空局、聯邦調查局和中央情報局都有人在電話線的那一邊待命，軍隊的指揮官們也在待命，大家的神經都是緊繃的。有時候留給我們採取行動的時間只有幾分鐘。幾分鐘時間還是有的，並不是幾個毫秒那麼危急。

不過也有另外一種情況，就是必須對局勢作出極爲快速的反應，快到不容人類介入的程度。如果局勢要求我們作出如此快速的反應，我們又該如何確保道德因素能夠參與其中呢？答案就要在算法、數據集、武器系統設計過程以及設計標準中去尋找了，而且要確保最終拿出的武器系統在道德層面是站得住腳的。我們無法參與武器系統的分析決策，不過我們必須確保系統所採取的行動在道德上是站得住腳的。它未必完美，但必須在道德層面體現出其正當性。

該怎樣做到這一點呢？這就要靠算法了。機器學習算法是如何實現那些設計意圖的呢？這個問題是不太容易搞明白的。你需要把那些設計目標進行分解，你需要讓設計團隊認識到算法須滿足一定的設計標準，否則最終生產出來的武器系統是無法投入實際使用的。設計團隊要很嚴格地對數據集進行審查。數據集並不是越大越好，質量始終是第一位的。待一切都完成之後，你需要從頭到尾進行檢查，整個工作流程並非是全自動的，其中有些環節會涉及人工，而只要是人就會犯錯。在整個工作過程中，你要有一套設計協議和測試協議。飛行器的飛行軟件設計就是一個比較相似的例子。波音737MAX機型搞砸了，雖然不屬於人工智能系統，但這個機型的飛行軟件設計也是非常複雜的。根據設計，該軟件在飛機飛行時將發揮極爲重要的作用，但軟件設計團隊還是把這個工作搞砸了。他們是怎麼搞砸的？該如何進行正確的設計？最典型的辦法就是在設計團隊A之外還要組建一個與之有競爭關係的設計團隊B，此外還要有專門的審查團隊對設計團隊的工作成果進行全面的測試。

採取這些措施並不能確保一定不出問題，不過它會讓人工智能在應用時滿足道德標準。我們至少需要做到一點，那就是即便人工智能會犯錯，我們也要確保自己在道德層面是無懈可擊的。這一點非常重要。作爲美國的國防部長，我必須讓自己的行爲符合道德標準。爲了保護美國民衆的安全，有時我們會使用很暴力的手段，但暴力的使用也要符合道德標準。就人工智能武器來說，如果你無法在武器實際運行時做到這一點，那麼你就要在設計時把它考慮進去。

無論如何，我們不能對記者說出這樣的話：“昨晚有人被炸死了，是誤炸，是自動化的武器系統進行的誤炸；我現在還無法告訴你具體原因，不過的確不是人的操作，而是機器進行的誤炸”。如果出現這樣的情況，我這個國防部長會被人們釘在十字架上的。實際上，從技術角度來說，避免出現這樣的情況還是可以操作的。你在算法、數據集、武器系統設計過程這幾個方面把好關，這樣出了問題時你就能在法官面前、在公衆面前、在記者面前拿出說得過去的理由。其實這種情況非常普遍，每天都在發生。如果車禍中死了人，肇事者就會對法官說：“發生這樣的車禍非常不幸，我並沒有酒駕，我也沒有超速，可事情還是發生了”。只要是機器就會發生故障，我們對這一點也都能接受，只有道德層面的錯誤是我們不能接受的。

尼古拉斯·湯普森（總編輯）：如果我沒理解錯的話，您的意思是，人工智能和機器學習技術未來在軟件設計過程中是極爲重要的；這些技術會更多地在防禦性而非進攻性武器系統中獲得應用；這些技術在戰場快速決策時極爲關鍵；作爲該技術的基礎，經人類研究得出的算法應該是可理解的，而且從法律角度來說也應該是可解釋的；此外，作爲該技術基礎的數據集也應該是經過仔細審查並值得信任的。您大概是這樣一個意思對嗎？

阿什頓·卡特：是的。一個優秀的工程師在這個問題上會說，“不要只是空談道德原則，我們應該用技術把它加以落實”。你的上述說法很言簡意賅。

尼古拉斯·湯普森（總編輯）：下面我們聊一個更大的話題。您曾經指出，如果美國無所作爲的話，那些專制國家就會通過人工智能技術重塑我們這個世界的諸多規則。您認爲在未來幾年里美國在人工智能政策方面有哪些很大、很危險的疏漏需要彌補呢？

阿什頓·卡特：曾有人問我，“互聯網會分裂嗎？”其實中國已經做出了選擇，中國已經公開宣稱他們要獨立自主，他們要活在由自己制定規則的體系裏，不過這種做法並不符合我們美國的價值觀。我們不會去改變他們，但我們也無需改變自己的價值觀。所以，其實沒什麼可爭的。就像剛纔我們談論的話題，我們幹我們的。不過除了美中兩國，這個世界上還有好多其他國家。要知道，僅中國一個國家就相當於半個亞洲。如果亞洲的另一半以及歐洲國家等世界各國都能留在我們這個尊重法治的體系裏，那麼這個體系裏的公司就能夠繼續贏利，他們的合同就能得到執行，人員的自由流動、信息的自由傳播、技術進步和社會公正等近來受到威脅的價值觀就能獲得有力維護。我們的體系仍然可以在世界上發揮榜樣的作用，世界各國仍然可以在我們的技術生態體系裏發展。

不過，面對中國時我們還是要有一個現實的態度。中國和俄羅斯不同。俄羅斯無論人口還是經濟都在走下坡路，它的影響力一直在衰落，如果俄羅斯沒有在我們的選舉中拼命攪局的話，這個國家在美國人眼裏不會有什麼存在感。一個沒有實力的攪局者對我們來說是危險的，因爲除了搗亂，它沒有能力做別的事情。很顯然，俄羅斯之所以具備搗亂的能力是因爲它是個核大國，不過我們這裏談的是網絡。俄羅斯在科技領域無法成爲獨立的一極。令人遺憾的是，中國卻有這個實力。

我已經跟中國人打了30年交道，我曾一度希望他們能變得跟我們一樣，我們美國人都曾有過這個期待。其實，很久以前我對中國人就不抱什麼希望了。他們不會走我們的道路。如果你讀過中國的一些文件，你會發現他們要建立屬於自己的一套體系。他們是共產黨國家，他們要技術爲他們的理念服務。這種想法與我們的體系是不兼容的，所以我們需要與他們的體系展開競爭。

不過，這並不意味着我們要切斷與中國的貿易關係。我希望我們能搞出一個雙軌制，在某些領域裏我們可以跟中國人繼續做生意，不過在另一些領域裏我們分屬不同的技術生態系統。我認爲美國比過去要強大，我們的體系比中國的要好，所以我沒什麼可憂慮的。雖然這樣一種未來並不十分理想，可這就是我們要面對的現實。中國人已經做了他們的決定。

尼古拉斯·湯普森（總編輯）：目前有許多人主張一種觀點，而且這種觀點已經獲得了很多支持，他們認爲美國需要改變策略。我們目前的做法是與中國脫鉤，我們要搗毀華爲的生產線。而他們認爲美國應該向中國伸出橄欖枝，他們認爲兩國應該就人工智能技術的發展共同制定標準、分享數據集，兩國應該構建一種更加合作互助的關係。如果我沒有理解錯的話，你是反對這種觀點的，你認爲這不過是一種很美好的設想，沒有實際意義。我說的對嗎？

阿什頓·卡特：是的，你說的基本正確。能合作的時候我們當然還是要合作；在對我們自己有利的時候，我們當然還是願意跟中國人做生意。不過中國已經決定要走自己的路。美國在鼎盛時期的價值觀與歐洲啓蒙時期的價值觀是一致的，當然最近幾周發生的事情說明我們距離鼎盛時期還是有差距的。人們在啓蒙運動中曾高舉“人的尊嚴”這一旗幟，而現在我們會用“大衆的尊嚴”這一說法。中國有自己的政治哲學，他們的政治哲學符合他們中國人的價值觀。如果你是中國人的話，接受那套政治哲學沒有問題，不過那套政治哲學對我們是不適用的。

對於那些主張與中國合作的人，我的回應是，能合作的時候我們當然會合作。不過我要指出一點，如果他們希望通過合作來改變中國，在我看來，歷史並不會站在他們一邊，他們的想法還是有些幼稚了。不過美國和中國並不會開啓第三次世界大戰，兩國甚至也不會開啓冷戰。與冷戰時代的劇本不同，我們今天要寫一套新的劇本。很多人都在問美中兩國是否會陷入冷戰，我經歷過冷戰，與今天的局勢相比，冷戰還是要簡單一些。我們在冷戰中的對手是前蘇聯——一個共產主義獨裁政權，我們只是與它進行道德鬥爭，美蘇之間沒有什麼貿易活動。當時美國的對蘇政策就好像把一層防水膜嚴嚴實實地裹在蘇聯身上，什麼也穿不透。甚至百事可樂在蘇聯上市當時也被視爲一個很重大的事件。

可如今美中關係卻不同，我們是希望與中國進行貿易的。所以我們需要一套新的劇本，這套劇本有體現防禦色彩的一面，比如說出口管制，還有你剛纔提到的我們對華爲採取的措施，對中資在美國公司所有權方面的限制以及反間諜措施等等諸如此類。不過這套新劇本主要還是應該體現一種主動進攻的色彩——美國要成爲一個優秀的國家，我們要變得更好，我們要在人工智能領域大力投資，我們要在人工智能領域引領世界，我們要跟其他國家一起面向未來構建一個共同的技術體系，在這樣一個技術體系裏面，科技發展迅速，但其發展方向應該是有利於維護我們的價值觀的。

我們需要一套與冷戰時期完全不同的劇本，不過在過去四年裏我們並沒有拿出這樣的劇本。我們嘗試了各種應對之策，我們對中國輸美商品加徵了關稅，採取了許多類似的自保措施。不過我覺得這些做法還是太草率了。美國應該拿出一套更簡潔、更經過深思熟慮的對華政策。我相信拜登新政府會在這方面有所作爲。新政府裏的官員我都很熟悉，我們很早以前就認識了，他們都是各領域的資深人士，其中當然也包括科技領域。我們需要協助他們把這個新的劇本編寫出來，我相信把這件事做好是完全沒問題的。

我希望在這套新的劇本里我們能更加重視主動進攻的一面。“主動進攻”不是說要去攻打中國，而是說要提升我們自己的實力，我們不能總是想着要削弱對手，也不能總是想着如何自保，而是應該想一想該如何讓美國變得更好。這纔是新劇本中最關鍵的地方。

尼古拉斯·湯普森（總編輯）：我希望有人，也許是現在在政府裏任職的人，能像當年喬治·凱南那樣再寫一份“長電報”或所謂的“X文稿”（1947年7月，時任美國駐蘇聯代辦喬治·凱南署名“X先生”在《外交事務》雜誌以《蘇聯行爲的根源》爲題公開發表了1946年2月撰寫的“長電報”的內容，文章明確提出“美國應該對蘇聯的擴張傾向進行長期、耐心、堅定、警覺的遏制”——觀察者網注），爲我們闡明一套適應當前情況的新版對華遏制戰略。

阿什頓·卡特：政府裏並不缺少有此能力的人，不過他們需要科技行業的協助。我一直主張的一個很重要的觀點就是，我們應該在科技行業和政府之間搭建橋樑。其實我認爲我自己扮演的就是這樣一種角色，我曾是個物理學家，我是個科技迷。當然，我也很清楚搭建這樣一座橋樑並不容易，不過爲了塑造一個我們大家都希望生活於其中的世界，做到這一點尤爲關鍵。

尼古拉斯·湯普森（總編輯）：下面我們選幾個觀衆提出的問題。你覺得國防部內部有多少人能夠意識到國防部在科技公司眼中其實是一個挑剔的小客戶而且國防部並不在他們的頂級客戶之列？當然，就我所知，你一直在很努力地改變國防部的這一形象。

阿什頓·卡特：我最開始在卡斯帕·溫伯格（Caspar Weinberger，1981-1987期間擔任美國國防部長，人稱“冷戰武士”；他在任期間負責實施2萬億美元的軍事擴張計劃，參與推動了美國在和平時期最大規模的軍力提升——觀察者網注）手下工作，那時候“星球大戰”計劃影響巨大。當時全球最重大的科技進步都是在美國出現的，之所以如此是因爲美國政府發揮了重要的推動作用，互聯網、GPS等都是那時的成果。不過現在情況不同了，我對現狀當然是很瞭解的。國防部目前在科技領域扮演重要角色，我們在研發方面的投入比所有大型科技公司的總和還要多。不過你說得對，國防部在分包商眼中相對來說只是個令其感到麻煩的小客戶。我們的採購流程十分繁瑣，這對我們是不利的。很多公司都說，“跟五角大樓合作讓人頭疼，實在划不來”。因此對於國防部的領導們來說，他們應該盡己所能增加自己對科技公司的吸引力。手段之一是對科技研發進行投資，國防部要對擁有廣泛應用前景的最新科技的研發進行資助；手段之二就是國防部要做新技術的嚐鮮者，新技術在剛剛推出時價格都是比較高的，但國防部還是應該承受那個價格，因爲他們必須做好自己的分內事。這樣做就能對美國的科技產業起到保護作用。所以說，國防部還是可以有所作爲的，但國防部不能把自己封閉起來，它需要融入到大的軍事工業生態系統中去。國防部要謙虛地認識到自己已經不再像過去那樣主導一切了。我是親身經歷了這一變化過程的，當前的情況已經與我剛剛開始工作時完全不同了。

尼古拉斯·湯普森（總編輯）：我們再選一個有價值的問題。最近美國政府的系統頻頻受到黑客入侵，您認爲我們該怎麼做才能讓我們的人工智能武器系統儘量少地受到外軍干擾呢？您在這方面有沒有一個大的框架性的想法？

阿什頓·卡特：其實我們的武器系統與普通網絡之間並沒有那麼大的差異，我們爲武器系統所採取的安全措施與一般意義上的網絡安全措施是一樣的。總結起來就是“安全上網，別犯錯誤”。大多數問題都是由粗心大意引起的，SolarWinds事件也是如此。比如，點擊附件鏈接就可能引發問題，許多重大網絡安全事故都是這樣發生的。

另外就涉及技術了，在這方面我們也有待加強。據我所知好多公司都想自己做公司的網絡管理，我此前在國防部工作的時候，國防部等政府部門都很關注網絡安全問題，而那些網絡公司給出的解決方案卻是模塊化的，他們說模塊A是這個功能，模塊B是那個功能。這樣一來就會遇到系統整合的問題。對於政府部門或非技術類公司來說，他們自己很難解決這個問題。此外，也有的公司宣稱他們可以幫你做系統整合，不過實際上他們只是想借機賣自己的產品。所以我認爲我們在整個網絡安全系統中真正欠缺的其實是高質量可信賴的系統整合方案。我接觸過的許多公司都很清楚，系統整合是其公司網絡的一個巨大的軟肋。即便你是一家做普通小商品的公司，如果你的公司數據、商業機密或者客戶信息泄露了，那也是天大的麻煩。這裏面潛藏着巨大的商業風險。令人遺憾的是，我們爲了保護自己並沒有拿出什麼特別好的辦法。

不過這個問題獲得解決的前景也不是一片黯淡，我們剛纔不是聊過人工智能嗎，人工智能有它的問題，它給我們帶來了挑戰，不過人工智能在網絡安全方面是可以幫上忙的。黑客在發動網絡攻擊時可以利用人工智能對攻擊界面進行全面的分析，不過作爲網絡用戶你也可以藉助人工智能進行全面的防禦。無論攻擊還是防禦，這裏面的技術是共通的，叫做“全天候周界監測”（constant perimeter surveillance）技術，它可以持續不斷地對網絡入侵等反常現象進行監測。因此，在網絡安全方面，人工智能是一把雙刃劍，它是你的敵人，但也可以成爲你的朋友。

尼古拉斯·湯普森（總編輯）：是的，的確如此。我們接着看下面一個問題，這個問題與我們最初討論的話題有關。當人工智能出現問題時，誰應該承擔責任呢？誰該爲人工智能技術中的瑕疵負責呢？是程序員？高級管理人員？還是別的什麼人？無論是誰，難道我們人類不該爲人工智能所犯下的錯誤承擔某種責任嗎？

阿什頓·卡特：是的，人類無法逃避責任。說實話，從道德角度來講，我認爲爲人工智能技術所造成的後果承擔最終責任的人是這一技術的實際使用者。如果你是一個公司的老闆，你在爲客戶服務時設備出了問題，你可以去找設備的供應商。不過從實際角度來說，你公司的聲譽一定會受損，你的生意也會受影響。作爲設備供應商的客戶和設備的實際使用者，你有責任要求供應商提供沒有問題的設備，你應該很清楚一旦出問題自己是無法把責任推給別人的。如果你的公司使用有問題的設備，出了問題你是會受到指責的，你也應該受到指責。你無法把責任推給設備供應商，這行不通，因爲人們會說，“請等一等，是你在衆多設備中選擇了這個品牌的設備，你瞭解這個廠家的產品，它是你的選擇”。

在我看來，你有一個擔責鏈條。如果你是設備供應商的客戶和設備的實際使用者，你應該對供應商提出要求，你應該對他說：“我必須確保這個設備沒有問題。請向我保證，從算法的角度也好，從數據集整合的角度也好，從測試評估的角度也好，我在使用你的人工智能產品從事公司經營時是不會有任何問題的”。你可以把整個問題分解爲兩個工程問題，然後分別找到解決方案。一旦你採購了一臺人工智能設備在你的公司裏使用，你就要爲這臺設備承擔責任了。我曾擔任國防部長，出問題時我會對總統說：“我是一名負責的官員，在公衆眼中我是命令下達鏈條中的二號人物，我無處藏身，我無法推脫責任，我也不應該那樣做。你期待我會維護你，但同時你也希望我能以道德原則行事”。其實這番話對全美國所有的商界領袖都是適用的。他們不可能把所有責任都推給技術，他們必須對技術的供應商說：“我需要可靠的技術”。

尼古拉斯·湯普森（總編輯）：謝謝您參加我們今天的訪談節目。我希望政府裏有人能看到這一期節目。相信拜登新政府會對我們今天討論的問題有深入的思考。

（觀察者網馬力譯自2021年1月17日美國《連線》雜誌網站）