轉自：知遠戰略與防務研究所

來源：俄羅斯國際事務委員會網站

編譯：威遠

【導讀】本文節選自俄羅斯國際事務委員會網站2018年11月發表的題爲《人工智能的發展前景和可能後果》的文章，文章主要介紹了當今世界人工智能技術的發展現狀、未來趨勢以及可能導致的國際和社會後果。文章認爲，當前，人工智能還處於“弱人工智能”發展階段，但已經對個人、社會和國家安全構成足夠的潛在威脅。當前人工智能技術發展面臨的最大問題包括“人工智能民族主義”和“人工智能國家化”。同時，人工智能技術和第四次工業革命將對社會職業發展、法律倫理產生難以預測的巨大影響。

人工智能發展的主要問題和潛在威脅

儘管今天的神經生物學取得了很多成就，但到目前爲止，還沒人準確地知道，自然的智能是如何形成的。因此也就沒人準確地知道究竟如何研製人工智能。目前要研製出人工智能還存在系列亟待解決的問題，關於解決問題的優先方向也存在不同的觀點。比如，開放式代碼OpenCog和SingularityNET人工智能國際研發項目負責人本·戈策爾（Ben Goertzel）認爲，研究通用人工智能所必須的所有技術原則上都已經研製成功，只不過需要通過正確的方式進行聯結以產生增效作用，最終就會出現通用人工智能。其餘專家則更傾向於持懷疑的態度。他們認爲，必須解決許多下面即將列出的原則性問題。專家對強人工智能出現時間的評估也相距甚遠：從十年到幾十年不等。

無論是普通的自主或者自適應智能系統，還是通用或強人工智能系統的出現，都會產生不同程度的威脅，這些威脅即便在當下也已經非常現實。其中包括：

研製所謂的致命自主武器系統（Lethal Autonomous Weapons Systems，LAWS），比如僱傭殺人用的無人機；

新一輪軍備競賽，各國將完善自主毀傷兵器的智能水平；

不一定是作戰使用的智能系統，可以是工業或者生活智能系統，不僅能夠進行有目的的行動，還能進行有意識的目標定向，在此情況下，系統自主制定目標可能導致目標與人的目標相違背；

程度更高的自動化將大多數人排除出物質生產環節，這可能導致更大的社會階層差距，降低“社會階梯”的效率，增加“多餘人口”的數量並導致相應的社會後果。

2018年8月，在位於布拉格的捷克技術大學同時舉行了主題分別爲人類水平人工智能、通用人工智能、生物激勵認知結構和神經-符號技術的代表大會。大會上，來自人工智能研究領域前沿公司和組織（Microsoft，Facebook，DARPA，MIT，GoodAI）的主要專家發表了報告。這些報告列舉了人工智能領域研究的現狀，指出了社會所面臨的問題以及在該項技術下一步研究中可能出現的威脅。在本段概述中，作者將盡量簡要說明主要的問題和威脅，並指出應對這些威脅可能的途徑。

首先必須明確與人工智能相關的一些術語：弱人工智能或者專業人工智能，自主人工智能（Autonomous AI），自適應人工智能（Adaptive AI），通用人工智能（Artificial General Intelligence，AGI），強人工智能（Strong AI），人類水平人工智能（Human-Level AI），超人類水平人工智能（Super-human AI）。

弱人工智能或者專業人工智能毫無疑問就是指目前的技術方案，能夠自動完成某一具體任務，比如圍棋或者攝像頭的人臉識別功能。這種人工智能不能獨立學習其它任務，除非人類對其進行重新編程。

自主人工智能是指系統能夠長時間在沒有操作員參與的情況下運行。比如，它能夠讓配備太陽能電池的無人機從香榭麗舍大道飛到紅場或者沿相反的路線飛行，獨立選擇路線、充電經停地點，同時規避可能的障礙。

自適應人工智能要求系統具備適應新環境的能力，能夠獲取研製過程中沒有預置的知識。比如，能夠讓俄語對話支持系統獨立掌握新的語言，適應新的語言環境或者在學習語言教學資料的基礎上，在對話中運用這些知識。

通用人工智能同樣要求具備高水平的適應性，具備通用人工智能技術的系統在經過相應學習後，能夠在各種截然不同的活動中使用。學習過程可以是獨立的，也可以是有針對性的（在指導員的幫助下）。目前也經常使用強人工智能來與弱人工智能和專業人工智能進行對比。

人類水平人工智能要求系統的適應性水平能夠與人類的適應性水平相當，也就是說系統能夠在與人類學習相當的期限內掌握同樣的技能。

超人類水平人工智能要求具備更高水平的適應性和學習速度。因此，系統能夠學習人類基本難以勝任的知識和能力。

強人工智能研製中的原則性問題

在總體進化框架下，強人工智能的出現完全是符合規律的，就像原子組成分子，分子組成細胞，細胞組成機體，專門的細胞構成中央神經系統，就像社會組織的出現，語言、文字的發展，最終出現了信息技術一樣是有規律的。在進化過程中，信息結構和組織方法不斷複雜化的規律已經被瓦連京·圖爾欽很好地證明。如果人類文明沒有滅亡，那麼這種進化將是不可避免的，在很久以後的未來，這將拯救人類，因爲只有信息的非生物存在樣式能夠逃過太陽系的滅亡，將我們的文明信息密碼保存在宇宙當中。

與此同時，必須要承認的是，要研製出強人工智能，並不一定要知道自然的人工智能是如何運行的，就像製造導彈不一定要知道鳥類如何飛行一樣。顯然，這遲早會通過這樣或者那樣的方法實現，或許，能夠通過幾種方法來實現。

大部分專家認爲，要研製出通用或者強人工智能，還要解決以下幾個原則性問題：

快速學習（few-shot learning）——必須讓系統學習的資料規模變小，而不是像現在的深度學習系統那樣，需要大量的專門準備的學習資料。

強大的概括能力（strong generalisation）——研製情景識別技術，被識別目標出現在與學習資料完全不同的環境當中。

學習生成模型（generative models）——研製一種學習技術，當記憶對象並非識別對象的特徵，而是其構成原則時，這能夠反映識別目標更加深層次的實質，能夠讓學習變得更快，具備更強的概括歸納能力。

結構化預測和學習（structured prediction and learning）——在將學習對象展現爲多層、多級結構的基礎上，開發學習技術，在這種結構中，低層級要素決定更高層級要素，這也可能成爲解決快速學習和強概括能力的一種方法。

解決災難性遺忘（catastrophic forgetting）問題——這個問題在現有系統當中普遍存在，起初學習了一類目標，之後學習識別新一類目標時，失去識別第一類目標的能力。

具備增量學習（incremental learning）能力——讓系統能夠積累知識並逐漸完善自身能力，與此同時不喪失先前所獲得的知識，且自然語言對話交流系統獲得新的知識。理想狀態是通過“嬰兒圖靈測試”（Baby Turing Test），系統應當逐漸具備從嬰兒至成人的語言水平。

解決意識問題（consciousness）——建立可靠的意識行爲工作模型，通過建立“內部世界圖景”保證進行有效的預測和有針對性的行爲，在這一圖景框架下，能夠在不與現實世界實際交互的情況下，尋找達成既定目標的最佳行動戰略，這大大提高了安全性，檢驗假說的能力，提升了檢驗的速度和效能，從而也使得有生或者智能系統在自我意識的“虛擬世界”中具備了自我學習的能力。從應用的觀點看，意識問題存在兩個方面。一方面，研製具備意識的人工智能系統能夠大大提高其效能。另一方面，研製這樣的系統會導致額外的風險，包括倫理層面的問題，因爲這些系統在某一階段將具備與人類相當的自我意識水平，並因此可能導致法律方面的後果。

人工智能的潛在威脅

無論是自主或者自適應系統，還是通用或者強人工智能系統的出現，都伴隨着不同程度威脅的產生，這些威脅在當前也已經迫在眉睫。

第一，對人類構成威脅的不一定是強人工智能、通用人工智能、人類水平人工智能或者超人類水平人工智能，因爲具備大量信息，速度極快的自主系統就已經極具威脅。在自主系統的基礎上可研製所謂的致命自主武器系統，最簡單的例子就是3D打印機批量生產以及人工小批量製作的僱傭型殺人用無人機。

第二，對於國家的威脅是，另一個國家（潛在敵人）獲得了自主性、自適應性更強，具備通用人工智能技術的武器，其反應速度更快，能力更強。

第三，對於全世界的威脅是由上一個威脅衍生而來的，各個國家陷入軍備競賽，致力於改進自主殺傷和摧毀兵器的智能水平，斯坦尼斯拉夫·萊姆幾十年前就曾如此預言。

第四，對於各方來說威脅可能是任何智能系統，不一定是作戰智能系統，也可以是具備一定自主性和自適應性的工業或日常智能系統，不僅能夠進行有針對性的行動，還能有意識地進行目標定向，而且系統自主設置的目標可能與人類的目標相違背，而系統達成目標的能力要強得多，因爲其運行速度更快，處理信息能力、預測能力更強。遺憾的是，這一威脅的程度還沒有得到應有的重視和研究。

第五，對於社會的威脅是，資本主義（極權主義）社會中的生產關係進入新的發展階段，越來越少的人具備控制物質生產的能力，通過越來越高級的自動化，大部分人被排除出物質生產，這可能導致更加嚴重的社會差距，降低“社會階梯”的效能，增加“多餘人口”的數量，導致相應的社會後果。

最後，對於整個人類的威脅是，基於全球網絡的全球數據處理、信息傳播和決策計算系統的自主化，因爲這些系統的信息傳播速度和影響能力可能導致現有經驗和管理模式所預想不到的社會現象。比如，當今中國所採取的社會貸款體系就是一種獨一無二的文明實驗，它所導致的後果今天還不得而知。

目前對人工智能系統的監控非常困難，原因之一就包括現有基於“深度神經網絡”應用方案的“封閉性”，使得難以在決策執行前對決策的正確性進行覈實，甚至都不能對及其決策進行事實分析。可解釋人工智能（Explainable Artificial Intelligence，EAI）這一新的方向目前被用來解決這一難題，將關聯（神經網絡）和符號（基於邏輯）方法結合起來解決這一問題也出現了新的進展。

應對威脅的方法

毫無疑問，必須採取以下措施防止人工智能技術發展及其應用可能導致的災難性後果。

國際社會對致命自主武器系統予以取締並研究、採取執行監督措施。

國家支持旨在解決上述問題的工作，特別是可解釋人工智能，方法融合，研究目標定向機制建立的原則以獲得有效的編程和智能系統監控工具，程序設計的工具不是規則，而是價值觀，監控的對象不是行爲，而是目標。

獲得人工智能技術和方法的民主化，比如，依靠對智能系統應用於大衆計算、認知技術學習所得收入的再投資，以及研究具有開放式密碼的人工智能方案，制定措施鼓勵現有“封閉式”人工智能系統開放密碼。比如，Aigents項目旨在爲普通用戶研製自主工作，不受集中控制的個人人工智能助手。

在國際層面規定人工智能算法、分佈式數據處理系統和決策系統工作協議的開放性，使國際和國家組織以及私人具有獨立審計的能力。密碼開放人工智能平臺和生態系統SingularityNET的創建就是在該方向的創造性探索之一。