文 | AI國際站 唐恩

是什麼能讓人類如此高效地學習事物的主要算法？這個問題困擾着人工智能科學家和研究人員，在過去的幾十年中，他們一直在嘗試複製人腦的思維和解決問題的能力。創建思維機器的夢想激發了AI領域的許多創新，並且最近推動了深度學習的興起，深度學習AI算法大致模擬了大腦的學習功能。

但是，正如一些科學家認爲的那樣，強力學習並不是賦予人類和動物出生後不久與世界互動的能力的原因。關鍵是有機大腦的結構和先天能力，這種觀點在當今的AI社區中大多被駁回，而人工神經網絡主導了這一論點。

神經科學冷泉港實驗室教授Anthony Zador在同行評審期刊《自然》上發表的一篇論文中指出，這是一個高度結構化的大腦，可以使動物成爲非常高效的學習者。Zador的論文標題爲“對純學習以及人工神經網絡可以從動物大腦學到的知識的批判”，解釋了爲何擴大AI算法的當前數據處理能力將無法幫助提高狗的智能，更不用說人類了。Zador解釋說，我們需要的不是從頭開始學習一切的AI，而是像有機物一樣具有內在能力的算法可以與學習經驗相輔相成。

人工與自然學習

在人工智能的整個歷史中，科學家一直將自然作爲開發能夠表現出智能行爲的技術的指南。自從該領域的歷史開始以來，符號人工智能和人工神經網絡就構成了開發AI系統的兩種主要方法。

Zador寫道：“符號AI可以看作是心理學家的方法，它從人類的認知過程中汲取了靈感，而沒有試圖破解黑匣子，而使用類神經元元素的ANN則從神經科學中汲取靈感。”

在AI歷史的前幾十年中，由程序員明確定義系統規則的符號系統佔據了主導地位，而如今，神經網絡已成爲人工智能大多數發展的主要亮點。

人工神經網絡受到其生物學對應物的啓發，並試圖模仿有機大腦的學習行爲。但是正如Zador解釋的那樣，人工神經網絡中的學習與大腦中發生的事情有很大不同。他寫道：“在人工神經網絡中，學習是指從輸入數據中提取結構（統計規律性）並將該結構編碼爲網絡參數的過程。”

例如，當您開發卷積神經網絡時，您將從一塊空白板開始，這是一層由隨機權重連接的人工神經元的分層結構。當您在圖像及其相關標籤上訓練網絡時，它將逐漸調整其數百萬個參數，以便能夠將每個圖像放入其合法的存儲桶中。並且過去的幾年表明，神經網絡的性能隨着更多的層，參數和數據的增加而提高。（實際上，還涉及許多其他複雜性，例如調整超參數，但這將是另一篇文章的主題。）

人工神經元和生物神經元之間有一些相似之處，例如人工神經網絡設法從圖像中提取低級和高級特徵。但是當涉及到人類和動物時，學習會發現不同的含義。扎多爾寫道：“神經科學（和心理學）中的“學習”一詞指的是行爲的長期變化，這是經驗的結果。”

人工學習與自然學習之間的差異不僅限於定義。在監督式學習中，在人工標記的數據上訓練神經網絡（例如上述示例），這些差異變得更加明顯。

扎多爾觀察到：“儘管這次訓練的最終結果是一種人工神經網絡，其能力至少在表面上模仿了人類對圖像進行分類的能力，但是人工系統的學習過程與新生兒的學習過程幾乎沒有相似之處。”

孩子們大多學會了自己探索世界的方式，不需要太多的指導，而監督算法仍然是深度學習的主要形式，它需要數百萬張帶有標籤的圖像。“很明顯，孩子們並不主要依靠監督算法來學習對物體進行分類，”扎多爾寫道。

正在進行有關無監督或自我監督的AI算法的研究，這些算法可以在很少或沒有人類指導的情況下學習表示。但是結果是非常基本的，低於監督學習所取得的結果。

爲什麼無監督學習是不夠的

“可以想象，無監督學習，利用比尚未發現的算法更強大的算法，可以在建立感官表現和駕駛行爲方面發揮作用。但是，即使是這樣一種假設的無監督學習算法也不是全部。

例如，大多數新生動物在如此短的時間內（數週，數天，數小時）學習關鍵技能（步行，奔跑，跳躍），而在空白板巖神經網絡上進行純粹的無監督學習則是不可能的。扎多爾寫道：“動物行爲表述的很大一部分不是聰明的學習算法（有監督或無監督）的結果，而是出生時已經存在的行爲程序的結果。”

同時，先天的能力無法使動物適應不斷變化的環境。因此，他們都有學習和適應環境的能力。

兩者之間需要權衡。太多的天賦和太多的學習會使您腳步加快，並幫助您履行在環境中生存並將基因傳給下一代的進化職責。但這會剝奪您適應環境中各種變量（天氣，自然災害，疾病等）的靈活性。這就解釋了爲什麼嬰兒需要整整一年的時間才能邁出第一步，而小貓則在出生後一個月學會走路。

天生的能力和學習能力是相輔相成的。例如，人類兒童的大腦具有將面孔與其他事物區分開的功能。然後，他們一生會學會將特定的面孔與自己認識的人聯繫起來。另一方面，松鼠具有記住它們所掩埋物體位置的先天技能，並且根據一些研究，它們可以記住成千上萬個堅果儲存庫的確切位置。

這些先天的機制以及對學習特定事物的偏愛是Zador稱之爲基因組中編碼的“自然的祕密調味料”。扎多爾在論文中寫道：“具體地說，基因組編碼了連接其神經系統的藍圖。”這些藍圖是經過數億年的進化而選擇出來的，其作用於無數的個人。這些藍圖指定的電路爲先天行爲以及動物一生中發生的任何學習提供了基礎。

那麼，基因組到底包含什麼呢？答案因人而異。例如，在蠕蟲等超簡單的生物中，基因組包含了整個神經連接的所有細節。但是對於像人腦這樣的複雜系統，它具有大約如果有1000億個神經元和100萬億個突觸，就無法對基因組中的所有內容進行編碼，而基因組的空間約爲1 GB。

扎多爾說：“在大多數大腦中，基因組不能指定明確的接線圖，而必須指定一套在發育過程中連接大腦的規則。”

進化與學習

因此，生物大腦具有兩套行爲優化機制。一方面，他們具有學習能力，使每個物種的每個人都能發展自己的特定行爲，並根據其一生的經歷對其進行微調。另一方面，一個物種的所有個體都擁有豐富的先天能力，這些先天能力已根深蒂固地存在於他們的基因組中。“基因組不能直接編碼表徵或行爲；“它編碼接線規則和連接圖案。”

基因組本身也不是恆定的。當它從一代傳給下一代時，它會經歷無窮小的變換和突變。進化和自然選擇發揮了魔力，並確保在成千上萬的世代中，更好的變化得以生存，而壞的變化則得以消除。在這方面，可以說，基因組也經歷了優化和增強，儘管所花費的時間比個人的生命大得多。

Zador將這兩個優化機制可視化爲兩個同心循環：外部演化循環和內部學習循環。另一方面，人工神經網絡只有一個優化機制。他們從一片空白開始，必須從零開始學習一切。這就是爲什麼他們需要大量的培訓時間和示例來學習最簡單的東西。

扎多爾觀察到：“人工神經網絡參與了一個優化過程，該過程必須模仿在進化過程中所學到的知識以及一生中的學習過程，而對於動物而言，學習僅指的是一生中的變化。”“這種觀點認爲，人工神經網絡中的監督學習不應被視爲動物學習的類似物。”

人工神經網絡必須如何發展

扎多爾寫道：“先天機制的重要性表明，解決新問題的人工神經網絡應儘可能地嘗試以先前相關問題的解決方案爲基礎。”

AI研究人員已經設計出了轉移學習技術，其中一種訓練過的神經網絡的參數權重轉移到了另一種。轉移學習有助於減少爲新任務訓練神經網絡所需的時間和新數據樣本的數量。

但是，人工神經網絡之間的轉移學習與通過基因在動物和人類之間傳遞的信息並不相似。“儘管在轉移學習中，ANN的整個連接矩陣（或其中的很大一部分）通常用作起點，但在動物大腦中，一代一代“轉移”的信息量較小，因爲它必須穿過瓶頸基因組”。

人工神經網絡當前缺少的另一件事是架構優化。通過盲目的進化機制，基因組學會優化大腦的結構和佈線規則，從而更好地解決每種物種的具體問題。另一方面，人工神經網絡只限於優化其參數。他們沒有遞歸的自我完善機制，可以使他們創建更好的算法。對其體系結構的更改必須來自外部（或有限的超參數調整技術，例如網格搜索和AutoML）。

可能類似於基因組進化優化的一件事是不同ANN架構的發明，例如卷積網絡，遞歸神經網絡，長短期記憶網絡，膠囊網絡，變形金剛等。這些體系結構幫助創建了可以有效解決不同問題的網絡。但是它們並不完全是基因組的功能。

Zador在書面評論中對媒體說：“所有這些新架構都令人印象深刻，但是我不確定它們與通過進化而來的架構有多相似。”進化的關鍵是架構需要壓縮到基因組中。這個“基因瓶頸”起到了調節器的作用，並迫使系統捕獲任何架構的基本要素。”

其他科學家建議將神經網絡與其他AI技術（例如符號推理系統）結合使用。該混合AI的做法已經被證明是更多的數據高效純神經網絡，目前不同的研究小組的重點，如麻省理工學院，IBM沃森人工智能實驗室。

Zador對這種方法持懷疑態度，並認爲人工神經網絡發展人工智能的機會更大。“儘管人工神經網絡的處理元素比真實的神經元要簡單，例如，它們缺乏樹突。但我認爲它們可能足夠接近。人工神經網絡是通用逼近器這一事實具有啓發性。

但是，他的確通過提醒我們結束研究而結束了論文，最終，對動物大腦的研究可能不是AI問題的全部答案。

有時被誤導爲“人工智能”的說法根本不是一般的；它非常嚴格地限制了人員的能力，以致只有結構類似於大腦的機器才能實現它。

相關文章