整理|網易科技 孟倩

特別鳴謝 部分編輯校對：

-遊培廷，北京大學數學科學學院計算數學博士生

-方林，深圳大學光電工程學院光學碩士生

2020年5月9日，未來論壇青創聯盟發起的YOSIA Webinar特別推出了“AI+X”科學系列主題，第二期主題爲“AI+科學計算”，主要針對科學計算的現狀和挑戰、科學計算與人工智能融合的價值、研究的路徑和案例以及科學計算與人工智能融合的未來發展方向進行了分享。

本次參與者有六位嘉賓，他們分別是來自北京大學的李若教授、 中國科學院數學與系統科學研究院研究員明平兵、清華大學數學科學系副教授史作強 、北京大學教授楊超、聯科集團創辦人兼首席執行官，美國華盛頓大學終身教授孫緯武和廈門大學數學學院教授熊濤。主持人爲未來論壇青創聯盟成員，北京大學北京國際數學研究中心長聘副教授董彬。

過去10年，人工智能（AI）技術深刻影響了人類社會，也在逐漸改變許多學科的研究範式。在科學計算的諸多領域存在待求解的問題機理不清楚，或者雖然問題具有明確的機理，但由於過於複雜以至於傳統算法難以求解的困難。AI技術，特別是機器學習和強化學習方法，基於實驗或者計算產生的數據對所求解的問題進行可計算建模，從而得到複雜問題的有效解決方式，這對當今科學計算領域的研究範式已經產生了巨大影響。

與此同時，以深度學習爲代表的AI在內部機理、數學理論、基礎算法等方面尚不清楚、不完善，AI方法的穩健性、精確度等尚缺乏嚴格的數學論證，這正對其進一步發展造成嚴重阻礙。然而，結合機理的思維方式將有可能對面向數據的AI技術，提供新的洞見與研究途徑。因此，AI與科學計算的結合，勢必會推動兩個領域的共同發展。

李若分享了《智能時代的科學計算：低維表達與高維問題的自然融合》，他表示經典的科學計算在過去的半個多世紀徹底改變了科學研究和科學本身的面貌，這些成就激勵人們不斷去挑戰更爲本質的困難，其中一個典型的代表就是高維問題的求解，基於計算技術本身所發展起來的大數據相關技術爲高維問題的求解提供了新的契機。

從逼近論的角度來看，各種神經網絡從大圖景上就是爲高維的函數給了一種低維的表達方式。種種跡象表明，此種表達方式具有極高的有效性和逼真度，竟可以使人們模糊地對其產生智能的感覺。

通過機器學習的手段，運用神經網絡給出表象高維函數函數的低維逼近形式，在技術上是完全可以實現的。把近似的低維逼近形式代入到高維的物理模型中，則可以通過程式化的手段推導出低維的約化模型，並能夠通過不斷地細化逐漸改善其逼近精度。

李若說相信我們都樂見在不久的將來可以實現高維問題的求解技術和智能的低維表達技術的自然融合。

楊超在《淺論超級計算、人工智能與科學計算的融合發展：以偏微分方程求解爲例》的分享中闡述了人工智能與超級計算和科學計算的融合發展趨勢。

近年來，超級計算機的計算能力不斷突飛猛進，爲科學計算和人工智能領域的諸多難題的解決提供了強大的算力支撐。與此同時，科學計算和人工智能的發展也對超級計算機的研製產生了深刻影響。

科學計算一般以準確的數學模型爲根基，以嚴謹的計算方法爲手段，對應用領域中氣候氣象、能源材料、航空航天、生物醫藥等問題進行模擬。而人工智能則往往依賴於以神經網絡爲代表的具有“萬能逼近”性質的數學工具從數據中挖掘規律，從而在圖像處理等類型的任務上實現超越人類水準的突破。超級計算、人工智能與科學計算這三個蓬勃發展的領域是否可能實現某種程度的結合甚至融合？

他表示無論是科學計算、超級計算還是人工智能，都可以視爲連接真實世界和數字世界的工具。真實世界就是人們不斷設法去了解、改造的客觀世界，而數字世界指的是我們能夠操作、能夠任意實驗的基於計算機的數字化虛擬世界。銜接真實世界和數字世界，人工智能至少在模型、算法、軟件和硬件四個角度可以與科學計算和超級計算結合併發揮重要作用。

明平兵分享了《多尺度問題：科學計算+人工智能Crack the Multiscale Problem: Scientific Computing + Artificial Intelligence》的主題，自然界中諸多現象如材料損傷與破壞、流體湍流、核爆炸過程、生物大分子等均呈現出巨大的尺度效應, 並伴隨着不同尺度上的物理多樣性和強耦合性以及多個時間與空間尺度的強關聯。這些典型的多尺度問題的求解一直是非常有挑戰性的課題。科學計算曾經並正在爲求解多尺度問題發揮重要作用，人工智能爲解決多尺度問題提出了新的思路。

多尺度建模提供了一種建模精確化的途徑。多尺度建模主要基於物理定律，物理定律和數學來解決。科學計算在每個尺度上的計算方法發揮了很大作用，而且爲多尺度算法提供了概念性的東西。在人工智能、深度學習對多尺度計算已經提供了一些新的思路，它有希望破除這裏面的瓶頸，現在還在繼續發展，但發展的不迅速。

史作強則在《基於流形和偏微分方程的機器學習數學模型》中分享了從微分流形的角度對數據流形進行建模，然後用相應不同的偏微分方程也有不同的數學方法來來解。他表示機器學習尤其是深度學習近年來取得了巨大的成功，這是用科學計算的角度幫助和理解AI就是機器學習裏面的一些模型和方法。

總的思路是，對機器學習建立數學模型，嘗試建立可解釋、具有內在魯棒性的數學模型和理論，並發展相應的計算方法。

主題分享一：《智能時代的科學計算：低維表達與高維問題的自然融合》

李若 北京大學教授

李若，博士畢業於北京大學數學科學學院，現爲該院教育部長江特聘教授，博士生導師，副院長。研究方向爲偏微分方程數值解，具體是網格自適應方法和流體力學數值方法，解決了已經存在了六十餘年的Grad矩模型雙曲性缺失的問題。他是第九屆國際工業與應用數學大會報告人，獲得第十二屆馮康科學計算獎、國家傑出青年基金、全國百篇優秀博士論文獎，入選教育部新世紀人才計劃。他曾經或正在擔任SISC、NMTMA、AAMM編委，《數值計算與計算機應用》副主編，北京計算數學學會理事長、監事長，中國數學會計算數學分會副主任委員，教育部數學類專業教指委副主任，北京大學科學與工程計算中心主任、應用物理與技術中心副主任。

李若：各位朋友們好！我的研究領域是傳統的科學計算，今天我想和大家探討的是一種新的可能性。，維數的概念，對於學過數學的人是一個非常標準而熟悉的詞彙。我們做科學計算，比如做偏微分方程數值解，其常常目標是爲了逼近一個函數，這個函數從一個m維空間映射到n維空間，m和n如果非常大，就是所謂的高維的問題。

儘管很高的維數對於學數學的人來說感覺非常自然，但是在歷史上對於普羅大衆，大家開始接受比直觀的三維空間更高的維數概念是在狹義相對論的時候，那時候伴隨狹義相對論所提出的四維時空的概念，使得高維的概念進入大衆視野。對於數學家和物理學家來說，維數本質上只是變量的個數。對於科學計算來說，我們要想表達一個高維函數，這個維數m-就是自變量的維數-非常要命，這個數大了以後很難辦，但是n這個維數帶來的困難要小得多。

狹義相對論出現以前，大概更早三四十年，就有了氣體動理學的玻爾茲曼方程。這個方程中就會涉及到一個高維的所謂分佈函數，這個函數是時間、空間的函數。與此同時，它居然把速度量作爲自變量，使得這個函數變成一個七維函數，它滿足這樣一個方程（圖）。這個f的自變量維數一旦高上去之後，當時大家沒有感覺，等到我們真想解這個方程的時候，才發現面對着巨大的困難。

其實七維並不是顯得特別高，我們平時覺得時空是四維的，事實上可以在建模的時候，將維數從日常的四維，升高到幾乎不可能的維數，這是所謂的量子多體問題。這是一個薛定諤方程，薛定諤方程裏面的波函數依賴於非常非常多個自變量，每個自變量都是普通的三維空間中的一個向量。這裏的N會大到什麼程度呢？它會大到像阿伏伽德羅常數這樣的數，這個維數一下子變得高不可攀了。通過這個例子可以看到，維數我們是可以把它玩的非常大的。

在物理的歷史上，維數是從日常的維數逐漸一步一步的加上去，這件過程大約可以從廣義相對論的時候開始算起。在理解廣義相對論的時候，大家發現它本質上是把相互作用幾何化，把引力解釋成爲空間曲率。大家發現可以享受引入新的自變量的好處，把各種相互左右都解釋爲新加入的維數的幾何結構。比如說爲了解釋磁鐵的磁力，可以爲電子硬生生的引進自旋這個自變量，物理書上叫做“內稟屬性”，在數學看來就是一個自變量，引進這個就可以解釋磁鐵的磁性。喫了這種甜頭以後，物理學家們逐漸就把四種基本的作用力，比如核裏面的強相互作用、弱相互作用，逐漸都想把它統一起來使用，加自變量維數的方式，然後把它統一起來，就發展成了現在的各種弦的理論、m理論這些。大致上看來，物理學家把各種各樣的相互作用最終變成了新的自變量，從而導致了函數自變量維數的增長，這種增長爲我們求解這些方程帶來了非常巨大的困難。

科學研究的目標第一步是理解，就是所謂認識自然，第二步是控制，這是希望通過獲得的理解來改造自然。當我們想做科研的時候，一個被研究的客體放在面前，我們可以把我們研究的客體，首先可以看成是一個黑盒子，我們通過觀察它的輸入，測量它的輸出，然後猜測到底這個黑盒子裏發生了什麼事。輸入和輸出從表象上常常是非常高維的，但是需要注意的是，我們能夠觀察、測量和控制的關於輸入和輸出中的信息都是非常低維的數據。這是因爲我們對所能夠觀察和控制的所有這些因素，只有低維的表達能力造成的。我們翻來覆去的做輸入和輸出的觀察，有一天終於給出這個客體的方程，這就是物理的模型。所以這些模型，或者說方程，就是照亮黑盒子的光，使得黑盒子變成了亮盒子。我們的問題在於這些方程中自變量的維數太高，計算量太大，我們就會很難對其進行求解。

這個盒子和現在熱門的神經網絡長得非常像，給它一個輸入，輸入從表象上非常高維，它就給一個輸出。神經網絡和剛纔我們說的這個盒子比較，其特點在於它是天生就是一個亮盒子，裏面所有的連接結構、參數都是設定好的。現在大家做神經網絡的訓練，就是反覆地匹配這些輸入和輸出的數據，然後把盒子裏面的參數給確定下來。一提到這個大家馬上會非常興奮的去討論大家非常感興趣的一些問題，比如怎麼樣調參和訓練，還有關於所謂的泛化和解釋性的問題，這些討論很容易就會把科學問題和哲學聯繫在一起，我們就不展開了。

最近這幾年，利用神經網絡去表達過去我們覺得很難的一些問題的解的時候，往往給我們非常神奇的感覺，訓練出來的神經網絡常常可以捕獲我們過去覺得絕對不能表達的特徵，準確度非常高，這讓我們覺得這個好像是一種智能，我們說它是人工智能的意思是覺得它和人的智能多少還是有一些區別的。神經網絡的結構天然和我們研究科學問題的解構這麼相像，我們可能馬上會覺得它們之間會有一些競爭，但是今天我想討論的是，我們其實可以利用它們的相似性，把神經網絡的這種表達形式，以非常自然的形式應用到求解高維科學計算的問題上來。

我特地構造了一個看上去很抽象，但事實上又相當具體的例子，來說明這種可能性。我們考慮時間發展的方程，左邊是一個函數，這個解函數u是時間和空間的函數，空間可以是非常高維的，右邊是不包含時間導數的算子，具有初值。爲了解這樣一個方程，原則上n非常大的時候，現在的科學計算是很難解決這樣一個問題的。但是請注意到剛纔我們說過的一個重要的事實，我們所關心的初值或者說我們所能夠給出的初值，這種U0，它的整個集合是非常低維的，每個U0本身有非常高維的表象，但是所有的U0放在一起的集合是一個低維的結構。所有的這種函數所形成的集合，這個集合形成了一個流形，它的維數是很低的，我們把它記作K，這個是和1差不多一樣大的一個數。

由於這個方程是個時間發展方程，以U0作爲初值時候的的解，就會在所有可能的解空間裏面形成一條單參數的曲線。所有這種單參數的曲線，形成了這樣一個集合（圖），單參數是t，其他的維數是K維的。對於所有的解形成的在解空間中的流形，構成了以U0作爲底的K+1維的流形，整個流形的維數是不高的。這樣，原則上來說我們就可以用下面的形式對這個流形做參數化，我們利用t是其中一個顯式的參數，可以把其中每一個函數都寫成x的函數，依賴於參數ω，這個ω是隻依賴於t的一個K維向量。這樣的解的形式代入到方程裏面去，我們會發現這樣的等式，拿u對所有的ω求導數，這是一個廣義導數，每一個ω對t求一個導數，會發現這個對所有x都成立。我們可以使用u對ω的導數做檢驗函數，這個東西是一個內積。總而言之，我們最後可以轉化爲一個常微分方程組，以ω作爲變量的常微分方程組，前面這個東西就是由這些東西所做出來的矩陣，這個矩陣是對稱正定的，右邊是右端項。我們獲得了只有K個變量的常微分方程組，這個方程組我們是可以非常高效的求解的。

在這個過程中，我們可以看到其中最大的困難是，如何獲得這個解流形的結構，因爲這意味着我們要給出解的參數表達式。如果能夠做出這一點，一個非常困難的問題，就會變成一個非常非常簡單的問題。但是我們基本上可以說，想精確給出這個表達式是沒有可能的，一旦有這個可能，這個問題我想也不是一個非常值得做的問題，因爲太簡單了。這個時候我們有沒有可能通過機器學習的手段，運用神經網絡給出一個“u hat”（音）的逼近形式呢？這件事情完全是可以操作的！神經網絡天然就可以表達這種函數，我們可以獲得一些數據，這些數據可能來源於一些測量或者一些精細的、局部的解，這可以我們的計算能力可以獲取的解。獲得大量這樣的數據後，然後它形式上長得像這樣的數據，我們用這些點，用一個神經網絡然後去構造某些損失函數訓練出一個東西。然後我們就可能用這樣一個網絡來代替我們剛纔“u hat”的形式，具體怎麼操作有大量的可能性。其中比較關鍵的一點，我認爲這種點雲數據的維數怎麼確定，我們確定了以後將會確定K到底是多少。以及中間的這些參數，就是ω怎麼選擇。經過進一步的思考，我們其實知道這些參數的選擇並不是非常關鍵，有非常豐富的餘地。

於是我們把近似的形式解代入到剛纔的方程中。由於這是一個近似的形式，這個方程不可能等於零，有餘項。於是我們依然可以使用剛纔的套路，我們做一個檢驗函數寫到這裏面去，構造一個模型。這個模型將會是一個近似模型，無論如何它的計算量徹底小下來了。特別的一點，對於這樣一個模型我們可以很輕鬆的給出這樣一個形式的（圖）後驗誤差估計。這個後驗的形式說明，原則上我們可以對於精確的解流形什麼都不知道，但是可以發展出技術手段，通過不斷地減少這個誤差，使得它的精度逐漸得到改進。

由於時間的關係我就講到這裏，謝謝大家！

主題分享二：《淺論超級計算、人工智能與科學計算的融合發展：以偏微分方程求解爲例》

楊超 北京大學教授

楊超，北京大學數學科學學院教授，博士生導師。主要從事與超大規模並行計算相關的模型、算法、軟件和應用研究，研究領域涉及計算數學、計算機科學與應用領域的交叉。研究成果曾先後獲2012年中國科學院盧嘉錫青年人才獎、2016年美國計算機學會“戈登·貝爾”獎 (ACM Gordon Bell Prize)、2017年中國科學院傑出科技成就獎、2017年CCF-IEEE CS青年科學家獎等，2019年入選北京智源人工智能研究院“智源學者”。目前擔任北京大學科學與工程計算中心副主任，中國科學院軟件研究所學術/學位委員會委員，中國工業與應用數學學會“高性能計算與數學軟件”專業委員會副主任兼祕書長，中國新一代人工智能產業技術創新戰略聯盟“AI指令集與開發接口”標準專題組組長等職務。

楊超：非常高興參加這次活動，藉此機會我想結合偏微分方程求解的一些經驗，分享一下關於超級計算、人工智能和科學計算融合發展的觀點。

從主流的科研範式來看，人們認識客觀世界的三種最主要的科研手段是實驗、理論和計算，最近十來年隨着數據科學的興起，基於數據的科學發現被認爲是第四種重要的科研範式。而圍繞計算和數據有三個非常獨立但又相互關聯很大的方向，超級計算、科學計算和人工智能。

從計算科學誕生之初，超級計算和科學計算的關係已經建立起來。它們之間的關係可以概括爲：超級計算是支撐科學計算發展的重要工具，科學計算作爲需求牽引、拉動超級計算機性能不斷提升。事實上，早在電子計算機誕生之前，超級計算的思想萌芽就已產生，其中一個代表性的工作是英國數學家理查德森1922年提出來“預報工廠”的概念，這個概念被稱爲“理查德森之夢”。爲什麼說是一個夢？因爲1922年當時沒有電子計算機，他提出的“預報工廠”主要用於預報天氣。衆所周知，天氣預報是科學計算領域最有代表性的一類應用。預算工廠包括64000臺Human Computers，每臺“計算機”由一個人完成相關計算。預報工廠中還有專人用信號燈指揮不同的“計算機”進行數據交換。“預報工廠”的計算目標是大氣，把計算區域分成64000個部分，每個人負責一塊，大家分別計算，並有人去協調指揮，這其實體現了早期人們暢想超級計算的一種樸素思想。

隨着世界第一臺電子計算機ENIAC的問世，理查德森之夢終於得以實現，ENIAC重達幾十噸，佔地面積非常大，並且耗電驚人。據說每當ENIAC開機的時候，整個費城的燈都暗了。1950年，馮諾伊曼和他的助手改造了ENIAC的可編程性，並在這個基礎上編寫了世界上第一個天氣預報程序，成功完成了24小時預報，實現了理查德森之夢，也成爲了科學計算的蓬勃發展的一個重要開端。

如今，歷經幾十年的發展，超算已經在科學計算的方方面面，例如航空、航天、氣候、能源、材料、安全、天文等領域中發揮了不可取代的支撐作用。2013年美國能源部曾經統計過一些典型的科學計算應用中的計算需求，這些計算需求即便放在今天來看仍然是很大。在科學計算巨大需求的牽引之下，超級計算機的計算性能按照“十年千倍”的速度迅猛攀升。我們都知道摩爾定律，摩爾定律的是說個人計算機的性能提升速度是每18到24個月性能翻一番，而超級計算機可以達到每年性能翻一番，“十年千倍”的發展速度。

現在超算發展的一個重要趨勢是：異構衆核，即同一個系統有不同類型的計算核心，而且每個芯片上要集成大量的計算核心。爲什麼會沿着異構衆核趨勢發展？其實這與計算需求關係不大，更多的是超級計算發展本身的技術條件限制造成的。現在所有的超級計算機都是基於馮諾伊曼體系結構，馮諾伊曼體系結構的“算”-“存“分離特性會導致現有工藝下，爲了滿足計算需求，能夠選擇的設計方案十分有限。這樣的系統現在越來越多，同一個系統有很多計算核心，而且計算核心還不一樣，從設計算法和研究軟件角度來說面臨很大挑戰。

例如求解偏微分方程的經典並行算法——區域分解算法，該算法一般假定每個子區域應該是大致相同，而且滿足一些數學上的條件，例如子區域應具有凸性和的單連通性等。在異構系統上，這些前提假定已經難以成立，需要從思想上突破傳統算法的約束。對此，我們提出了一套異構區域分解算法，在傳統的區域分解思想基礎上，對每個子區域進行第二次切分，切分時排除掉之前理論上的假定，包括凸區域、單聯通區域之類的約束，目標就是要與現有的異構系統硬件配置相適配。

雖然理論上很難分析這種異構區域分解算法的收斂性，但是在實際應用中，這種算法達到很好的應用效果。HPCG是基於偏微分方程求解的高性能計算機的排名標準，我們把這個算法應用於HPCG優化裏，取得了很好的效果，收斂性非常好，幫助天河2號拿到2016年的HPCG世界排名第一。

如前所述，科學計算和超級計算之間相互促進、共同發展的閉環已經形成了幾十年了。最近十來年隨着大數據興起，人工智能技術得到復興並呈爆發式發展。此時，人工智能作爲一個“新”角色進來之後又起什麼作用呢？至少兩個方面的作用，首先從超算角度來看，超算原本主要用來支撐科學計算，現在有了人工智能這種新需求，超算必然也要爲人工智能提供強大算力支撐。反過來由於人工智能的本身特性又會改變超算的發展趨勢。第二，人工智能和科學計算的關係。人工智能有一些好的數學工具和思想方法可以作爲新思路、新方法、新工具提供給科學計算，科學計算又有多年發展的基礎和較爲完善的理論框架，可能幫助我們實現可解釋性的人工智能。

AlphaGo和AlphaGo Zero作爲人工智能最近幾年非常著名的突破，先後打敗了人類的圍棋冠軍。像AlphaGo  Zero這種大型的AI應用，如果想一天之內完成它的訓練，我們所需要的計算能力已經超過1E ops，事實上過去6年訓練神經網絡的算力需求已經增長了30萬倍，這遠遠超出超級計算機“十年千倍”的計算性能提升速度。所以現在有觀點認爲計算能力是人工智能發展的非常重要的基礎，甚至有人認爲算力常勝。

與此同時，人工智能的發展深刻改變了超算發展趨勢，尤其是在2017年前後，隨着大規模AI應用的湧現，新型超級計算機設計也逐漸開始考慮人工智能這類應用，最有代表性的機器就是美國的Summit，計算性能世界排名第一的系統，這臺機器科學計算的雙精度浮點計算性能是148Pflops/s，但是它還通過配備特殊的Tensor Core計算單元，可以實現3.4 Eops/s的AI計算性能。與此同時國際上谷歌、IBM、寒武紀、華爲等大廠也都先研發了各種AI處理器。最近，谷歌Jeff Dean等人發展了採用AI設計芯片的新技術，大幅度提升芯片數據效率。毫不誇張地說，AI已經對硬件設計產生方方面面的深刻影響。

在超級計算機系統設計方面，舉個例子，牛津大學2018年出版了一個白皮書《解碼中國的AI夢》，其中有一個觀點：“中國建設超級計算機方面的成功表明，它有可能趕上AI硬件領域世界領先的企業……如果其他國家專門開發針對AI新型超級計算機，中國在製造傳統超級計算機方面的卓越表現可能並不重要“。順着這個思路我們去思考，也許有一天，可能很快我們會看到專門用於AI計算的大型超級計算機。

現在讓我們回到偏微分方程求解。藉助神經網絡這類數學工具，我們是不是可以解一些之前難以求解的問題呢？（圖）在這裏，我列出了三個比較有特色的方程，它們都有強烈的非線性，並且計算區域具有不規則和高維的特點。比如第一個方程的計算區域雖然是二維，但是區域邊界非常複雜。中間是三維的例子，其計算區域是一個扭曲的torus形成，採用經典方法很難準確的刻劃。第三個是100維的超立方體，它高維的性質決定了經典的方法很難去求解。

通過神經網絡的方法可以很好地求解這類問題，我們提出了一套新方法——PFNN，這一方法的最大特點是隻需要求解無約束優化問題，不需要引入任何懲罰項。傳統的神經網絡求解方法或多或少會引入懲罰項，但是通過採用一些手段去重新構造解空間，可以設法避免這個事情。把一個約束優化問題變成完全沒有約束的優化問題，數值計算結果表明，PFNN方法可以很好的改善問題的求解精度和計算效率。

下面考慮如何實現並行求解。一個很自然的思路是直接做分佈式訓練，但這樣的處理沒有很好的利用問題本身的性質。偏微分方程的求解，在經典的科學計算領域，有一個非常好的並行算法——區域分解。我們將區域分解的思想用在神經網絡求解偏微分方程中。比如可把一個方形的區域一分爲四之後，增加一點重疊度，就可以把單個神經網絡訓練問題分成子區域網絡的訓練。通過實測發現，這樣的手段不但能夠提供很好的並行加速，同時問題的計算精度也同時得到改善，實現了計算精度和計算速度的雙重收益。

從未來的發展趨勢來看，人工智能、超級計算、科學計算會怎樣發展？三個方向共同目的是通過某種手段連接真實世界和數字世界。真實世界就是人類在不斷設法瞭解、改造的客觀世界。數字世界是我們能夠操作、能夠任意實驗的基於計算機的數字化虛擬世界。從真實世界到數字世界，至少存在四個角度，人工智能可以與科學計算和超級計算結合，發揮作用。

第一，模型角度。經典的科學計算方面，很多問題是建模方面很困難，或者模型很準確但是不可計算或者很難計算，或者是模型可以計算但不夠準確。這時候基於人工智能的手段也許可以構造更好的模型，比如現在湍流模型，分子力場模型，天氣預報領域的物理過程參數化等都有成功案例。

第二，算法角度。剛纔舉的PFNN的例子就是算法角度，人工智能的發展有很多的很好的數學工具，思考問題的視角。借鑑裏面好的數學工具，比如神經網絡，可以應用在一些科學計算領域的經典問題，比如線性方程求解、微分方程組求解、最優化問題求解等。

第三，軟件角度。光有算法和模型是不夠的，還需要在計算機上實現，寫成軟件，實現出來。這個過程涉及到大量的編程工作，而且很容易出錯。這時候如果藉助機器學習等手段，可以在編譯優化，自適應調優，自動代碼生成等方面把人們從繁重的體力勞動中釋放出來。

最後就是硬件角度。AI事實上已經深刻改變了超算硬件的發展，而且未來還會有更多改變，比如計算單元的設計、芯片的設計、處理器的設計、超算系統的設計等。

最後我想利用這個機會介紹一下我們課題組正在招新，感興趣的歡迎到這個網站(https://scholar.pku.edu.cn/chaoyang/news)。謝謝大家。

主題分享三：《多尺度問題：科學計算+人工智能Crack the Multiscale Problem: Scientific Computing + Artificial Intelligence》

明平兵 中國科學院數學與系統科學研究院研究員

2000年博士畢業於中國科學院數學與系統科學研究院，目前是該院研究員並擔任科學與工程計算國家重點實驗室副主任。主要從事計算數學及科學計算的研究，特別是固體多尺度建模、模擬及多尺度算法的研究。他預測了石墨烯的理想強度並在Cauchy-Born法則的數學理論、擬連續體方法的穩定性方面有較爲系統的工作。他在JAMS, CPAM, ARMA, PRB, SINUM, Math. Comp. Numer. Math, SIAM MMS. 等國際著名學術期刊上發表學術論文五十餘篇。他曾應邀在SCADE2009，The SIAM Mathematics Aspects of Materials Science 2016等會議上作大會報告。他於2014年獲得國家傑出青年基金，2019年入選北京智源人工智能研究院“智源學者”。

明平兵：今天非常高興有機會和大家分享我們在這些問題的觀點和體會，今天主要從科學計算和人工智能角度談談我工作多年的一個領域：多尺度建模與計算。

首先簡單給大家介紹一下多尺度現象以及多尺度模型，這裏面涉及到比較多的物理。然後從傳統科學計算的角度來討論一下如何求解多尺度模型，求解的過程以及面臨的問題，以及多尺度建模與計算有哪些困難和挑戰。最後談談在智能時代，人工智能會不會對多尺度模型模擬或者多尺度問題的求解帶來一些新的思路、新途徑。

多尺度顧名思義，就是時間尺度和空間尺度，這是大家都可以理解的。事實上多尺度是一個一般性概念，比如下面這個圖像就可以看作一個多尺度模型，大尺度是圖像的邊，小尺度就是圖像的紋理，這個圖像在數學上可以用Fourier級數以及小波來表示，下面這幅圖表示一個多尺度函數，仔細區分可以看到有六個尺度，最大尺度上的圖形其實是非常簡單的正弦函數的疊加。

下面這張片子講講湍流，這是非常著名的多尺度問題。湍流可以用Navier-Stokes方程來描述。這個問題之所以很困難，就是因爲它有很多“渦”，這些渦在數學上就是非常不光滑的解，它們在不同尺度上相互作用，這是多尺度最爲困難的一個問題：完全無尺度分離問題。

下面再給大家介紹一個典型的多尺度問題。這個圖片展示的就是著名的Titanic號遊船斷裂的情形。斷裂是從原子鍵的斷裂開始，發生在納米尺度。斷裂聚集演變成微損傷，一般發生在微米尺度。微損傷的聚集演變成裂紋，最後裂紋就可以擴展成爲在宏觀層面上可見的物體的斷裂。

下面給大家看看在能源、環境裏的一個重要問題：碳捕捉和碳封存。這相當於把二氧化碳採用某種技術捕捉起來，再找一個安全的廢棄礦井把它封存起來，這裏面有一個很重要的問題，就是把二氧化碳直接排放到地下，會不會對地下水、土壤產生不良影響，這是個非常典型的多尺度問題。在連續尺度，就是從10釐米到100米，我們會看到，二氧化碳的輸運對地下多孔介質性會產生重要影響，這個層次上主要是求解反應輸運方程。在下一個尺度，也就是所謂的孔隙尺度，這個尺度上它的模型就是Lattice Boltzmann模型。在更小的納米尺度，我們要研究二氧化碳與礦物質的化學反應，需要求解量子力學方程，這是屬於地球化學的範疇。在碳捕捉和碳封存這個問題裏面，多尺度、多物理特徵異常明顯。此外數據的不確定性對於模型及求解方法也有很大的影響。

實際上我們可以看到在不同尺度上具有不同的物理模型，傳統的科學計算對單個尺度的模型發展了很多高效的求解方法，在宏觀尺度上，差分方法和有限元方法、間斷Galerkin方法以及譜方法都是非常通用的方法；在微觀尺度也有分子動力學、Monte-Carlo模擬方法以及各種電子結構計算方法。宏觀尺度上的方法，前面幾位老師講得比較多了，我下面談談一種微觀模擬方法：分子動力學方法。 分子動力學方法看起來是求解一個大型非線性常微分方程組，但實際上它是一種用計算機來做實驗的方法，就是用計算機來模擬粒子的真實運動軌跡。分子動力學模擬必須要考慮溫度、壓力以及粒子數等因素的影響。下面講一個例子，這是去年4月公開報道的一個大規模分子動力學模擬實例，Los Alamos國家實驗室的研究人員模擬了一個DNA的一個全基因序列，當時用了10億個原子，轟動一時。

下面講一個我們自己做過的分子動力學模擬例子，這個例子只是想說基於第一性原理的分子動力學模擬（就是所謂的從頭計算）在某些時候是非常關鍵的。我們預測了石墨烯的理想強度，我們的預測比實驗還要早一點。做這樣的模擬是非常昂貴的。 我們模擬用的計算機是科學與工程計算國家重點實驗室的二號集羣，當時是能夠進入世界前500強的機器。

前面講了針對單個尺度上模型的計算方法，你當然可以把不同尺度的模型進行耦合求解，這是我們通常所說的多尺度耦合方法，這個方法原理上並不新，上個世紀70年代、80年代已經湧現出來了這樣的方法，這些工作產生了重大的影響。比如Warshrel 和Levitt因爲他們在1975年提出的量子力學與分子動力學耦合算法獲得了2014年的諾貝爾化學獎。正如美國加州理工的Ortiz教授所說，多尺度模型及模擬是一個一般性概念，它貫穿了科學技術乃至工程的全部領域，不同尺度的模型已經非常清楚，剩下的就是一個計算問題。下面這兩幅圖是多尺度耦合方法的基本示意圖，一個基於區域分裂，一個基於多重網格，這正好對應多尺度耦合方法的兩種設計思路，而這兩個方法都是我們在傳統科學計算中非常經典的算法。

現在談談多尺度建模與計算的挑戰，一個挑戰就是前面說的維數災難。 Schrodinger方程是個非線性特徵值問題，這個方程維數非常高，難以求解。一個挑戰是分子動力學的模擬時間問題。一個典型的分子動力學模擬在時間上是數百個納秒，但是一般我們感興趣的問題發生的時間尺度都在秒這個量級，所以二者還有非常大的差距。另外一個很實際的問題，比如極端條件下的多尺度模型問題，在多尺度模擬中，我們怎麼保持極端物理條件是非常困難的。另一個挑戰是前面我提到過的完全沒有尺度分離的問題。

講完了挑戰，我們再看看人工智能、機器學習會給多尺度建模與計算帶來什麼新思路。前面幾位老師已經介紹了機器學習現在已經有了非常成功的應用實例了，但是背後的機理其實並不清楚，比較公認的成功原因如Poggio所說是如下幾個方面：靈活的網絡架構和萬有逼近性質、強有力的隨機梯度法以及良好的泛化能力。多尺度模型、模擬基本都是基於物理定律，而機器學習基於數據，它們兩個是可以互補互助的。一方面，基於機器學習，可以高效地處理多尺度模擬產生的海量數據，從而可以進行可預測模擬。另外一方面可以利用多尺度模型去優化機器學習模型，後者往往是不適定的。這個非常關鍵的，當然互補的東西還可以更多。

我們現在問一問反映分子間相互作用的勢函數爲什麼取這樣的形式？另外勢函數的參數是怎麼來的。我們當然可以從物理定律、定理分析得到得到部分信息。機器學習方法第一步是構造對稱函數，這些對稱函數可以刻畫勢能函數的一些基本不變性。對稱函數里麪包含大量的未知參數。然後利用一個典型的二次損失函數可以把對稱函數里面的未知參數“學習“出來，當然需要大量可靠的數據，這些數據一方面可以從諸多現有的數據庫裏面得到，另一方面，也可以做一個on-the-fly的電子結構模擬來提供我們需要的數據。一般來說，數據越多越精確，得到的勢能函數就越精確。

基於機器學習的勢函數，最早是Behler和Parrinello提出來的，之前也許有別的方法，但是目前公認的就是這個工作。這方面已經有很多工作，發展也非常快。對於沒有精確勢函數的材料，特別是一些新的複合材料，這個方法特別有效，大家如果有興趣的話可以看看最近這兩篇綜述論文。

最後總結一下，多尺度建模提供了一種建模精確化的途徑。多尺度建模主要基於物理定律。科學計算在單個尺度上的計算方法發揮了很大作用，而且爲多尺度耦合算法的設計提供了概念性的東西。目前人工智能、深度學習對多尺度計算已經提供了一些新的思路，有望破除這裏面的瓶頸。謝謝大家。

主題分享四：《基於流形和偏微分方程的機器學習數學模型》——史作強

史作強 清華大學數學科學系副教授

從事偏微分方程數值方法的研究，對於基於偏微分方程的機器學習的數學模型、理論和算法有深入的研究。在國內外知名學術期刊發表文章40餘篇，2019年入選北京智源人工智能研究院"智源學者"。

史作強：謝謝主持人的介紹，今天非常高興有這個機會給大家分享我們最近做的一點工作。今天的主題是AI+科學計算。前面三位老師做了非常精彩的分享。前面三位老師的分享中更多是關注於AI怎麼樣來幫助我們更好地進行科學計算。下面我的介紹中，我從另外一個角度，我們用科學計算的角度怎麼幫助和理解AI就是機器學習裏面的一些模型和方法。

這是我們的一個思路，是框架性的思路。首先我們發現很多數據，大家都知道很多數據都可以很方便地轉化成高維空間度的點雲，如果是100×100的一幅圖像，可以看作是一萬維空間中的一個點，有一堆這樣的圖像，（圖）這就是一個點雲。一維信號可以很方便的轉化成這樣的點雲。甚至文本，如果有一篇文章，我們從新華字典裏挑選出五千個常用字，然後統計文章中每個字出現的頻率，然後把這篇文章轉化成五千維的向量，如果有很多這樣的文章，我們就可以轉化成五千維中間的一堆點。各種各樣不同的數據都可以轉化成這樣的高維空間中的點、高維空間中的點雲。這裏的維數非常高，相對傳統科學計算處理的維數，這個維數可以輕鬆到幾萬、幾十萬、上百萬。現在我們老是說海量數據，，在這樣的高維空間中，再大量的數據都是小數據。

比如維數是一百，我們如果想在每個維數上只放兩個點，就需要2的100次方的點，這已經是天文數字了。現在世界上所有計算機加起來也處理不了這麼大量的數據。所以在前面尤其是李若老師的分享中特別強調數據的表象，表觀上看起來維數非常高，但實際上肯定是有某種低維結構存在在裏面的。數據實際的維數是比較低的。處理這種低維的結構，在數學上有一個非常有力的工具就是流形。流形可以認爲是高維空間中的低維曲面，數學上把這個東西定義成用流形進行描述和刻劃。我們可以假設這一堆點雲在高維空間構成了低維的流形，但是這個低維的流形結構肯定是非常複雜的，我們也很難想象在很高維的空間中這個流形的結構到底是什麼樣的，也就是我們很難通過直接參數化的手段對這個流形結構進行刻劃。只能進行間接的手段來幫助我們刻劃流形的結構。我們想採用的手段是偏微分方程PDE作爲一個工具，在流形上解，首先建立一個偏微分方程模型，然後求解這個模型，這個偏微分方程的解，反過來告訴我們這個流形是什麼樣的結構。利用偏微分方程研究這個流形也不是特別新的想法，實際上在純數學裏面，在微分幾何的研究裏面，這已經被大家研究的非常多。但是在我們想處理的問題裏面，如果想把這個想法付諸實現就需要面臨兩個問題。一個問題是我們要用什麼樣的PDE，我們用什麼樣的偏微分方程比較適合我們要研究的這個問題，這是數學建模的問題。另一個問題，假設這個偏微分方程已經確定好了，我們需要怎麼樣求解這個偏微分方程，我們現在面臨的這個偏微分方程構建高維空間上的一堆點雲上，我們需要在點雲上離散這個偏微分方程，來求解它，我們就需要搞一些數字方法來達到這個目的。

下面看一些具體的例子。首先，我們用非常常見的一類偏微分方程對流形建模，我們發現拉普拉斯方程，我們爲什麼用拉普拉斯方程對它進行建模，是因爲我們發現拉普拉斯方程對應了流形的維數，我們在極小化流形的維數。大家普遍認爲流形的維數應該是比較低的，相對於嵌入的高維空間，數據真實所在的流形的維數應該是比較低的。我們發現拉普拉斯方程對應極小化流形維數，所以我們用拉普拉斯方程進行建模。我們也發展一套方法，叫做就是PIM，在高維空間的點雲上求解拉普拉斯方程，這個方法在一些問題裏取得了不錯的效果。

再看另外一個例子，這是這兩年非常常用的一個網絡ResNet，這個網絡主要的特徵是加入了shortcut。 ，從模型的結構上來看，殘差網絡可以建模爲對流方程。對於對流方程，沿着特徵線進行求解，用向前歐拉的方法離散它的特徵線方程，就可以得到殘差網絡的結構，反過來說殘差網絡背後對應了偏微分方程模型，就是對流方程的控制問題。我們給定了一個對流方程的初值、終值，實際上我們想找速度場v，可以把初值變成我們想要的終值。對流方程，這樣一類的偏微分方程也可以用來處理機器學習裏面的問題。

我們還有沒有其他方程也可以做這樣的事情呢？我們考慮深度學習裏大家非常關心的一個問題，對抗樣本的問題。深度學習網絡有非常好的效果，比如做分類問題的時候，我們訓練一個網絡，對這樣的圖片可以正確的分類，告訴我們這是一隻熊貓，但是加一點小小的擾動上去，對於人類來講這兩個圖片基本沒有區別，但是同樣的圖片給我們訓練好的網絡再讓它識別，它會告訴你這是一個長臂猿。這個神經網絡穩定性不是太好，輸入的一點小小的擾動會造成輸出的很大變化。從偏微分方程角度理解這個現象，它對應的是偏微分方程解的光滑性不是太好。對應前面說的對流方程，這也是可以理解的。對流方程刻劃的是，比如空氣的流動、水的流動這樣一個過程。大家日常經驗也知道，空氣流動可以是非常複雜的。剛纔明平兵老師的報告裏有湍流的渦的結構非常複雜，它的解可以是非常不光滑的。解不光滑就造成對應網絡的穩定性不太好。讓從偏微分方程理論告訴我們如果加上所謂的黏性項或者擴散項可以讓解變的比較光滑，這個方程相應就變成了對流擴散方程。對流擴散方程的解，從偏微分方程理論就告訴我們，這個解會比較光滑，我們就預期它的穩定性就會比較好。但是現在在高維空間裏，可以用隨機微分方程的方法來求解對流擴散流程，求解以後發現確實它的穩定性得到了改善。

偏微分方程對於模型壓縮也可以給我們一些思路。剛纔是對流擴散方程，我們所有想得到的參數都是在速度場裏面，速度場是在高維空間的高維向量場，比如一萬維的一萬維向量場，那需要的參數數目是非常多的。如果我們能夠把高維的向量場壓縮成一個標量場可以大大降低我們所需要的參數數目。這個思路是可以把對流擴散方程變成Hamiton-Jacobi方程，我們想要計算的這個東西就變成了標量場，通過比較少的參數就可以建模出標量場。不太好的地方是Hamiton-Jacobi方程就變成了非線性方程，求解它的時候就比較困難，但是我們也有一些方法可以求解Hamiton-Jacobi方程。前面就是告訴大家我們不同的偏微分方程都可以幫助我們建立機器學習中的數學模型，比如拉普拉斯方程、對流方程、對流擴散方程等等各種各樣的方程。

從理論上來講我們想回答這樣一個問題，偏微分方程有無窮多種，如果一個一個的來試，我們永遠試不完。理論上講我們希望知道我們能不能建立一套理論幫助我們推導確定偏微分方程，到底應該用什麼樣的偏微分方程建立數學模型。這也對應了某種可解釋性。我們在物理或者在力學裏有大量的偏微分方程模型，有很多偏微分方程模型也都是非常複雜的，比如Navier-Stokes方程（音）、麥克斯韋方程，很多的方程也是非常複雜，不能顯示的求解它。對於這類方程，基本認爲這類方程是可以理解的，雖然不能顯式的求解它但是可以理解它，是具有可解釋性的。很大一個原因是因爲那些方程是由一些物理定律推出來的，比如萬有引力、質量守恆、能量守恆，這些物理定律我們認爲是可以理解的，自然而然由物理定律推出來的偏微分方程，我們也認爲是可以解釋的。在機器學習裏面我們也想做類似的事情，我們希望從基本的假設出發，我們認爲合理的假設出發，用一些數學方法能夠推出來我們應該用什麼樣的偏微分方程。我們藉助數學的工具能夠推出來我們應該用這樣的，比如不變性的假設、穩定性的假設，我們可以推出來我們用的這一類的二階的偏微分方程，如果有更多條件放進去可以進一步細化這個偏微分方程的樣子。

前面和大家分享我們用各種各樣的偏微分方程對數據流形進行建模，然後相應不同的偏微分方程也有不同的數學方法來來解。在這個框架裏前兩步也是有很多事情可以做的。比如從這個點雲到這個流形，如果大家學過微分流形的知識就知道，這個地方還有一個非常重要的東西我們剛纔忽略了，就是所謂的度量。簡單來講度量就是刻劃了點與點之間的關係，可以幫助點雲整合成一個流形。到底應該用什麼樣的度量，我們可以通過一些方法學一些比較好的度量。第一步從數據到點雲，怎麼把數據更好地轉化成點雲，我們可以藉助於質點學習，可以尋找更好方法把各類數據轉化成高維空間中的點雲。我們希望建立這樣一個框架，前面的流形和後面的PDE是耦合在一起的。建立一個反饋網絡，流形給PDE提供了定義域，我們希望PDE的解可以反過來幫助我們更好地構建這個流形。最終這個結構有點像大家熟知的DNA的雙鏈的結構，一個鏈是流形，一個鏈是PDE，這兩個糾纏在一起共同演化。DNN深度學習和DNA只差一個字母，這可能也不是一個巧合。

我今天的分享就到這裏，謝謝大家。

討論環節

嘉賓介紹

孫緯武 聯科集團創辦人兼首席執行官，美國華盛頓大學終身教授，香港中文大學榮譽教授

孫緯武博士，自美國加州理工學院博士畢業後，在海外投身教學科研二十餘載，現爲美國華盛頓大學理論物理學終身教授及香港中文大學榮譽教授。 2000年創辦聯科集團，任首席執行官至今。孫博士在計算技術領域有超過30年經驗。從90年代開始，領導多個跨國超級計算項目，研究相對論天體物理學。在孫博士的領導下，聯科集團迄今已爲數百家國家級機構及公司提供高性能計算、大數據基礎設施和分析、以及人工智能解決方案。

熊濤  未來論壇青創聯盟成員，廈門大學數學學院教授

熊濤，廈門大學數學科學學院教授，博士生導師，主要從事計算流體力學和動理學方程高精度數值方法的研究。2007年和2012年本科和博士畢業於中國科學技術大學。2015年入職廈門大學。獲歐盟2015年度瑪麗居里學者，2016年至2018年在法國圖盧茲第三大學從事訪問合作研究。

董彬：非常感謝史老師的分享，四位嘉賓分別從機器學習、科學計算、人工智能、超級計算的角度進行了分享。下面進入主題討論環節，在這裏首先簡要介紹一下參與討論的兩位嘉賓：一位是孫緯武老師，孫老師是聯科集團創辦人兼首席執行官、美國華盛頓大學終身教授、香港中文大學的榮譽教授；另外一位嘉賓是未來論壇青創聯盟成員、廈門大學數學學院教授熊濤老師。首先有請孫緯武老師給我們作一個分享，也是對我們這次主題的一個見解。

孫緯武：剛纔主持人說我是一位老師，也是一位業界人士，我現在先簡單介紹我的工作。

我的教研工作，幾十年來就是解愛因斯坦場方程，這是一條看上去非常簡單的偏微分方程，卻是自然界給我們最複雜的一套偏微分方程，我做的就是這套方程的數字解。

現在從這張圖上看到，這套方程，用有限差分的算法做模擬，得出兩個中子星的雙星系統，碰撞生成一個黑洞，這樣一個愛因斯坦場方程的數字解，可以模擬出兩個中子星對撞放出來的引力波。大家知道兩年前我們觀察到引力波，從觀察引力波到理解背後的天文現象，倚靠的就是這樣的數字計算，數字解。

兩年前給引力波的發現頒發諾貝爾獎，大家看到照片上我手上拿的是貨真價實的諾貝爾獎，頒發給引力波發現者的，只是這個獎不是發給我的，是發給我的博士導師Kip Thorne 的，沾他的光，拿這個獎拍個照。這件事情想說明的是什麼？就是說大數據、AI加上高性能計算，帶來的是一個基礎科學的突破，這是我所知道的最鮮明的例子，這就是我教研工作的介紹。

對於業界角色。我在2000年成立聯科集團，所做的事情就是把高性能計算與大數據、AI連接起來爲各個行業提供服務。我們的服務領域包括金融工程、商業智能、環境科技、智慧城市、互聯網應用、教育與培訓，每個方向都有很多很有趣的服務與案例，我們的客戶是包括了幾百所國際級、國家級機構。我們做的事情從預測明天股票期權的上落，到預測你所在的城市明天的空氣污染，這些事情都是我們每天用高性能計算與AI一起解決的問題。

我們今天的主題就是聯科20年來努力的方向, 有清晰的現實價值，而且就在我們身邊每天都在發生，是我們每天都在使用、都在努力的方向。我就介紹到這裏。下面的討論，我希望更多用業界的角色和各位老師討論。

董彬：下面請廈門大學的熊濤老師分享，談談對今天這個主題的看法。

熊濤：首先非常感謝未來論壇的邀請，有機會參與這個活動。我來自廈門大學數學科學學院，我的專業就是計算數學。我的研究方向主要是關於計算流體力學，動理學方程的高精度數值方法。動理學方程剛纔在李若老師和明平兵老師的報告中都提到了。我的研究興趣、研究內容分以下幾個方面，第一個是雙曲守恆系統，計算流體力學和動理學方程都可以說是雙曲系統，我主要關心它們的高精度的保界算法，比如最大值原理的保界算法、保物理量正性的算法、保能量穩定和守恆的算法，動理學方程的時空一致穩定性算法，比如顯式和隱式結合的高精度漸近保持算法。第三類是關於守恆型的有限差分半拉格朗日方法，這個方法主要是介於拉格朗日和歐拉方法中間的方法。我的主要研究是關於高精度算法，這裏簡單介紹一下高精度算法，爲什麼研究高精度算法，它有什麼好處。

我主要說兩個。第一，它是高效的算法。相對低精度算法而言，因爲有更快的網格收斂速度。這裏的公式對於高精度算法而言在空間和時間上的收斂速度，比如p和q次，相比一階算法而言，收斂速度要快得多。（圖）CPU時間和誤差，對不同精度算法的比較圖。我們有三條斜線代表一階、二階、三階算法，有一條豎線代表同樣CPU時間下(CPU時間和網格尺寸和時間步長有關係)，相同CPU時間下高精度算法達到的誤差明顯比一階、二階算法小的多。從另外一個方面講，如果想達到同樣的誤差水平，可以看到高精度算法的CPU時間要小得多。

第二個是高精度算法的高分辨率。高分辨率對解的表達能力好得多。這裏比較了二階算法和三階算法。二階算法，如果算這樣一個問題算到後面基本上看不清楚了，但是採用三階算法明顯好得多。通常來說從二階到三階是有本質變化的。

這是高精度算法的優勢，但要發展高精度算法也有一些核心問題，主要是魯棒性問題，包括算法的穩定性、健壯性和高效性，這和設計保結構算法、保能量算法非常相關，這裏舉一個例子，模擬物理上的衝擊波，一個波從原點往外傳播的過程，波在藍色區域密度非常接近於零，如果沒有保物理特性密度爲正，這個算法一般是算不過去的。另外一方面在波前，如果不採用高精度算法是很難捕捉到這個比較尖銳的波前的峯值的。

我的介紹就到這裏，謝謝大家。

問題一：怎麼用機器學習來解決科學計算，同樣怎麼用科學計算來解決機器學習的問題，評價標準又是怎麼樣，兩個評價體系不一樣，關心的問題有相通之處，做交叉的時候有什麼要注意的？

李若：我個人對AI方面是不大懂的，幾乎所有的知識都是各位教給我的。首先就像問題裏面說的，大家現在顯然對機器學習是有一定的懷疑，我想懷疑的主要可能是認爲它的可靠性，它在驗證中在事實中是如此可靠，但是我們數學上從理論上什麼都給不出。我現在想介紹的是關於做模型優化的這個思路，主要的目標也是希望說我們到底把科學計算的目標定在哪兒？過去我們教科書上解的每一個問題都是希望解所有問題。但是真的面對科學問題，我們大可不必把自己的目標定在解決形式上的我們所寫出來的那個問題的所有問題，我們哪怕寫了一個1023維的薛定諤方程，但是事實上我們真正關心的還是現實的世界，我們所製造的藥物分子，它的電子到底是怎麼分佈的。所以我們面對這樣一個特殊的實際，然後去尋找解，本身真正就有低維的結構，並且把這種結構融合到我們內心裏認爲非常可靠的科學的模型上，有可能使得我們下一步的計算看到新的機會。

史作強：這個問題對我來講有點大，因爲科學計算也是非常大的領域，有各種不同的問題，我個人稍微瞭解一點的就是某些具體的偏微分方程的數值的方法，怎麼樣用PDE來幫助我們理解這個偏微分方程。如果大的角度來講，想從做科學計算的這些研究人員想做一些機器學習的問題，最重要的就是一個轉化的過程，我們需要把機器學習裏面的那些問題用我們熟悉的科學計算的語言或者這樣的數學工具，把機器學習的問題轉化成我們熟悉的這些東西，這個是我個人覺得非常重要的一步。只有這個轉化了之後，才能用我們科學計算的這些人比較熟悉的工具來研究那樣的問題，這對我們來講我覺得是最重要的一步，如果完成這個轉化之後，後面的事情對我們來講就比較好辦了。如果變成了我們熟悉的科學計算問題，我們可以利用各種各樣我們熟悉的東西來處理它。

剛纔我看到主題裏還有一個是什麼問題是最好的？我覺得這個問題就因人而異了。一般來講你能夠轉化成你熟悉的問題對你來說就是最好的問題，大家背景不一樣，每個人熟悉的領域不一樣，同樣一個機器學習裏的問題，不同人看它的角度是不一樣的，只要你能夠把那個問題轉化成你所熟悉的問題，那這個問題對你來講就是一個好問題。所以“最好的問題”這不太好說。

我個人體會到什麼樣的問題不太適合我們來做，這可能有一個標準，我個人覺得這個標準是機器學習裏做的比較好的問題不太適合我們科學計算的人再去做了。比如舉個例子，神經網絡如果我們就追求精度，比如在各種數據集上刷精度，我覺得這不太適合我們這樣的人去做，我們肯定拼不過專門做機器學習的人。反過來講，比如說神經網絡的魯棒性或者所謂的數據隱私這方面的問題，我個人感覺比較適合我們做科學計算的切入角度，比如模型的壓縮。這就是我個人的一些體會。

明平兵：機器學習解決科學計算問題做到何種程度是最好的，這個很難回答，但是能解決以前工具不能解決的問題的工作我認爲就是好工作。比如德國Ruhr-Bochum大學的J. Behler的一個工作，大概是2016/2017年，他們研究水的特性，在他們研究的那個問題中，沒有可用的經驗勢函數。然而，Ab-initio的模擬又太昂貴了。他們用機器學習得到了一個勢函數，然後通過MD模擬揭示了水分子的某種新奇特性。

孫緯武：剛剛幾位老師分享的以及討論, 比較聚焦在用人工智能技術如何幫助科學計算，或者用科學計算的手段如何解決人工智能問題，都是非常有趣的思路和方向。我想說一說我在業界裏面見到的，我們面對現實世界的問題。我們經常發現要把這兩個手段, 人工智能/大數據以及科學計算/高性能計算的手段, 疊加起來才能解決真實世界裏面的問題。這個疊加的需要幾乎是我們提供過解決方案的客戶裏面都有看到。必須把兩種手段能夠有效地整合起來才能夠得到真實世界問題的解決的方案。

舉個例子，剛剛說到預測股票的升降、預測美金對日元下一秒鐘是升還是降，像這樣的問題我們一方面需要人工智能技術，還需要大數據技術，因爲要很短時間處理大量數據，這些都需要數據技術、高性能計算的技術，把這些技術整合, 還要和客戶的系統配合起來才能解決真實的問題。剛纔說到金融的計算、污染的計算，天氣的數據，衛星觀測的數據都要有效儲存/調動/排查/整合，然後才能通過計算手段來解偏微分方程, 才能夠預測明天的天氣、污染等等，中間牽涉多方面的技術。很多我們的日常工作，比如我們目前正在解決的一個客戶問題是, 證監會有大量股票交易的數據…P級的數據量，現在要查有沒有人買賣股票的時候作弊。這中間就要有大數據的需求、人工智能的分析、文本挖掘的分、圖像的分析、數據挖掘的分析，高性能計算的需求，軟件的需要等等，這些都要整合起來才能真實的解決世界上的問題。所以我看到的不是一個爲另一個服務，而是二者要加在一起的時候是最多的，也是我們從事這個方向的最大的挑戰。

問題二：不管是科學計算還是機器學習，目的是爲了解決實際的問題，來自於各種各樣方面的實際問題，只不過選擇的手段不一樣。科學計算多數基於動力學、方程、原理、機理去計算；但機器學習，特別是現在的深度學習，大數據下的深度學習和AI基於的是數據，原本我想討論的就是怎麼能夠甄別你問題裏面科學計算到底什麼時候適合機器學習，機器學習裏面有些東西是不是可以不用去學習，可以基於一些原理來做，最終目標爲了能夠更好地解決實際問題。我覺得現在大家可以討論一下我們如何把科學計算的手段和機器學習的手段能夠結合，能夠更好地解決比較實際的問題。各位嘉賓老師可以從比較綜合的層面談一談自己的看法，也可以拿一兩個具體的例子講一下。

熊濤：剛纔幾位主講老師在報告中也提到了，我覺得科學計算前面實際上還有一個很重要的就是數學建模的過程。從我來看，傳統的科學計算，數學建模和計算這兩個還比較獨立的東西，但現在因爲我們研究的問題越來越複雜，所以建模和計算也逐漸地融到一起，這兩個不是那麼獨立了。建模一方面可以基於物理規律，另一方面比如說社會模型，像剛纔孫老師提到的股票這些東西，這些東西沒有一個物理的機理，可能時候在數學建模過程中採用一些實驗或者個人經驗的數據，但個人經驗或者通過做實驗得到的畢竟是在特定場景，它的適用範圍可能沒有那麼廣。所以這部分依據經驗和特定場景下總結出來的規律，這部分可以將人工智能、機器學習和科學計算結合到一起來。

董彬：我自己做的研究也是希望機器學習和科學計算能夠搭橋，具體怎麼搭橋呢？現在在做模型設計、算法設計的時候，其實模型算法的主體結構大體上是確定的了，比如你研究一個flow的建模，它的主體可能由某種方程組成的，比如我們做圖像處理，可以設計一些PDE，也可以設計一些優化模型。這些模型雖然對某個具體例子不是最優的，但總體來講也都不差。所以在主體結構方面就不用搞黑盒子的神經網絡去學了，如果去學也未必能學到我們原來設計的那麼好。那麼哪些環節需要引入神經網絡？我覺得就是那些之前說不清除的地方，比如以前我們做建模的可能只能忍受手動調節一到三個超參數，超參數少我們還可以通過不停的觀察我的數值結果手動來調，如果超參數真的很多，是沒有辦法人工去調的。但要有些時候，想得到更優的結果，我們需要引入更多的超參數，那麼多的超參數怎麼去調？現在有很多機器學習的方法可以自動的去調這些超參數。另外，我們在做建模的時候，有些時候大概知道主體方程肯定含有某些項，但還有一些非常微妙的項，大家衆說紛紜，你不確定這些微妙的項應該怎麼去建模。但是，如果我們可以做大量數值模擬，得到大量的數據，我們可以基於這些數據，用神經網絡做一個擬設，把它嵌入到你的大模型裏面，基於數據去把那些微妙的環節確定下來。我現在信奉一個套路，就是你的方法裏有哪些原理是你比較清楚的，清楚的就不要去學了，那些基於經驗的，基於直覺，憑手感、靠運氣的地方可以用機器學習做建模，然後兩個揉在一起，再根據你的問題本身的性質可以去選擇是用機器學習的哪些方法訓練這些環節，所以這是我們做搭橋、做融合的套路。

李若：基於數據做的所有事兒，目標就是爲了構建那個解空間的結構。我們做的每一次實驗，做的每一次模擬拿到的那些數據，其實都是在爲那個解空間做一次觀察。每做一次觀察以後，你就會把你對解空間的觀察做的更加稍微清晰一點，我們根據正確的一般性原理到小的解空間去解。

董彬：基於數據做微小調整。

李若：不一定是小調節。原則上來說，你把薛定諤方程簡化了，那你可以去學勢函數，那可不是一個小調節。

楊超：我從應用角度補充一個應用案例。實際應用中還有一個很現實的情況是很多應用領域有實時性的要求，比如短臨天氣預報，我們要預測1-4小時後的天氣，以便及時應對天氣的極端變化給生產生活帶來的影響。從實時性角度來說，這樣的問題傳統科學計算手段處理起來難度較大，因爲科學計算無論如何還是要解方程，很難在極短時間內完成模擬。機器學習有一個特點是先訓練再預測，訓練過程可能開銷很大，但它預測的過程往往極快，往往比科學計算領域的方法快得多，所以這時候用機器學習的技術，可能能夠實實在在解決一些實時性要求比較高的問題。

董彬：以前我們做計算的問題，設計的方法是比較普適的，但是實際問題中我們需要反覆解的問題非常具體，有很強的低維結構，有時候不如搞一個神經網絡就把這個任務做的又快又好。雖然這些神經網絡可能不能像傳統計算方法那樣泛化到別的問題，但從解決實際問題角度來講這個就夠了。有些時候，主流科學計算希望能設計包打天下的算法，現在我們希望針對具體問題把性能推到極致，我覺得要能達到這個目的，我們做科學計算可以借鑑機器學習領域的經驗和技術。

問題三：下面的議題是從產業界角度，高性能計算與人工智能計算融合有什麼應用路徑和價值？

孫緯武：現實世界裏出現的、我們需要去解決的問題, 正如我剛纔強調的，一般都是大數據/人工智能與科學計算兩方面都同時需要的。與科研不相同, 我們不能選擇問題，而是問題已經擺在那裏了，我們要的是要整合出一個最有效的解決方案, 把現實世界的問題解決掉。實際上需要融合的不僅是人工智能、大數據與科學計算等科技，還包括軟件、訊息儲存/調動/排查/傳遞、可視化等等技術，除了技術之外, 還要有對現實世界問題的理解(把文字題變爲算式)、對客戶需要的理解等軟能力, 也包括工程能力: 你要解決客戶的問題，就需要把你的解決方案與客戶現有的系統融合的工程能力，這些科技和工程能力都要配成一套，然後才能解決真實世界裏出現的問題。真實問題的困難經常不在於純粹科技因素，而是在於真實的問題常常牽涉的很多方面，這些方面的集成纔是最大的挑戰。

董彬：我們聽衆中不少的學生，對於機器學習+AI+科學計算的學生培養，有什麼可以給學生的建議。我這裏拋磚引玉一下，我接觸深度學習、機器學習大概2016年底，那時候跳進這個坑，至今樂此不疲，那時候我也是和學生一起在學深度學習、機器學習，有一些經驗也有一些教訓。我整體覺得對於學生來講，特別是做計算數學或者做應用數學的學生，很多時候可能要釋放一下思想，有些時候要勇敢一點，不要對嚴謹性有過度的執着。我覺得我們受數學訓練出來的人，都對嚴謹性有着不同程度的執念，這是學科特點，這種執念既是我們的優勢，有時也會是一個包袱。一般我們有一些想法，一定要能用嚴謹的邏輯推出來，證明了，然後纔敢去做數值實驗。但是，很多時候你推不出來，並不代表它真的推不出來，不能被證明，可能是你的假設過於嚴格，定理的設定不夠合理。所以，我給想去接觸機器學習的數學專業的學生一個建議是一定要大膽做嘗試，去學習一些機器學習裏面經常用到的一些你看起來覺得好像沒有什麼道理的Trick。我比較信奉的一個觀點，就是說“如果某個方法數值上有非常好的性能、能得到非常好的數值效果，背後一定有它的道理”，如果你發現了一些Work非常好的東西，再回來去分析它，用數學嚴格的論證。我覺得如果剛入手機器學習的話，首先要把機器學習的基礎學好了，可以看看MIT Press的那本Foundations of Machine Learning，要知道機器學習的問題是怎麼描述的，它關注的問題都是哪些，一些基本的概念到底是什麼，時刻想着這些概念和你學的數值分析、函數逼近、PDE之間到底有什麼聯繫。當你能夠把這些概念聯繫到你所學的科學計算的知識的時候，你不僅對這些概念的理解會更加深刻，甚至還能有科研上的一些新想法。

孫緯武：對於培養學生我從兩個角度講一講。一個角度是學生該怎麼學？首先學生要判斷: 我自己想要走科研的路, 還是想要掌握本領來跳進真實世界，在業界發展。兩條路都是非常有意義的。但是在學習的時候要注意的重點是有不同的。如果是作爲科研人員，以科研作爲目標的，把問題、把學習從深入的方向去走是首要的; 當然也需要有相當的普遍的認識，然後纔可以對大局有了解, 才能找到好的研究題目，但是首要還是要深入鑽研。如果想走的路是要解決真實世界的問題，從業界做出貢獻的話，我認爲廣比深更重要。原因其實我剛纔已經說過, 真實世界的問題常常牽涉很多方面，這些方面的集成纔是最大的挑戰, 你要和有其他專長的同事一起合作來解決這些問題, 你起碼要明白人家在說什麼、人家在想什麼，跟你一起想要解決的是什麼問題，他的痛點在哪裏，這些溝通、這些理解是解決真實問題非常重要的。沒有一個比較廣闊的知識背景, 就會連溝通也溝通不了。所以如果你是一個學生，將來想要跳進業界，首要的就是要有一個比較廣泛的知識基礎。當然也要建立自己的專長。

董彬：不只是業界，現在在學術圈，即便是在基礎數學內部也要跨學科。只掌握一門技術現在可能已經不太夠用了，在學術圈做得非常出色的學者、那些領軍人物，他們的知識面是非常廣的，能力也是非常多元的。

問題四：如何看待類腦計算和量子計算，它們會成爲科學計算的發展方向嗎？

楊超：我覺得無論是類腦計算還是量子計算，或者其他新型計算技術，目的都是輸出計算能力。從這個角度來說，哪項技術能夠真正實用化，哪項技術就可以被納入超級計算的範疇。目前來看，已經看到了不少曙光，現在已經有人把傳統的超算和類腦計算結合，也有人探索經典超算和量子計算結合的手段，這可能是未來一個趨勢。

問題五：下一個問題，亮盒子參數是怎麼變化的？它們變化的原理是什麼？

李若：這比較接近我們剛纔說的細節，原則上來說這相當於說我們想知道我們真的的解空間的低維流形到底怎麼參數化的問題。因爲時間關係我沒有辦法仔細跟大家講，我們之所以給一個後延誤差，具有什麼樣的意義。原則上如果我們能夠給定一個後延誤差，意味着我們可以對解流形本身一無所知，我們就通過我們到底犯了多少錯，不斷地加進新參數然後進行改進，然後逐漸可以獲得對真正解流形的一個更加好的逼近。在這個過程中我們就會了解到這些參數是什麼。這些參數將會不斷地從你所給的近似的流形，帶到方程裏的材料裏面去提取出來。我們可以通過觀察貨物到底是什麼樣的，然後拿到這些參數。

問題六：請明老師簡要介紹一下分子動力學模擬的原理和過程，它是怎樣模擬分子的複雜動力學的。其與分子真實動力學的相符程度如何？

明平兵：分子動力學從計算的角度來講，就是求解一個大型的非線性常微分方程組，但是和通常求解常微分方程組又有顯著的不同，它關注的是大量粒子的長時間系統平均量，而不是單個粒子的運動狀態。一般來說，只要模擬時間足夠長，粒子數足夠多的話，勢函數又足夠精確的話，分子動力學模擬結果總會趨於粒子的真實動力學。

問題七：下一個問題是給史作強老師，PDE刻劃以後用SD求解怎麼保證精確性，爲什麼不用SD直接刻劃呢？

史作強：一個是怎麼樣保持SDE的精度，一句話來回答，就是我們不太在乎它的精度。我們要記住我們現在要解決的問題是機器學習的問題，PDE對我們來講只是一個工具，沒有必要把PDE求解地非常高精度，用PDE建立數學模型本身有誤差，說不定這個誤差還是很大的，PDE求解的精度再高，精度高到一定程度沒有意義。另一方面在機器學習裏面對誤差的要求和傳統的科學計算裏面的對誤差的要求是不一樣的，傳統的科學計算裏面誤差是10的負的多少次方，傳統科學計算對精度的要求是很高的，恨不得達到機器無誤差的精度。但機器學習裏面完全不一樣，可能10%的誤差都已經非常令人滿意了。所以我們要看我們的問題是什麼。我們處理機器學習問題的時候，PDE只是一個工具，目的並不是精確地求解PDE，而是解決機器學習的那個問題，只要誤差能夠達到我們那個問題的要求就可以了。

第二個問題爲什麼不用SDE直接建模？我個人的背景是因爲我對PDE更熟悉一點，所以我們傾向於用PDE建模。如果提問的同學或者老師你更熟悉SDE，你完全可以用SDE建模，這個是沒有問題的，就看你個人背景，哪個領域你更熟悉，這是很開放的一個問題，機器學習你可以用各種各樣的角度去理解它，八仙過海各顯其能，你熟悉什麼就用什麼去解決它。

問題八：請問從事傳統的數值計算方法研究目前還有用武之地嗎？是否需要融入機器學習和人工智能？

李若：不管是做傳統的科學計算數值方法之類的研究，還是做現在熱門的機器學習方法的研究，但凡去做研究工作，那麼我們發展的是這個方法的本身。當然我們要用業界的角度來講，你去解決了一個問題，在業界你只需要做出來一個饅頭，這個饅頭就有它的價值。如果我們去發展方法，不管是哪個方面的方法，傳統的數值計算也好，還是新興的方向也好，你使得這個方法本身具有了新的能力，然後從中間獲得了新的理解，它都是你所做工作的貢獻，不用去說我所做的事情到底是不是有什麼用。有用與否很大程度上是一種和現實世界結合起來的某種價值判斷，做科研你還同時要追求人類知識發展永恆的價值，在這方面無論如何都會是有用的。

孫緯武：我聽到這個問題以及前面也問到量子計算、類腦計算這些，我的感覺是, 也許問問題的同學或者老師想問的是，現在哪裏是風口？哪一個方向是最容易飛起來的？我對這一點有一個建議，無論你是想要從事學術研究或者是從業界做出成績，最關鍵的不是去找風口，最關鍵的是找出做什麼事情、做什麼方向、做什麼研究是最能夠讓你興奮的。你如果是看到傳統數值計算能夠讓你興奮，你就鑽進去做，這樣你成功的機會遠比你找一個風口，想方設法飛起來，成功機會是大很多的。所以對於選什麼方向, 最要緊是什麼事情讓你自己最興奮, 最會廢寢忘餐。

董彬：非常認同。有些時候會有學生問我做這個事情有什麼意義，然後做出來了會怎麼怎麼樣，也有人問我你爲什麼做這個，有什麼意義。真的很難回答，一個包打天下的回答就是：做這個事兒好玩兒。不少重要的有影響力的工作，一開始就是純好奇心驅動的。好奇心可能不是唯一的驅動力，但是是非常重要的一個驅動力。如果你想不清楚到底是不是要入坑機器學習、人工智能，你就想想自己喜歡幹什麼就行了。我們在北大看到有很多學生，可能一開始聽說機器學習很火，嘗試了一下，但是回過頭來還是繼續做科學計算，計算數學問題，我覺得這個很好，大家要根據自己興趣來做自己感興趣的東西，如果你只是因爲它很火去做，很多時候不一定做得很好。

問題九：，請問國內在哪些人工智能方面比國外做得好？

董彬：我覺得至少人臉識別是一個，AI芯片，寒武紀至少是做的很領先的。

孫緯武：有一樣肯定比人家做得好的，就是對於中文的識別、中文的文意理解，做的肯定比外國好，但是這個好也不能說明什麼東西。

李若：我們都離應用好像比較遠。

董彬：但是至少可以講在科學計算+AI我們不比他們落後。

問題十：AI是用來建模的還是解方程的？是不是兩個都有？看你做的反問題正問題，老師們可以談一談看法。

明平兵：可以用AI解方程。AI可不可用來建模呢，這個也是可以的，比如有很多數據，當然這些數據要比較可信，然後從數據裏面從數據中學習某些規律、機制。這應該也是一個建模過程。所以應該說都可以。

李若：從我們概念上來講，建模和解方程這兩件事情似乎也沒有那麼大的區別。解方程也可以看成是建模，把一個微分方程模型最後變成代數模型，代數模型最後解出來，所有這個過程也可以看作是建模。

明平兵：我今天講的這個題目裏面，大家看到我經常用多尺度建模、多尺度計算、多尺度問題求解，這幾個基本上是不分的，正如李若老師講的一樣沒有什麼區別，都是理解現實世界、理解某個問題的一種方式。

董彬：從反問題建模角度來講，可以用AI做建模，比如觀測到一個動力學過程，我知道這裏面肯定有convection diffusion，也肯定還有一些別的東西不知道是什麼，你可以用機器學習來把那些不知道不確定的部分擬出來，如果你運氣好發現擬合部分具有某種新的較爲普世的規律，那你就成功的通過AI方式發現了一個新的原理。當然，以這種方式去發現新的原理是大海撈針，但至少可以通過這種方式做模型約簡。爲什麼又和解方程分不開呢？如果你建模了，怎麼知道這個模型準不準，肯定要去求解它，去和你手上的真實數據進行比對。做建模的時候要不停地解反問題、正問題，交替迭代，非常像神經網絡訓練，要前傳反傳，前傳看看匹不匹配數據，如果不匹配數據反傳再調節你的參數，建模和解方程是一體的，這是我的理解。

問題十一，科學計算的超參數能否用AI算法解決？

董彬：實際上是可以的，之前我也在跟科學計算的一些老師討論過，比如你在做一些求解大規模線性方程組，用代數多重網格方法去求解，會遇到算法中的smoother中超參數選取的問題，這是一個挺令人頭疼的事情，選擇好了性能提高很多，選擇不好了很影響效率。再比如圖像處理，以前的傳統做法總會有超參數，這個超參數最早就是一個數，但要做的更精緻一點，可以是一個場，那要怎麼調？要人工調真的很累，很多時候基於經驗，或者比較粗糙的假設。但這些都可以用機器學習的方法來解決，比如Meta-Learning中就有很多相關的工作來做超參數的自動選擇，這也是AutoML的一個重要環節。說得具體一點，比如你不知道如何選擇圖像反問題中的那個控制正則化的超參數λ，以前都是基於經驗手動調節，但是現在已經有了很多觀測的圖像以及處理好的高質量圖像，我們可以擬合一個神經網絡，讓網絡根據基於觀測數據自適應的去推斷最佳的λ。這個做法也符合我之前提到的機器學習和科學計算結合的思路，當你在設計的時候發現一些環節的設計比較憑手感、靠經驗，但同時有大量的數據的時候，可以用神經網絡來逼近這些環節，通過端到端訓練，把藏在數據中的未知的knowledge擬合成網絡來表達。