資料 | 1800頁33章數學方法精要筆記 —深入數學建模, 機器學習和深度學習的數學基礎
本文轉載自: https://zhuanlan.zhihu.com/p/154059915
書籍免費下載地址: https://www.yanxishe.com/resourceDetail/1919?from=leiphonecolumn_res0709
1 書籍介紹 · · · · · ·
在信息爆炸的當今,大到企業巨頭的經營方向, 小到和日常生活相關的人工駕駛等領域,數學建模和人工智能都對信息數據的收集、處理、解釋以及做出決策將起到至關重要的作用。負責開發模型和算法的一線科學家和工程師, 都需要有堅實的數學基礎。相信有許多所有對數學建模,機器學習和深度學習深感興趣的小夥伴,有一定的基礎卻常常被繁雜的定理和錯綜的模型所困 —— 那麼這本書就是一部可供隨時查閱,幫助大家融會貫通的寶典。
本書有以下幾大亮點:
-
理論與實踐相結合,學以致用。內容詳盡,涵蓋範圍廣。
a. 全書乾貨多覆蓋範圍廣, 包含~100 個核心算法, 約 300 個示意圖。例子豐富,且絕大部分定理都有證明。
b. 本書凝聚了作者多年數學建模和機器學習研究和實戰經驗。根據應用領域, 本書總結並深入講述傳統方法到前沿的深度學習和強化學習算法,幫助讀者迅速抓住重點,減少彎路。
-
便於學習查找,由淺入深,步步爲營,多用示意圖以助讀者理解
a. 本書的算法和定理證明中常常引用相關的其他章節,循序漸進,有助於讀者建立樹狀知識脈絡,一網打盡相關知識點。
b. 本書例子詳實並多伴有示意圖,清晰易懂。作者基於多年實踐,總結並對易混淆的概念進行比對,幫助讀者更加紮實掌握相關內容。
全書 GitHub 地址: https://github.com/yangyutu/EssentialMath
全書總共 33 章分成六個部分:
-
Mathematical Foundations(數學基礎)
-
Mathematical Optimization Methods(數學優化方法)
-
Classical Statistical Methods(經典統計方法)
-
Dynamics Modeling Methods(動力系統建模方法)
-
Statistical Learning Methods(統計學習方法)
-
Optimal Control and Reinforcement Learning Methods(最優控制和強化學習方法)
作者對一些熱門章節進行章節歸類打包下載
-
Linear Algebra and Matrix Analysis
-
Mathematical Optimization
-
Probability and Statistical Estimation
-
Stochastic Process
-
Markov Chain and Random Walk
-
Linear Regression Analysis
-
Statistical Learning
-
Neural Network and Deep Learning
-
(Deep) Reinforcement Learning
整體目錄如下:
I Mathematical Foundations
-
Sets, Sequences and Series
-
Metric Space
-
Advanced Calculus
-
Linear Algebra and Matrix Analysis
-
Function Sequences, Series and Approximation
-
Basic Functional Analysis
II Mathematical Optimization Methods
-
Unconstrained Nonlinear Optimization
-
Constrained Nonlinear Optimization
-
Linear Optimization
-
Convex Analysis and Convex Optimization
-
Basic Game Theory
III Classical Statistical Methods
-
Probability Theory
-
Statistical Distributions
-
Statistical Estimation Theory
-
Multivariate Statistical Methods
-
Linear Regression Analysis
-
Monte Carlo Methods
IV Dynamics Modeling Methods
-
Models and estimation in linear systems
-
Stochastic Process
-
Stochastic Calculus
-
Markov Chain and Random Walk
-
Time Series Analysis
V Statistical Learning Methods
-
Supervised Learning Principles and Methods
-
Linear Models for Regression
-
Linear Models for Classification
-
Generative Models
-
K Nearest Neighbors
-
Tree Methods
-
Ensemble and Boosting Methods
-
Unsupervised Statistical Learning
-
Neural Network and Deep Learning
VI Optimal Control and Reinforcement Learning Methods
-
Classical Optimal Control Theory
-
Reinforcement Learning
-
Appendix: Supplemental Mathematical Facts
2 內容展示 · · · · · ·
2.1 線性代數篇
SVD (矩陣奇異值分解) 是線性代數中最重要工具之一, 經常在各類統計以及重要機器學習方法中出現。作者用如下圖示和定理對 SVD 的性質進行總結和證明。該證明簡潔扼要,且所用到的其它輔助定理與證明都在本書中 。作者使用一個圖示來分別指出 complete form SVD 和 compact form SVD 的結果和原矩陣的關係。
作者同時指出新手常混淆的一個知識點:
2.2 統計篇
多元高斯隨機變量 (multivariate random variable) 的 affine transformation 經常被用於證明高斯隨機變量的一系列重要性質(比如加和, 條件等)。本書首先給出用矩函數對此定理的證明。
然後本書給出此定理在多元高斯隨機變量加和中的應用。值得一提的是, 作者用腳註強調 jointly normal 這一重要條件。
2.3 機器學習篇
在機器學習的線性分類模型中,三種常見模型 SVM, logistic regression 和 Perceptron learning 可以統一在同一個數學優化框架下,每種方法對應不同的 loss function。作者對如何把這三種模型轉化成同一個框架進行了詳細的闡述和證明。
2.4 強化學習篇
Value iteration 值迭代是強化學習的基石型定理之一,然而目前很多教材資料中並沒有給出證明。
本書通過 contraction mapping 和 fixed point theorem 得出簡明的證明。contraction mapping 和 fixed point theorem 的知識點則在在本書 Part I 有詳細介紹。
之後作者給出基於 value iteration 的算法。
3 作者心得體會 · · · · · ·
這本書來源於我在美國攻讀博士期間上的上課筆記。當時爲了解決科研中 一些難題, 上了大量計算機和數學課。筆記由一開始的零零散散,到後來漸成規模。我真正開始系統性地整理成書是受到如下一句話的啓發:
If you want to learn something, read about it. If you want to understand something, write about it. If you want to master something, teach it.
我逐漸搭建本書的框架,將學習筆記的內容在框架下進行整合,把最核心的知識點提煉出來。隨着我的科研領域從最初的計算物理建模到現在的微型機器人系統的多智體強化學習,本書的內容也從傳統應用數學和統計擴展到前沿的深度學習和人工智能方法 。在寫書的過程中,我能感受到自己的知識體系越發完備,且系統性的學習和研究對於理論難點的掌握,以及跨領域的應用都有着至關重要的作用。
我希望將自己的書和心得體會分享給大家。無論是能夠爲志同道合的小夥伴們解答一些疑惑,還是幫助希望入門的朋友” 打通任督二脈 “,或者是給同在科研戰線上奮鬥的同志一些靈感,我都會非常開心。
開源項目地址: https://github.com/yangyutu/EssentialMath
開源項目作者:Yuguang Yang
補充說明 · · · · · ·
本站所有資源版權均屬於原作者所有,這裏所提供資源均只能用於參考學習用,請勿直接商用。如需刪除,請聯繫 [email protected]
AI 研習社已經和阿里大文娛、曠視、搜狗搜索、小米等知名公司達成聯繫,幫助大家更好地求職找工作,一鍵投遞簡歷至 HR 後臺,準備了一些內推渠道羣。
歡迎大家添加研習社小學妹微信(aiyanxishe),小學妹拉你加入(備註求職)。
雷鋒網雷鋒網 (公衆號:雷鋒網) 雷鋒網
相關文章:
資料 | 算法(第4版)【圖靈程序設計叢書】算法領域的經典參考書
資料 | 《人工智能編程範式:通用Lisp中的案例研究》1048頁PDF免費下載
資料 | Yann LeCun「人工智能發展的挑戰在於無監督學習」原版演講PPT
資料 | 【復旦大學邱錫鵬老師】面向自然語言處理的深度學習基礎,199頁ppt
資料 | 科技之巔:《麻省理工科技評論》50大全球突破性技術深度剖析
雷鋒網版權文章,未經授權禁止轉載。詳情見 轉載須知 。