# 線性代數的深度學習 > 原文： [https://machinelearningmastery.com/linear-algebra-for-deep-learning/](https://machinelearningmastery.com/linear-algebra-for-deep-learning/) 線性代數是應用數學領域，是閱讀和理解深度學習方法的形式描述的先決條件，例如論文和教科書。 通常，對線性代數（或其部分）的理解被提出作為機器學習的先決條件。雖然很重要，但這個數學領域很少被計算機科學或軟件工程學位課程所覆蓋。 在他們關于深度學習的開創性教科書中，Ian Goodfellow 和其他人提出了涵蓋深度學習的先決條件數學概念的章節，包括關于線性代數的章節。 在這篇文章中，您將發現在深度學習的實際教科書中提出的線性代數中用于深度學習的速成課程。 閱讀這篇文章后，你會知道： * 這些主題是該領域專家深入學習的先決條件。 * 通過這些主題及其高潮的進展。 * 關于如何充分利用本章作為線性代數速成課程的建議。 讓我們開始吧。  用于深度學習的線性代數 照片由 [Quinn Dombrowski](https://www.flickr.com/photos/quinnanya/8107585313/) 拍攝，保留一些權利。 ## 深度學習先決條件 Ian Goodfellow，Yoshua Bengio 和 Aaron Courville 所著的“[深度學習](http://amzn.to/2BvnFRe)”是深度學習的事實教科書。 在本書中，作者提供了一個名為“_ 應用數學和機器學習基礎知識 _”的部分，旨在提供理解本書其余部分所介紹的深度學習材料所需的應用數學和機器學習的背景。 本書的這一部分包括四章;他們是： * 線性代數 * 概率論與信息論 * 數值計算 * 機器學習基礎 鑒于本書作者的專業知識，可以說，線性代數一章為深度學習提供了一套充分合理的先決條件，也許更普遍的是機器學習。 > 本書的這一部分介紹了理解深度學習所需的基本數學概念。 - 第 30 頁，[深度學習](http://amzn.to/2BvnFRe)，2016 年。 因此，我們可以使用線性代數章節中涵蓋的主題作為您可能希望作為深度學習和機器學習從業者所熟悉的主題的指南。 與其他類型的數學相比，線性代數不太可能被計算機科學課程所涵蓋，例如離散數學。這是作者特別提到的。 > 線性代數是數學的一個分支，廣泛應用于整個科學和工程領域。然而，由于線性代數是連續而非離散數學的一種形式，許多計算機科學家對它幾乎沒有經驗。 - 第 31 頁，[深度學習](http://amzn.to/2BvnFRe)，2016 年。 我們可以認為，本章中的主題也是以適合計算機科學畢業生的方式進行的，幾乎沒有事先曝光。 ## 線性代數主題 關于線性代數的章節分為 12 個部分。 作為第一步，將其用作高級路線圖非常有用。下面列出了本章的完整部分列表。 1. 標量，向量，矩陣和張量 2. 乘以矩陣和向量 3. 身份和逆矩陣 4. 線性依賴和跨度 5. 規范 6. 特殊種類的矩陣和向量 7. 特征分解 8. 奇異值分解 9. Moore-Penrose 偽逆 10. 跟蹤運算符 11. 行列式 12. 示例：主成分分析 枚舉每個部分所涵蓋的細節沒有太大價值，因為如果熟悉的話，主題大多是自我解釋的。 ## 通過概念進步 本章的閱讀展示了從最原始的（向量和矩陣）到主成分分析（稱為 PCA）的推導的概念和方法的進展，這是機器學習中使用的方法。 這是一個干凈的進展和精心設計。主題以文本描述和一致表示法呈現，允許讀者通過矩陣分解，偽逆和最終 PCA 確切地看到元素是如何組合在一起的。 重點是線性代數運算的應用而不是理論。雖然沒有給出任何操作的實例。 最后，PCA 的推導可能有點多。初學者可能想要跳過這個完整的推導，或者可能將其減少到整個章節中學到的一些元素的應用（例如，特征分解）。 我想要看到的一個領域是線性最小二乘法和使用各種矩陣代數方法來解決它，例如直接，LU，QR 分解和 SVD。這可能更像是一般的機器學習視角而不是深入的學習視角，我可以理解為什么它被排除在外。 ## 線性代數參考 如果需要進一步深入線性代數，作者還建議另外兩個文本來參考。 他們是： * [Matrix Cookbook](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=3274) ，Petersen 和 Pedersen，2006 年。 * [線性代數](http://amzn.to/2Bwipge)，Shilov，1977。 Matrix Cookbook 是一個免費的 PDF 文件，其中包含您可以設想的幾乎任何矩陣操作的符號和方程式。 > 這些頁面是關于矩陣和與之相關的事實的事實（身份，近似，不平等，關系......）的集合。它是以這種形式收集的，以方便任何想要快速桌面參考的人。 - 第 2 頁， [The Matrix Cookbook](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=3274) ，2006。 Georgi Shilov 的線性代數是一本經典且備受推崇的教科書，主題為本科生設計。 > 本書旨在作為數學和物理專業本科生的文本。 - 第 v 頁，[線性代數](http://amzn.to/2Bwipge)，1977。 ## 用作線性代數速成課程 如果您是一名機器學習從業者，希望將本章用作線性代數速成課程，那么我會提出一些建議，使這些主題更具體： * 使用 NumPy 函數在小型人為數據上實現 Python 中的每個操作。 * 在沒有 NumPy 函數的情況下在 Python 中手動實現每個操作。 * 將關鍵操作（例如分解方法（eigendecomposition 和 SVD）和 PCA）應用于從 CSV 加載的實際但小的數據集。 * 創建一個記譜表備忘錄，您可以將其用作快速參考。 * 研究并列出機器學習論文或文本中使用的每個操作/主題的示例。 你有沒有接受這些建議？ 在下面的評論中列出您的結果。 ## 進一步閱讀 如果您希望深入了解，本節將提供有關該主題的更多資源。 * [深度學習](http://amzn.to/2BvnFRe)，2016 年。 * [Matrix Cookbook](http://amzn.to/2Bwipge) ，Petersen 和 Pedersen，2006 年。 * [線性代數](http://amzn.to/2Bwipge)，Shilov，1977。 ## 摘要 在這篇文章中，您發現了在深度學習的事實教科書中提出的用于深度學習的線性代數速成課程。 具體來說，你學到了： * 這些主題是該領域專家深入學習的先決條件。 * 通過這些主題及其高潮的進展。 * 關于如何充分利用本章作為線性代數速成課程的建議。 您是否閱讀過深度學習書籍的這一章？你覺得怎么樣？ 請在下面的評論中告訴我。