# 機器學習的線性代數 > 原文： [https://machinelearningmastery.com/linear-algebra-machine-learning/](https://machinelearningmastery.com/linear-algebra-machine-learning/) 在開始機器學習之前，您不需要學習線性代數，但在某些時候您可能希望深入學習。 事實上，如果有一個數學領域，我會建議在其他領域之前進行改進，那就是線性代數。它將為您提供工具，幫助您理解和建立更好的機器學習算法直覺所需的其他數學領域。 在這篇文章中，我們仔細研究線性代數，以及為什么你應該花時間提高線性代數的技能和知識，如果你想從機器學習中獲得更多。 如果您已經了解了特征向量和 SVD 分解的方法，那么這篇文章可能不適合您。 [](https://3qeqpr26caki16dnhd19sv6by6v-wpengine.netdna-ssl.com/wp-content/uploads/2014/12/Linear-Algebra-For-Machine-Learning.jpg) 用于機器學習的線性代數 照片由 [Sarah](http://www.flickr.com/photos/dichohecho/4456332671) 拍攝，保留一些權利。 ## 什么是線性代數 線性代數是數學的一個分支，它可以讓您簡明地描述更高維度的平面的坐標和相互作用，并對它們執行操作。 將其視為代數（處理未知數）到任意數量維度的擴展。線性代數是關于線性方程組的工作（線性回歸就是一個例子：y = Ax）。我們不是使用標量，而是開始使用矩陣和向量（向量實際上只是一種特殊類型的矩陣）。 > 廣義地說，在線性代數中，數據以線性方程的形式表示。這些線性方程又以矩陣和向量的形式表示。 - Vignesh Natarajan 回答問題“[機器學習中如何使用線性代數？](https://www.quora.com/How-is-Linear-Algebra-used-in-Machine-Learning) “ 作為一個領域，它對您有用，因為您可以使用線性代數中的符號和形式來描述（甚至使用正確的庫執行）機器學習中使用的復雜操作。 > 線性代數得到廣泛應用，因為它通常非常好地并行化。此外，大多數線性代數操作可以在沒有消息傳遞的情況下實現，這使得它們適合 MapReduce 實現。 - Raphael Cendrillon 回答“[為什么線性代數是現代科學/計算研究背后的先決條件？](https://www.quora.com/Why-is-Linear-Algebra-a-prerequisite-behind-modern-scientific-computational-research) “ 有關維基百科的線性代數的更多信息： * [維基百科上的線性代數](http://en.wikipedia.org/wiki/Linear_algebra) * [維基百科上的線性代數類別](http://en.wikipedia.org/wiki/Category:Linear_algebra) * [線性代數維基百科上的主題列表](http://en.wikipedia.org/wiki/List_of_linear_algebra_topics) ## 機器學習的最小線性代數 線性代數是一個基礎領域。我的意思是，其他數學分支使用符號和形式來表達與機器學習相關的概念。 例如，當您想要在優化損失函數時討論函數導數時，需要使用矩陣和向量進行微積分。當你想談論統計推斷時，它們也被用于概率。 > ......它在數學中無處不在，所以你會發現它在任何使用數學的地方使用...... - 大衛喬伊斯，回答問題“[線性代數有什么意義？](http://www.quora.com/What-is-the-point-of-linear-algebra) “ 如果我要說服你學習最少的線性代數來提高你的機器學習能力，那將是以下 3 個主題： * **符號**：知道符號將讓您閱讀論文，書籍和網站中的算法描述，以了解正在發生的事情。即使你使用 for 循環而不是矩陣運算，至少你可以將事物拼湊在一起。 * **操作**：在向量和矩陣的下一級抽象中工作可以使事情更清晰。這可以應用于描述，編碼甚至思考。學習如何進行或應用簡單的操作，如添加，乘法，反轉，轉置等矩陣和向量。 * **矩陣分解**：如果有一個更深的區域，我建議潛入任何其他區域，它將是矩陣分解，特別是基質沉積方法，如 SVD 和 QR。計算機的數值精度是有限的，使用分解矩陣可以避免可能導致的大量上溢/下溢瘋狂。此外，使用庫快速 LU，SVD 或 QR 分解將為您的回歸問題提供一個普通的最小二乘法。機器學習和統計的床巖。 如果你知道一些線性代數并且不同意我的最小列表，請發表評論。我很想聽聽你的 3 分鐘主題。 > 如果你想深入了解這一切的理論，你需要知道線性代數。如果您想閱讀白皮書并考慮最先進的新算法和系統，您需要了解大量的數學知識。 - Jesse Reiss 回答問題“[線性代數在計算機科學中有多重要？](https://www.quora.com/How-important-is-linear-algebra-in-computer-science) “ ## 提高線性代數的 5 個理由 當然，我不希望你停下來。我希望你更深入一點。 如果你需要了解更多并且變得更好并不能激勵你走上正軌，那么有五個理由可以幫助你實現這一目標。 1. **Building Block** ：讓我再說一遍。線性代數絕對是理解機器學習中所需的微積分和統計數據的關鍵。更好的線性代數將全面提升你的游戲。認真。 2. **更深層次的直覺**：如果您能夠理解向量和矩陣層面的機器學習方法，那么您將提高對工作方式和時間的直覺。 3. **從算法中獲取更多信息**：對算法及其約束的更深入理解將允許您自定義其應用程序并更好地理解調整參數對結果的影響。 4. **從零開始實施算法**：您需要了解線性代數，從頭開始實現機器學習算法。至少要閱讀算法描述，最多有效地使用提供向量和矩陣運算的庫。 5. **設計新算法**：線性代數的符號和工具可以直接在 Octave 和 MATLAB 等環境中使用，使您可以非常快速地對現有算法和全新方法進行原型修改。 無論您喜歡與否，線性代數都會在您的機器學習過程中占據重要位置。 ## 3 個視頻課程學習線性代數 如果您希望增強線性代數，可以從三個選項開始。 這些是我發現并最近經歷的視頻課程和講座，為這篇文章做準備。我發現每個人都適合不同的觀眾。 我會在兩倍的時間內觀看所有視頻，并以所有這些來源肆意推薦它。另外，做筆記。 ### 1.線性代數復習 這是您應該熟悉的線性代數主題的快速提示。這適用于那些在拼貼中使用線性代數并且正在尋找提醒而不是教育的人。 <iframe allow="autoplay; encrypted-media" allowfullscreen="" frameborder="0" height="375" src="https://www.youtube.com/embed/ZumgfOei0Ak?feature=oembed" width="500"></iframe> 該視頻的標題為“[線性代數用于機器學習](https://www.youtube.com/watch?v=ZumgfOei0Ak)”，由 Patrick van der Smagt 使用倫敦大學拼貼畫的幻燈片創建。 ### 2.線性代數速成課程 第二個選項是線性代數速成課程，作為課程機器學習課程 [第 1 周的可選模塊。](https://class.coursera.org/ml-005/lecture/preview) 這適用于可能較少或根本不熟悉線性代數并正在尋找主題的第一個引導程序的工程師或程序員。 它包含 6 個短視頻，您可以在此處訪問名為“[機器學習 - 03.線性代數評論](https://www.youtube.com/playlist?list=PLnnr1O8OWc6boN4WHeuisJWmeQHH9D_Vg)”的 YouTube 播放列表。 <iframe allow="autoplay; encrypted-media" allowfullscreen="" frameborder="0" height="281" src="https://www.youtube.com/embed/videoseries?list=PLnnr1O8OWc6boN4WHeuisJWmeQHH9D_Vg" width="500"></iframe> 涵蓋的主題包括： 1. 矩陣和向量 2. 加法和標量乘法 3. 矩陣向量乘法 4. 矩陣矩陣乘法 5. 矩陣乘法屬性 6. 反轉和轉置 ### 3.線性代數課程 第三種選擇是完成線性代數的完整入門課程。緩慢的磨礪讓整個領域成為你的頭腦。 我推薦可汗學院上的[線性代數流。](https://www.khanacademy.org/math/linear-algebra) 太奇妙了。不僅寬度令人印象深刻，而且它提供了現場檢查問題，但 Sal 是一個很好的溝通者，直接切入材料的應用方面。比我參加的任何大學課程都要好得多。 Sal 的課程分為 3 個主要模塊： * 向量空間 * 矩陣變換 * 替代坐標系（基地） 每個模塊包含 5-7 個子模塊，每個子模塊包含 2-7 個視頻或問題集，范圍為 5-25 分鐘（雙倍時間更快！）。 這是偉大的材料和低燒傷，我建議做所有這些，也許在周末狂歡。 ### 更多資源學習線性代數 如果您正在尋找更一般的建議，請查看問題的答案“[我如何自學線性代數？](http://www.quora.com/How-can-I-self-study-Linear-Algebra) “。這里有一些真正的寶石。 ## 編程線性代數 作為程序員或工程師，您可能會做得最好。我知道我這樣做。 因此，您可能希望獲取編程環境或庫，并開始使用測試數據編碼矩陣乘法，SVD 和 QR 分解。 以下是您可能想要考慮的一些選項。 * [Octave](https://www.gnu.org/software/octave/) ：Octave 是 MATLAB 的開源版本，對于大多數操作來說，它們是等效的。這些平臺是為線性代數而構建的。這就是他們所做的，他們做得非常好。他們很高興使用。 * [R](http://www.statmethods.net/advstats/matrix.html) ：它可以做 t，但它不如 Octave 漂亮。看看這個方便的報告：“ [R](http://bendixcarstensen.com/APC/linalg-notes-BxC.pdf) 線性代數簡介”（PDF） * [SciPy numpy.linalg](http://docs.scipy.org/doc/numpy/reference/routines.linalg.html) ：如果您是一名具有干凈語法并可訪問所需操作的 Python 程序員，那么簡單而有趣。 * [BLAS](http://www.netlib.org/blas/) ：基本線性代數子程序，如乘法，逆等。以大多數編程語言移植或提供。 * [LAPACK](http://www.netlib.org/lapack/) ：線性代數庫， [LINPACK](http://www.netlib.org/linpack/) 的后繼者。各種矩陣因子分解等的地方。像 BLAS 一樣，移植或可用于大多數編程語言。 還有一個新的 Coursera 課程名為“[編碼矩陣：線性代數通過計算機科學應用程序](https://www.coursera.org/course/matrix)”作者 Philip Klein 也有一本同名的書“[編碼矩陣：線性代數通過應用程序到計算機科學](http://www.amazon.com/dp/0615880991?tag=inspiredalgor-20)“。如果您是一名 Python 程序員并希望增強線性代數，那么這可能值得一看。 ## 線性代數書籍 我從應用的例子中學到了很多，但我也讀了很多。如果你像我一樣，你會想要一個好的教科書，以防萬一。 本節列出了一些適合初學者的線性代數頂級教科書。 ### 基金會 這是一本初學教科書，涵蓋了線性代數的基礎。對于參加可汗學院的課程，要么是一個很好的恭維。 * [線性代數](http://www.amazon.com/dp/0387962050?tag=inspiredalgor-20)簡介 Serge Lang。 * [Gilbert Strang 介紹線性代數](http://www.amazon.com/dp/0980232716?tag=inspiredalgor-20) ### 應用的 這些書更傾向于線性代數的應用。 * [Lloyd Trefethen 的數值線性代數](http://www.amazon.com/dp/0898713617?tag=inspiredalgor-20)。 * [線性代數及其應用](http://www.amazon.com/dp/0030105676?tag=inspiredalgor-20)，Gilbert Strang。 * [Matrix Computations](http://www.amazon.com/dp/1421407949?tag=inspiredalgor-20) 由 Gene Golub 和 Charles Van Loan 撰寫 我非常喜歡后一本書“Matrix Computation”，因為它為您提供了理論和算法偽代碼的片段。非常酷的數學家和我的編程人。如果你想從頭開始自己實現這些程序（而不是使用庫），這可能就是你的書。 有關線性代數的優秀初學者書籍的更多建議，請查看：[學習線性代數的最佳書籍是什么？](http://www.quora.com/What-is-the-best-book-for-learning-Linear-Algebra) ## 摘要 在這篇文章中，您已經了解了線性代數及其在機器學習中的重要作用（以及更廣泛的數學）。您還注意到要查看的最小線性代數。 我們提到了三個可以用來學習線性代數，復習，速成課程或更深入視頻課程的選項，現在都可以免費使用。如果您想深入了解，我們還會查看有關該主題的頂級教科書。 我希望這引起了你對線性代數變得更好的重要性和力量的興趣。選擇一個資源并閱讀/觀察完成。采取下一步措施，提高您對機器學習的理解。 **更新**：這篇文章的 [Reddit 討論](http://www.reddit.com/r/MachineLearning/comments/2q7152/linear_algebra_for_machine_learning/)中提到的另外兩個高質量資源是[線性代數完成權](http://www.amazon.com/dp/0387982582?tag=inspiredalgor-20) Axler 和[上的麻省理工學院開放課件課程]線性代數](http://ocw.mit.edu/courses/mathematics/18-06sc-linear-algebra-fall-2011/index.htm)由 Gilbert Strang 教授（上面提到的一些書的作者）。