# 用于編碼器審查的計算線性代數 > 原文： [https://machinelearningmastery.com/computational-linear-algebra-coders-review/](https://machinelearningmastery.com/computational-linear-algebra-coders-review/) 數值線性代數關注在具有實際數據的計算機中實現和執行矩陣運算的實際意義。 這是一個需要先前線性代數經驗的領域，并且重點關注操作的表現和精度。 fast.ai 公司發布了一個名為“_ 計算線性代數 _”的免費課程，主題是數字線性代數，包括舊金山大學錄制的 Python 筆記本和視頻講座。 在這篇文章中，您將發現計算線性代數的 fast.ai 免費課程。 閱讀這篇文章后，你會知道： * 課程的動機和先決條件。 * 課程中涵蓋的主題概述。 * 這門課程究竟適合誰，不適合誰。 讓我們開始吧。  用于編碼器審查的計算線性代數 照片由 [Ruocaled](https://www.flickr.com/photos/ruocaled/6330547994/) ，保留一些權利。 ## 課程大綱 課程“_ 編碼器計算線性代數 _”是由 fast.ai 提供的免費在線課程。他們是一家致力于提供與深度學習相關的免費教育資源的公司。 該課程最初由舊金山大學的 [Rachel Thomas](https://www.linkedin.com/in/rachel-thomas-942a7923/) 于 2017 年授課，作為碩士學位課程的一部分。 Rachel Thomas 是舊金山大學的教授，也是 [fast.ai](http://www.fast.ai/) 的聯合創始人，擁有博士學位。在數學方面。 該課程的重點是線性代數的數值方法。這是矩陣代數在計算機上的應用，并解決了實現和使用方法（如表現和精度）的所有問題。 > 本課程的重點是：我們如何以可接受的速度和可接受的準確度進行矩陣計算？ 本課程使用 Python 作為使用 NumPy，scikit-learn，numba，pytorch 等的示例。 這些材料使用自上而下的方法進行教學，就像 [MachineLearningMastery](https://machinelearningmastery.com/machine-learning-for-programmers/) 一樣，旨在讓人們了解如何做事，然后再解釋這些方法的工作原理。 > 了解如何實施這些算法將使您能夠更好地組合和利用它們，并使您可以根據需要自定義它們。 ## 課程先決條件和參考 該課程確實假設熟悉線性代數。 這包括諸如向量，矩陣，諸如矩陣乘法和變換之類的操作之類的主題。 該課程不適用于線性代數領域的新手。 如果您是新的或生銹的線性代數，建議您在參加課程之前查看三個參考文獻。他們是： * [3Blue 1Brown 線性代數本質](https://www.youtube.com/playlist?list=PLZHQObOWTQDPD3MizzM2xVFitgF8hE_ab)，視頻課程 * [沉浸式線性代數](http://immersivemath.com/ila/)，交互式教科書 * [深度學習第 2 章](http://www.deeplearningbook.org/contents/linear_algebra.html)，2016 年。 此外，在完成課程的過程中，根據需要提供參考。 預先提出了兩個一般參考文本。它們是以下教科書： * [數值線性代數](http://amzn.to/2CNOgZp)，1997。 * [數值方法](http://amzn.to/2CNfSxE)，2012。 ## 課程比賽 本節概述了課程的 8（9）部分。他們是： * 0.課程物流 * 我們為什么來這里？ * 2.使用 NMF 和 SVD 進行主題建模 * 3.使用強大的 PCA 去除背景 * 4.具有魯棒回歸的壓縮感知 * 5.使用線性回歸預測健康結果 * 6.如何實現線性回歸 * 7.具有特征分解的 PageRank * 8.實現 QR 分解 實際上，課程只有 8 個部分，因為第一部分是參加舊金山大學課程的學生的管理細節。 ## 講座細分 在本節中，我們將逐步介紹課程的 9 個部分，并總結其內容和主題，讓您對所期待的內容有所了解，并了解它是否適??合您。 ### 第 0 部分。課程后勤 第一堂課不是課程的一部分。 它介紹了講師，材料，教學方式以及學生對碩士課程的期望。 > 我將使用自上而下的教學方法，這與大多數數學課程的運作方式不同。通常，在自下而上的方法中，您首先要學習將要使用的所有單獨組件，然后逐漸將它們構建為更復雜的結構。這方面的問題是學生經常失去動力，沒有“大局”感，也不知道他們需要什么。 本講座涉及的主題是： * 講師背景 * 教學方法 * 技術寫作的重要性 * 優秀技術博客列表 * 線性代數評論資源 視頻和筆記本： * [計算線性代數 1：矩陣數學，精度，記憶，速度和＆amp;并行化](https://www.youtube.com/watch?v=8iGzBMboA0I&index=1&list=PLtmWHNX-gukIc92m1K0P6bIOnZb-mg0hY) * [筆記本](https://nbviewer.jupyter.org/github/fastai/numerical-linear-algebra/blob/master/nbs/0.%20Course%20Logistics.ipynb) ### 第 1 部分。為什么我們在這里？ 本部分介紹了本課程的動機，并介紹了矩陣分解的重要性：這些計算的表現和準確性以及一些示例應用程序的重要性。 > 矩陣無處不在，任何可以放在 Excel 電子表格中的東西都是矩陣，語言和圖片也可以表示為矩陣。 本講中提出的一個重點是，如何將整類矩陣分解方法和一種特定方法（QR 分解）報告為 20 世紀[十大最重要算法之一](http://www.cs.fsu.edu/~lacher/courses/COT4401/notes/cise_v2_i1/index.html)。 > 20 世紀十大科學與工程算法列表包括：線性代數的矩陣分解方法。它還包括 QR 算法 The topics covered in this lecture are: * 矩陣和張量積 * 矩陣分解 * 準確性 * 內存使用 * 速度 * 并行化＆amp;向量 Videos and Notebook: * [計算線性代數 1：矩陣數學，精度，記憶，速度和＆amp;并行化](https://www.youtube.com/watch?v=8iGzBMboA0I&index=1&list=PLtmWHNX-gukIc92m1K0P6bIOnZb-mg0hY) * [筆記本](http://nbviewer.jupyter.org/github/fastai/numerical-linear-algebra/blob/master/nbs/1.%20Why%20are%20we%20here.ipynb) ### 第 2 部分。使用 NMF 和 SVD 進行主題建模 本部分重點介紹矩陣分解在文本主題建模應用中的應用，特別是奇異值分解方法或 SVD。 在這一部分中有用的是從頭開始或與 NumPy 和 scikit-learn 庫計算方法的比較。 > 主題建模是開始使用矩陣分解的好方法。 The topics covered in this lecture are: * 主題頻率 - 逆文檔頻率（TF-IDF） * 奇異值分解（SVD） * 非負矩陣分解（NMF） * 隨機梯度下降（SGD） * PyTorch 介紹 * 截斷 SVD Videos and Notebook: * [計算線性代數 2：主題建模與 SVD＆amp; NMF](https://www.youtube.com/watch?v=kgd40iDT8yY&list=PLtmWHNX-gukIc92m1K0P6bIOnZb-mg0hY&index=2) * [計算線性代數 3：回顧，關于 NMF 的新觀點，＆amp;隨機 SVD](https://www.youtube.com/watch?v=C8KEtrWjjyo&index=3&list=PLtmWHNX-gukIc92m1K0P6bIOnZb-mg0hY) * [筆記本](http://nbviewer.jupyter.org/github/fastai/numerical-linear-algebra/blob/master/nbs/2.%20Topic%20Modeling%20with%20NMF%20and%20SVD.ipynb) ### 第 3 部分。使用強大的 PCA 去除背景 本部分重點介紹使用特征分解和多變量統計的主成分分析方法（PCA）。 重點是在圖像數據上使用 PCA，例如將背景與前景分離以隔離變化。這部分還從頭開始介紹 LU 分解。 > 在處理高維數據集時，我們經常利用數據具有低內在維度的事實，以減輕維度和規模的詛咒（可能它位于低維子空間或位于低維流形上）。 The topics covered in this lecture are: * 加載和查看視頻數據 * SVD * 主成分分析（PCA） * L1 Norm 引起稀疏性 * 強大的 PCA * LU 分解 * LU 的穩定性 * 使用 Pivoting 進行 LU 分解 * 高斯消除的歷史 * 塊矩陣乘法 Videos and Notebook: * [計算線性代數 3：回顧，關于 NMF 的新觀點，＆amp;隨機 SVD](https://www.youtube.com/watch?v=C8KEtrWjjyo&index=3&list=PLtmWHNX-gukIc92m1K0P6bIOnZb-mg0hY) * [計算線性代數 4：隨機 SVD＆amp;強大的 PCA](https://www.youtube.com/watch?v=Ys8R2nUTOAk&index=4&list=PLtmWHNX-gukIc92m1K0P6bIOnZb-mg0hY) * [計算線性代數 5：強大的 PCA＆amp; LU 分解](https://www.youtube.com/watch?v=O2x5KPJr5ag&list=PLtmWHNX-gukIc92m1K0P6bIOnZb-mg0hY&index=5) * [筆記本](https://nbviewer.jupyter.org/github/fastai/numerical-linear-algebra/blob/master/nbs/3.%20Background%20Removal%20with%20Robust%20PCA.ipynb) ### 第 4 部分。具有魯棒回歸的壓縮感知 這部分介紹了 NumPy 陣列（和其他地方）中使用的廣播的重要概念以及在機器學習中出現很多的稀疏矩陣。 該部分的應用重點是使用強大的 PCA 在 CT 掃描中去除背景。 > 術語廣播描述了在算術運算期間如何處理具有不同形狀的陣列。 Numpy 首先使用廣播一詞，但現在用于其他庫，如 Tensorflow 和 Matlab;規則因庫而異。 The topics covered in this lecture are: * 廣播 * 稀疏矩陣 * CT 掃描和壓縮感知 * L1 和 L2 回歸 Videos and Notebook: * [計算線性代數 6：Block Matrix Mult，Broadcasting，＆amp;稀疏存儲](https://www.youtube.com/watch?v=YY9_EYNj5TY&list=PLtmWHNX-gukIc92m1K0P6bIOnZb-mg0hY&index=6) * [計算線性代數 7：CT 掃描的壓縮感知](https://www.youtube.com/watch?v=ZUGkvIM6ehM&list=PLtmWHNX-gukIc92m1K0P6bIOnZb-mg0hY&index=7) * [筆記本](http://nbviewer.jupyter.org/github/fastai/numerical-linear-algebra/blob/master/nbs/4.%20Compressed%20Sensing%20of%20CT%20Scans%20with%20Robust%20Regression.ipynb#4.-Compressed-Sensing-of-CT-Scans-with-Robust-Regression) ### 第 5 部分。使用線性回歸預測健康結果 本部分重點介紹用 scikit-learn 演示的線性回歸模型的開發。 Numba 庫也用于演示如何加速所涉及的矩陣操作。 > 我們想加快速度。我們將使用 Numba，一個直接將代碼編譯到 C 的 Python 庫。 The topics covered in this lecture are: * sklearn 中的線性回歸 * 多項式特征 * 加速 Numba * 正規化與噪聲 Videos and Notebook: * [計算線性代數 8：Numba，多項式特征，如何實現線性回歸](https://www.youtube.com/watch?v=SjX55V8zDXI&index=8&list=PLtmWHNX-gukIc92m1K0P6bIOnZb-mg0hY) * [筆記本](http://nbviewer.jupyter.org/github/fastai/numerical-linear-algebra/blob/master/nbs/5.%20Health%20Outcomes%20with%20Linear%20Regression.ipynb) ### 第 6 部分。如何實現線性回歸 本部分介紹如何使用一套不同的矩陣分解方法求解線性回歸的線性最小二乘法。將結果與 scikit-learn 中的實現進行比較。 > 數值分析師推薦通過 QR 進行線性回歸作為多年來的標準方法。它自然，優雅，適合“日常使用”。 The topics covered in this lecture are: * Scikit Learn 是如何做到的？ * 樸素的解決方案 * 正規方程和 Cholesky 分解 * QR 分解 * SVD * 時間比較 * 調節＆amp;穩定性 * 完全與減少的因子分解 * 矩陣反轉是不穩定的 Videos and Notebook: * [計算線性代數 8：Numba，多項式特征，如何實現線性回歸](https://www.youtube.com/watch?v=SjX55V8zDXI&index=8&list=PLtmWHNX-gukIc92m1K0P6bIOnZb-mg0hY) * [筆記本](http://nbviewer.jupyter.org/github/fastai/numerical-linear-algebra/blob/master/nbs/6.%20How%20to%20Implement%20Linear%20Regression.ipynb) ### 第 7 部分。具有特征分解的 PageRank 本部分介紹了特征分解以及 PageRank 算法在 Wikipedia 鏈接數據集中的實現和應用。 > QR 算法使用稱為 QR 分解的東西。兩者都很重要，所以不要讓他們感到困惑。 The topics covered in this lecture are: * SVD * DBpedia 數據集 * 動力法 * QR 算法 * 尋找特征值的兩階段方法 * Arnoldi Iteration Videos and Notebook: * [計算線性代數 9：具有特征分解的 PageRank](https://www.youtube.com/watch?v=AbB-w77yxD0&list=PLtmWHNX-gukIc92m1K0P6bIOnZb-mg0hY&index=9) * [計算線性代數 10：QR 算法查找特征值，實現 QR 分解](https://www.youtube.com/watch?v=1kw8bpA9QmQ&index=10&list=PLtmWHNX-gukIc92m1K0P6bIOnZb-mg0hY) * [筆記本](http://nbviewer.jupyter.org/github/fastai/numerical-linear-algebra/blob/master/nbs/7.%20PageRank%20with%20Eigen%20Decompositions.ipynb) ### 第 8 部分。實現 QR 分解 最后一部分介紹了從頭開始實現 QR 分解的三種方法，并比較了每種方法的精度和表現。 > 我們在計算特征值時使用 QR 分解并計算最小二乘回歸。它是數值線性代數中的重要組成部分。 The topics covered in this lecture are: * 格拉姆 - 施密特 * 住戶 * 穩定性例子 Videos and Notebook: * [計算線性代數 10：QR 算法查找特征值，實現 QR 分解](https://www.youtube.com/watch?v=1kw8bpA9QmQ&index=10&list=PLtmWHNX-gukIc92m1K0P6bIOnZb-mg0hY) * [筆記本](http://nbviewer.jupyter.org/github/fastai/numerical-linear-algebra/blob/master/nbs/8.%20Implementing%20QR%20Factorization.ipynb) ## 評論課程 我覺得這個課程很棒。 一個有趣的數值線性代數步驟，重點是應用程序和可執行代碼。 該課程承諾關注矩陣操作的實際問題，如記憶，速度，精度或數值穩定性。本課程首先仔細研究浮點精度和溢出問題。 在整個過程中，經常在方法之間根據執行速度進行比較。 ### 如果......不要參加這個課程 本課程不是開發人員對線性代數的介紹，如果這是預期，你可能會落后。 該課程確實假設了線性代數，符號和操作的基礎知識的合理流暢性。它并沒有預先隱藏這個假設。 如果您對深度學習感興趣或者更多地了解深度學習方法中使用的線性代數運算，我認為這門課程不是必需的。 ### 參加這門課程，如果...... 如果您正在自己的工作中實現矩陣代數方法，并且您希望從中獲得更多，我強烈推薦這門課程。 如果您通常對矩陣代數的實際意義感興趣，我也會推薦這門課程。 ## 進一步閱讀 如果您希望深入了解，本節將提供有關該主題的更多資源。 ### 課程 * [新的 fast.ai 課程：計算線性代數](http://www.fast.ai/2017/07/17/num-lin-alg/) * [GitHub 上的計算線性代數](https://github.com/fastai/numerical-linear-algebra/blob/master/README.md) * [計算線性代數視頻講座](https://www.youtube.com/playlist?list=PLtmWHNX-gukIc92m1K0P6bIOnZb-mg0hY) * [社區論壇](http://forums.fast.ai/c/lin-alg) ### 參考 * [3Blue 1Brown 線性代數本質，視頻課程](https://www.youtube.com/playlist?list=PLZHQObOWTQDPD3MizzM2xVFitgF8hE_ab) * [沉浸式線性代數，交互式教科書](http://immersivemath.com/ila/) * [深度學習第 2 章](http://www.deeplearningbook.org/contents/linear_algebra.html) * [數值線性代數](http://amzn.to/2CNOgZp)，1997。 * [數值方法](http://amzn.to/2CNfSxE)，2012。 ## 摘要 在這篇文章中，您發現了計算線性代數的 fast.ai 免費課程。 具體來說，你學到了： * 課程的動機和先決條件。 * 課程中涵蓋的主題概述。 * 這門課程究竟適合誰，不適合誰。 你有任何問題嗎？ 在下面的評論中提出您的問題，我會盡力回答。