1. 監督學習 · sklearn中文文檔

# 1. 監督學習 - [1.1. 廣義線性模型](modules/linear_model.html) - [1.1.1. 普通最小二乘法](modules/linear_model.html#ordinary-least-squares) - [1.1.1.1. 普通最小二乘法復雜度](modules/linear_model.html#id5) - [1.1.2. 嶺回歸](modules/linear_model.html#ridge-regression) - [1.1.2.1. 嶺回歸的復雜度](modules/linear_model.html#id11) - [1.1.2.2. 設置正則化參數：廣義交叉驗證](modules/linear_model.html#id12) - [1.1.3. Lasso](modules/linear_model.html#lasso) - [1.1.3.1. 設置正則化參數](modules/linear_model.html#id14) - [1.1.3.1.1. 使用交叉驗證](modules/linear_model.html#id15) - [1.1.3.1.2. 基于信息標準的模型選擇](modules/linear_model.html#id18) - [1.1.3.1.3. 與 SVM 的正則化參數的比較](modules/linear_model.html#svm) - [1.1.4. 多任務 Lasso](modules/linear_model.html#multi-task-lasso) - [1.1.5. 彈性網絡](modules/linear_model.html#elastic-net) - [1.1.6. 多任務彈性網絡](modules/linear_model.html#multi-task-elastic-net) - [1.1.7. 最小角回歸](modules/linear_model.html#least-angle-regression) - [1.1.8. LARS Lasso](modules/linear_model.html#lars-lasso) - [1.1.8.1. 數學表達式](modules/linear_model.html#id25) - [1.1.9. 正交匹配追蹤法（OMP）](modules/linear_model.html#omp) - [1.1.10. 貝葉斯回歸](modules/linear_model.html#bayesian-regression) - [1.1.10.1. 貝葉斯嶺回歸](modules/linear_model.html#bayesian-ridge-regression) - [1.1.10.2. 主動相關決策理論 - ARD](modules/linear_model.html#ard) - [1.1.11. logistic 回歸](modules/linear_model.html#logistic) - [1.1.12. 隨機梯度下降, SGD](modules/linear_model.html#sgd) - [1.1.13. Perceptron（感知器）](modules/linear_model.html#perceptron) - [1.1.14. Passive Aggressive Algorithms（被動攻擊算法）](modules/linear_model.html#passive-aggressive-algorithms) - [1.1.15. 穩健回歸（Robustness regression）: 處理離群點（outliers）和模型錯誤](modules/linear_model.html#robustness-regression-outliers) - [1.1.15.1. 各種使用場景與相關概念](modules/linear_model.html#id51) - [1.1.15.2. RANSAC：隨機抽樣一致性算法（RANdom SAmple Consensus）](modules/linear_model.html#ransac-random-sample-consensus) - [1.1.15.2.1. 算法細節](modules/linear_model.html#id52) - [1.1.15.3. Theil-Sen 預估器: 廣義中值估計](modules/linear_model.html#theil-sen) - [1.1.15.3.1. 算法理論細節](modules/linear_model.html#id53) - [1.1.15.4. Huber 回歸](modules/linear_model.html#huber) - [1.1.15.5. 注意](modules/linear_model.html#id56) - [1.1.16. 多項式回歸：用基函數展開線性模型](modules/linear_model.html#polynomial-regression) - [1.2. 線性和二次判別分析](modules/lda_qda.html) - [1.2.1. 使用線性判別分析來降維](modules/lda_qda.html#id2) - [1.2.2. LDA 和 QDA 分類器的數學公式](modules/lda_qda.html#id3) - [1.2.3. LDA 的降維數學公式](modules/lda_qda.html#lda) - [1.2.4. Shrinkage（收縮）](modules/lda_qda.html#shrinkage) - [1.2.5. 預估算法](modules/lda_qda.html#id6) - [1.3. 內核嶺回歸](modules/kernel_ridge.html) - [1.4. 支持向量機](modules/svm.html) - [1.4.1. 分類](modules/svm.html#svm-classification) - [1.4.1.1. 多元分類](modules/svm.html#svm-multi-class) - [1.4.1.2. 得分和概率](modules/svm.html#scores-probabilities) - [1.4.1.3. 非均衡問題](modules/svm.html#id5) - [1.4.2. 回歸](modules/svm.html#svm-regression) - [1.4.3. 密度估計, 異常（novelty）檢測](modules/svm.html#novelty) - [1.4.4. 復雜度](modules/svm.html#id7) - [1.4.5. 使用訣竅](modules/svm.html#id8) - [1.4.6. 核函數](modules/svm.html#svm-kernels) - [1.4.6.1. 自定義核](modules/svm.html#id10) - [1.4.6.1.1. 使用 python 函數作為內核](modules/svm.html#python) - [1.4.6.1.2. 使用 Gram 矩陣](modules/svm.html#gram) - [1.4.6.1.3. RBF 內核參數](modules/svm.html#rbf) - [1.4.7. 數學公式](modules/svm.html#svm-mathematical-formulation) - [1.4.7.1. SVC](modules/svm.html#svc) - [1.4.7.2. NuSVC](modules/svm.html#nusvc) - [1.4.7.3. SVR](modules/svm.html#svr) - [1.4.8. 實現細節](modules/svm.html#svm-implementation-details) - [1.5. 隨機梯度下降](modules/sgd.html) - [1.5.1. 分類](modules/sgd.html#id3) - [1.5.2. 回歸](modules/sgd.html#id4) - [1.5.3. 稀疏數據的隨機梯度下降](modules/sgd.html#id5) - [1.5.4. 復雜度](modules/sgd.html#id6) - [1.5.5. 實用小貼士](modules/sgd.html#id7) - [1.5.6. 數學描述](modules/sgd.html#sgd-mathematical-formulation) - [1.5.6.1. SGD](modules/sgd.html#id9) - [1.5.7. 實現細節](modules/sgd.html#id10) - [1.6. 最近鄰](modules/neighbors.html) - [1.6.1. 無監督最近鄰](modules/neighbors.html#unsupervised-neighbors) - [1.6.1.1. 找到最近鄰](modules/neighbors.html#id3) - [1.6.1.2. KDTree 和 BallTree 類](modules/neighbors.html#kdtree-balltree) - [1.6.2. 最近鄰分類](modules/neighbors.html#classification) - [1.6.3. 最近鄰回歸](modules/neighbors.html#regression) - [1.6.4. 最近鄰算法](modules/neighbors.html#id6) - [1.6.4.1. 暴力計算](modules/neighbors.html#brute-force) - [1.6.4.2. K-D 樹](modules/neighbors.html#k-d) - [1.6.4.3. Ball 樹](modules/neighbors.html#ball) - [1.6.4.4. 最近鄰算法的選擇](modules/neighbors.html#id10) - [1.6.4.5. `leaf_size` 的影響](modules/neighbors.html#leaf-size) - [1.6.5. 最近質心分類](modules/neighbors.html#nearest-centroid-classifier) - [1.6.5.1. 最近縮小質心](modules/neighbors.html#id12) - [1.7. 高斯過程](modules/gaussian_process.html) - [1.7.1. 高斯過程回歸（GPR）](modules/gaussian_process.html#gpr) - [1.7.2. GPR 示例](modules/gaussian_process.html#id4) - [1.7.2.1. 具有噪聲級的 GPR 估計](modules/gaussian_process.html#id5) - [1.7.2.2. GPR 和內核嶺回歸(Kernel Ridge Regression)的比較](modules/gaussian_process.html#gpr-kernel-ridge-regression) - [1.7.2.3. Mauna Loa CO2 數據中的 GRR](modules/gaussian_process.html#mauna-loa-co2-grr) - [1.7.3. 高斯過程分類（GPC）](modules/gaussian_process.html#gpc) - [1.7.4. GPC 示例](modules/gaussian_process.html#id7) - [1.7.4.1. GPC 概率預測](modules/gaussian_process.html#id8) - [1.7.4.2. GPC 在 XOR 數據集上的舉例說明](modules/gaussian_process.html#gpc-xor) - [1.7.4.3. iris 數據集上的高斯過程分類（GPC）](modules/gaussian_process.html#iris-gpc) - [1.7.5. 高斯過程內核](modules/gaussian_process.html#gp-kernels) - [1.7.5.1. 高斯過程內核 API](modules/gaussian_process.html#api) - [1.7.5.2. 基礎內核](modules/gaussian_process.html#id11) - [1.7.5.3. 內核操作](modules/gaussian_process.html#id12) - [1.7.5.4. 徑向基函數內核](modules/gaussian_process.html#id13) - [1.7.5.5. Matérn 內核](modules/gaussian_process.html#matern) - [1.7.5.6. 有理二次內核](modules/gaussian_process.html#id15) - [1.7.5.7. 正弦平方內核](modules/gaussian_process.html#id16) - [1.7.5.8. 點乘內核](modules/gaussian_process.html#id17) - [1.7.5.9. 參考文獻](modules/gaussian_process.html#id18) - [1.7.6. 傳統高斯過程](modules/gaussian_process.html#id19) - [1.7.6.1. 回歸實例介紹](modules/gaussian_process.html#id20) - [1.7.6.2. 噪聲數據擬合](modules/gaussian_process.html#id21) - [1.7.6.3. 數學形式](modules/gaussian_process.html#id22) - [1.7.6.3.1. 初始假設](modules/gaussian_process.html#id23) - [1.7.6.3.2. 最佳線性無偏預測（BLUP）](modules/gaussian_process.html#blup) - [1.7.6.3.3. 經驗最佳線性無偏估計（EBLUP）](modules/gaussian_process.html#eblup) - [1.7.6.4. 關聯模型](modules/gaussian_process.html#correlation-models) - [1.7.6.5. 回歸模型](modules/gaussian_process.html#regression-models) - [1.7.6.6. 實現細節](modules/gaussian_process.html#id26) - [1.8. 交叉分解](modules/cross_decomposition.html) - [1.9. 樸素貝葉斯](modules/naive_bayes.html) - [1.9.1. 高斯樸素貝葉斯](modules/naive_bayes.html#gaussian-naive-bayes) - [1.9.2. 多項分布樸素貝葉斯](modules/naive_bayes.html#multinomial-naive-bayes) - [1.9.3. 伯努利樸素貝葉斯](modules/naive_bayes.html#bernoulli-naive-bayes) - [1.9.4. 堆外樸素貝葉斯模型擬合](modules/naive_bayes.html#id5) - [1.10. 決策樹](modules/tree.html) - [1.10.1. 分類](modules/tree.html#tree-classification) - [1.10.2. 回歸](modules/tree.html#tree-regression) - [1.10.3. 多值輸出問題](modules/tree.html#tree-multioutput) - [1.10.4. 復雜度分析](modules/tree.html#tree-complexity) - [1.10.5. 實際使用技巧](modules/tree.html#id6) - [1.10.6. 決策樹算法: ID3, C4.5, C5.0 和 CART](modules/tree.html#tree-algorithms) - [1.10.7. 數學表達](modules/tree.html#tree-mathematical-formulation) - [1.10.7.1. 分類標準](modules/tree.html#id9) - [1.10.7.2. 回歸標準](modules/tree.html#id10) - [1.11. 集成方法](modules/ensemble.html) - [1.11.1. Bagging meta-estimator（Bagging 元估計器）](modules/ensemble.html#bagging-meta-estimator-bagging) - [1.11.2. 由隨機樹組成的森林](modules/ensemble.html#forest) - [1.11.2.1. 隨機森林](modules/ensemble.html#id8) - [1.11.2.2. 極限隨機樹](modules/ensemble.html#id10) - [1.11.2.3. 參數](modules/ensemble.html#id11) - [1.11.2.4. 并行化](modules/ensemble.html#id12) - [1.11.2.5. 特征重要性評估](modules/ensemble.html#random-forest-feature-importance) - [1.11.2.6. 完全隨機樹嵌入](modules/ensemble.html#random-trees-embedding) - [1.11.3. AdaBoost](modules/ensemble.html#adaboost) - [1.11.3.1. 使用方法](modules/ensemble.html#id20) - [1.11.4. Gradient Tree Boosting（梯度樹提升）](modules/ensemble.html#gradient-tree-boosting) - [1.11.4.1. 分類](modules/ensemble.html#id22) - [1.11.4.2. 回歸](modules/ensemble.html#id23) - [1.11.4.3. 訓練額外的弱學習器](modules/ensemble.html#gradient-boosting-warm-start) - [1.11.4.4. 控制樹的大小](modules/ensemble.html#gradient-boosting-tree-size) - [1.11.4.5. Mathematical formulation（數學公式）](modules/ensemble.html#mathematical-formulation) - [1.11.4.5.1. Loss Functions（損失函數）](modules/ensemble.html#loss-functions) - [1.11.4.6. Regularization（正則化）](modules/ensemble.html#regularization) - [1.11.4.6.1. 收縮率 (Shrinkage)](modules/ensemble.html#shrinkage) - [1.11.4.6.2. 子采樣 (Subsampling)](modules/ensemble.html#subsampling) - [1.11.4.7. Interpretation（解釋性）](modules/ensemble.html#interpretation) - [1.11.4.7.1. Feature importance（特征重要性）](modules/ensemble.html#feature-importance) - [1.11.4.7.2. Partial dependence（部分依賴）](modules/ensemble.html#partial-dependence) - [1.11.5. Voting Classifier（投票分類器）](modules/ensemble.html#voting-classifier) - [1.11.5.1. 多數類標簽 (又稱為多數/硬投票)](modules/ensemble.html#id38) - [1.11.5.1.1. 用法](modules/ensemble.html#id39) - [1.11.5.2. 加權平均概率（軟投票）](modules/ensemble.html#id40) - [1.11.5.3. 投票分類器（VotingClassifier）在網格搜索（GridSearch）應用](modules/ensemble.html#votingclassifier-gridsearch) - [1.11.5.3.1. 用法](modules/ensemble.html#id41) - [1.12. 多類和多標簽算法](modules/multiclass.html) - [1.12.1. 多標簽分類格式](modules/multiclass.html#id4) - [1.12.2. 1對其余](modules/multiclass.html#ovr-classification) - [1.12.2.1. 多類學習](modules/multiclass.html#id6) - [1.12.2.2. 多標簽學習](modules/multiclass.html#id7) - [1.12.3. 1對1](modules/multiclass.html#ovo-classification) - [1.12.3.1. 多類別學習](modules/multiclass.html#id9) - [1.12.4. 誤差校正輸出代碼](modules/multiclass.html#ecoc) - [1.12.4.1. 多類別學習](modules/multiclass.html#id12) - [1.12.5. 多輸出回歸](modules/multiclass.html#id14) - [1.12.6. 多輸出分類](modules/multiclass.html#id15) - [1.12.7. 鏈式分類器](modules/multiclass.html#id16) - [1.13. 特征選擇](modules/feature_selection.html) - [1.13.1. 移除低方差特征](modules/feature_selection.html#variance-threshold) - [1.13.2. 單變量特征選擇](modules/feature_selection.html#univariate-feature-selection) - [1.13.3. 遞歸式特征消除](modules/feature_selection.html#rfe) - [1.13.4. 使用 SelectFromModel 選取特征](modules/feature_selection.html#selectfrommodel) - [1.13.4.1. 基于 L1 的特征選取](modules/feature_selection.html#l1) - [1.13.4.2. 基于 Tree（樹）的特征選取](modules/feature_selection.html#tree) - [1.13.5. 特征選取作為 pipeline（管道）的一部分](modules/feature_selection.html#pipeline) - [1.14. 半監督學習](modules/label_propagation.html) - [1.14.1. 標簽傳播](modules/label_propagation.html#label-propagation) - [1.15. 等式回歸](modules/isotonic.html) - [1.16. 概率校準](modules/calibration.html) - [1.17. 神經網絡模型（有監督）](modules/neural_networks_supervised.html) - [1.17.1. 多層感知器](modules/neural_networks_supervised.html#multilayer-perceptron) - [1.17.2. 分類](modules/neural_networks_supervised.html#id5) - [1.17.3. 回歸](modules/neural_networks_supervised.html#id6) - [1.17.4. 正則化](modules/neural_networks_supervised.html#id7) - [1.17.5. 算法](modules/neural_networks_supervised.html#id8) - [1.17.6. 復雜性](modules/neural_networks_supervised.html#id9) - [1.17.7. 數學公式](modules/neural_networks_supervised.html#id10) - [1.17.8. 實用技巧](modules/neural_networks_supervised.html#mlp-tips) - [1.17.9. 使用 warm\_start 的更多控制](modules/neural_networks_supervised.html#warm-start)