LightGBM FAQ 常見問題解答 · LightGBM 中文文檔

# LightGBM FAQ 常見問題解答 ## 內容 * [關鍵問題](#關鍵問題) * [LightGBM](#lightgbm) * [R包](#r包) * [Python包](#python包) * * * ## 關鍵問題在使用 LightGBM 遇到坑爹的問題時（程序奔潰，預測結果錯誤，無意義輸出…）,你應該聯系誰？如果你的問題不是那么緊急，可以把問題放到 [Microsoft/LightGBM repository](https://github.com/Microsoft/LightGBM/issues). 如果你的問題急需要解決，首先要明確你有哪些錯誤: * 你認為問題會不會復現在 CLI（命令行接口），R 或者 Python上？ * 還是只會在某個特定的包（R 或者 Python）上出現? * 還是會在某個特定的編譯器（gcc 或者 MinGW）上出現？ * 還是會在某個特定的操作系統（Windows 或者 Linux）上出現？ * 你能用一個簡單的例子復現這些問題嗎？ * 你能（或者不能）在去掉所有的優化信息和在 debug 模式下編譯 LightGBM 時復現這些問題嗎？當出現問題的時候，根據上述答案，隨時可以@我們（不同的問題可以@不同的人，下面是各種不同類型問題的負責人），這樣我們就能更快地幫助你解決問題。 * [@guolinke](https://github.com/guolinke) (C++ code / R-package / Python-package) * [@chivee](https://github.com/chivee) (C++ code / Python-package) * [@Laurae2](https://github.com/Laurae2) (R-package) * [@wxchan](https://github.com/wxchan) (Python-package) * [@henry0312](https://github.com/henry0312) (Python-package) * [@StrikerRUS](https://github.com/StrikerRUS) (Python-package) * [@huanzhang12](https://github.com/huanzhang12) (GPU support) ### 記住這是一個免費的/開放的社區支持，我們可能不能做到全天候的提供幫助. ## LightGBM * **問題 1**：我可以去哪里找到關于LightGBM參數的更多詳細內容？ * **方法 1**：可以看一下這個 [Parameters](./Parameters.rst) and [Laurae++/Parameters](https://sites.google.com/view/lauraepp/parameters) 網站。 * * * * **問題 2**：在一個有百萬個特征的數據集中，（要在很長一段時間后才開始訓練或者）訓練根本沒有開始。 * **方法 2**：對 `bin_construct_sample_cnt` 用一個較小的值和對 `min_data` 用一個較大的值。 * * * * **問題 3**：當在一個很大的數據集上使用LightGBM，我的電腦會耗盡內存。 * **方法 3**：很多方法啊：將 `histogram_pool_size` 參數設置成你想為LightGBM分配的MB(histogram_pool_size + dataset size = approximately RAM used), 減少 `num_leaves` 或減少 `max_bin` （點這里 [Microsoft/LightGBM#562](https://github.com/Microsoft/LightGBM/issues/562)）。 * * * * **問題 4**：我使用Windows系統。我應該使用Visual Studio或者MinGW編譯LightGBM嗎？ * **方法 4**：推薦使用 [Visual Studio](https://github.com/Microsoft/LightGBM/issues/542)，因為它的性能更好。 * * * * **問題 5**：當使用LightGBM，我每次運行得到的結果都不同（結果不能復現）。 * **方法 5**：這是一個很正常的問題，我們/你也無能為力。你可以試試使用 `gpu_use_dp = true` 來復現結果（點這里 [Microsoft/LightGBM#560](https://github.com/Microsoft/LightGBM/pull/560#issuecomment-304561654)）。你也可以使用CPU的版本試試。 * * * * **問題 6**：Bagging在改變線程的數量時，是不能復現的。 * **方法 6**：由于LightGBM Bagging是多線程運行的，它的輸出依賴于使用線程的數量。 There is [no workaround currently](https://github.com/Microsoft/LightGBM/issues/632)。 * * * * **問題 7**：我試過使用隨機森林模式，LightGBM崩潰啦！ * **方法 7**：這是設計的問題。你必須使用 `bagging_fraction` 和 `feature_fraction` 與1不同，要和 `bagging_freq` 結合使用。看這個例子 [this thread](https://github.com/Microsoft/LightGBM/issues/691)。 * * * * **問題 8**：當在一個很大的數據集上和很多核心系統使用LightGBMWindows系統時，CPU不是滿負荷運行（例如只使用了10%的CPU）。 * **方法 8**：請使用 [Visual Studio](https://www.visualstudio.com/downloads/)，因為Visual Studio可能 [10x faster than MinGW](https://github.com/Microsoft/LightGBM/issues/749)，尤其是在很大的樹上。 * * * ## R 包 * **問題 1**：在訓練先前的LightGBM模型時一個錯誤出現后，任何使用LightGBM的訓練命令都不會起作用。 * **方法 1**：在R控制臺中運行 `lgb.unloader(wipe = TRUE)`，再重新創建LightGBM數據集（這會消除所有與LightGBM相關的變量）。由于這些指針，選擇不去消除這些變量不會修復這些錯誤。這是一個已知的問題: [Microsoft/LightGBM#698](https://github.com/Microsoft/LightGBM/issues/698)。 * * * * **問題 2**：我使用過 `setinfo` ,試過打印我的 `lgb.Dataset` ,結果R控制臺無響應。 * **方法 2**：在使用 `setinfo` 后避免打印 `lgb.Dataset`. 這是一個已知的bug：[Microsoft/LightGBM#539](https://github.com/Microsoft/LightGBM/issues/539)。 * * * ## Python 包 * **問題 1**：當從GitHub使用 `python setup.py install` 安裝，我看到如下錯誤信息。 ``` error：錯誤：安裝腳本指定絕對路徑： /Users/Microsoft/LightGBM/python-package/lightgbm/../../lib_lightgbm.so setup()參數必須 *一直* 是/-分離路徑相對于setup.py目錄， *從不* 是絕對路徑。 ``` * **方法 1**：這個錯誤在新版本中應該會被解決。如果你還會遇到這個問題，試著在你的Python包中去掉 `lightgbm.egg-info` 文件夾，再重裝一下，或者對照一下這個 [this thread on stackoverflow](http://stackoverflow.com/questions/18085571/pip-install-error-setup-script-specifies-an-absolute-path)。 * * * * **問題 2**：我看到錯誤信息如下 ``` 在構建數據集前不能 get/set label/weight/init_score/group/num_data/num_feature。 ``` 但是我已經使用下面的代碼構建數據集 ``` train = lightgbm.Dataset(X_train, y_train) ``` 或如下錯誤信息 ``` 在釋放原始數據后，不能設置predictor/reference/categorical特征。可以在創建數據集時設置free_raw_data=False避免上面的問題。 ``` * **方法2**: 因為LightGBM創建bin mappers來構建樹，在一個Booster內的train和valid數據集共享同一個bin mappers，類別特征和特征名等信息，數據集對象在創建Booster時候被創建。如果你設置 `free_raw_data=True` (默認)，原始數據（在Python數據結構中的）將會被釋放。所以，如果你想要： * 在創建數據集前get label(or weight/init_score/group)，這和get `self.label` 操作相同。 * 在創建數據集前set label(or weight/init_score/group)，這和 `self.label=some_label_array` 操作相同。 * 在創建數據集前get num_data(or num_feature)，你可以使用 `self.data` 得到數據，然后如果你的數據是 `numpy.ndarray`，使用一些類似 `self.data.shape` 的代碼。 * 在構建數據集之后set predictor(or reference/categorical feature)，你應該設置 `free_raw_data=False` 或使用同樣的原始數據初始化數據集對象。