11.5 將Conda包作為依賴項發布給項目 · cmake-cookbook

# 11.5 將Conda包作為依賴項發布給項目 **NOTE**:*此示例代碼可以在 https://github.com/dev-cafe/cmake-cookbook/tree/v1.0/chapter-11/recipe-05 中找到。該示例在CMake 3.5版(或更高版本)中是有效的，并且已經在GNU/Linux、macOS和Windows上進行過測試。* 這個示例中，我們將基于之前示例的結果，并且為CMake項目準備一個更真實和復雜的Conda包，這將取決于DGEMM的函數實現，對于矩陣與矩陣的乘法，可以使用Intel的MKL庫進行。Intel的MKL庫可以以Conda包的形式提供。此示例將為我們提供一個工具集，用于準備和共享具有依賴關系的Conda包。 ## 準備工作對于這個示例，我們將使用與前一個示例中的Conda配置，和相同的文件命名和目錄結構： ```shell . ├── CMakeLists.txt ├── conda-recipe │ └── meta.yaml └── example.cpp ``` 示例文件(`example.cpp`)將執行矩陣-矩陣乘法，并將MKL庫返回的結果與“noddy”實現進行比較: ```c++ #include "mkl.h" #include <cassert> #include <cmath> #include <iostream> #include <random> int main() { // generate a uniform distribution of real number between -1.0 and 1.0 std::random_device rd; std::mt19937 mt(rd()); std:: uniform_real_distribution < double > dist(-1.0, 1.0); int m = 500; int k = 1000; int n = 2000; double *A = (double *)mkl_malloc(m * k * sizeof(double), 64); double *B = (double *)mkl_malloc(k * n * sizeof(double), 64); double *C = (double *)mkl_malloc(m * n * sizeof(double), 64); double * D = new double[m * n]; for (int i = 0; i < (m * k); i++) { A[i] = dist(mt); } for (int i = 0; i < (k * n); i++) { B[i] = dist(mt); } for (int i = 0; i < (m * n); i++) { C[i] = 0.0; } double alpha = 1.0; double beta = 0.0; cblas_dgemm(CblasRowMajor, CblasNoTrans, CblasNoTrans, m, n, k, alpha, A, k, B, n, beta, C, n); // D_mn = A_mk B_kn for (int r = 0; r < m; r++) { for (int c = 0; c < n; c++) { D[r * n + c] = 0.0; for (int i = 0; i < k; i++) { D[r * n + c] += A[r * k + i] * B[i * n + c]; } } } // compare the two matrices double r = 0.0; for (int i = 0; i < (m * n); i++) { r += std::pow(C[i] - D[i], 2.0); } assert (r < 1.0e-12 & & "ERROR: matrices C and D do not match"); mkl_free(A); mkl_free(B); mkl_free(C); delete[] D; std:: cout << "MKL DGEMM example worked!" << std:: endl; return 0;` } ``` 我們還需要修改`meta.yaml`。然而，與上一個示例相比，唯一的變化是在依賴項中加入了`mkl-devel`： ```yaml package: name: conda-example-dgemm version: "0.0.0" source: path: ../ # this can be changed to git-url build: number: 0 script: - cmake -H. -Bbuild_conda -G "${CMAKE_GENERATOR}" -DCMAKE_INSTALL_PREFIX=${PREFIX} # [not win] - cmake -H. -Bbuild_conda -G "%CMAKE_GENERATOR%" -DCMAKE_INSTALL_PREFIX="%LIBRARY_PREFIX%" # [win] - cmake - -build build_conda - -target install requirements: build: - cmake >=3.5 - {{ compiler('cxx') }} host: - mkl - devel 2018 about: home: http://www.example.com license: MIT summary: "Summary in here ..." ``` ## 具體實施 1. `CMakeLists.txt`文件聲明了最低版本、項目名稱和支持的語言： ```cmake cmake_minimum_required(VERSION 3.5 FATAL_ERROR) project(recipe-05 LANGUAGES CXX) set(CMAKE_CXX_STANDARD 11) set(CMAKE_CXX_EXTENSIONS OFF) set(CMAKE_CXX_STANDARD_REQUIRED ON) ``` 2. 使用`example.cpp`構建`dgem-example`可執行目標： ```cmake add_executable(dgemm-example "") target_sources(dgemm-example PRIVATE example.cpp ) ``` 3. 然后，需要找到通過`MKL-devel`安裝的MKL庫。我們準備了一個名為`IntelMKL`的`INTERFACE `庫，該庫可以用于其他目標，并將為依賴的目標設置包括目錄、編譯器選項和鏈接庫。根據Intel的建議(https://software.intel.com/en-us/articles/intel-mml-link-line-advisor/ )進行設置。首先，設置編譯器選項： ```cmake add_library(IntelMKL INTERFACE) target_compile_options(IntelMKL INTERFACE $<$<OR:$<CXX_COMPILER_ID:GNU>,$<CXX_COMPILER_ID:AppleClang>>:-m64> ) ``` 4. 接下來，查找`mkl.h`頭文件，并為`IntelMKL`目標設置`include`目錄： ```cmake find_path(_mkl_h NAMES mkl.h HINTS ${CMAKE_INSTALL_PREFIX}/include ) target_include_directories(IntelMKL INTERFACE ${_mkl_h} ) message(STATUS "MKL header file FOUND: ${_mkl_h}") ``` 5. 最后，為`IntelMKL`目標設置鏈接庫: ```cmake find_library(_mkl_libs NAMES mkl_rt HINTS ${CMAKE_INSTALL_PREFIX}/lib ) message(STATUS "MKL single dynamic library FOUND: ${_mkl_libs}") find_package(Threads QUIET) target_link_libraries(IntelMKL INTERFACE ${_mkl_libs} $<$<OR:$<CXX_COMPILER_ID:GNU>,$<CXX_COMPILER_ID:AppleClang>>:Threads::Threads> $<$<OR:$<CXX_COMPILER_ID:GNU>,$<CXX_COMPILER_ID:AppleClang>>:m> ) ``` 6. 使用`cmake_print_properties`函數，打印`IntelMKL`目標的信息： ```cmake include(CMakePrintHelpers) cmake_print_properties( TARGETS IntelMKL PROPERTIES INTERFACE_COMPILE_OPTIONS INTERFACE_INCLUDE_DIRECTORIES INTERFACE_LINK_LIBRARIES ) ``` 7. 將這些庫連接到`dgem-example`: ```cmake target_link_libraries(dgemm-example PRIVATE IntelMKL ) ``` 8. `CMakeLists.txt`中定義了安裝目標: ```cmake install( TARGETS dgemm-example DESTINATION bin ) ``` 9. 嘗試構建包： ```shell $ conda build conda-recipe ``` 10. 過程中屏幕上將看到大量輸出，但是一旦構建完成，就可以對包進行安裝包。首先，在本地進行安裝測試： ```shell $ conda install --use-local conda-example-dgemm ``` 11. 現在測試安裝，打開一個新的終端(假設Anaconda處于激活狀態)，并輸入： ```shell $ dgemm-example MKL DGEMM example worked! ``` 12. 安裝成功之后，再進行卸載： ```shell $ conda remove conda-example-dgemm ``` ## 工作原理 `meta.yaml `中的變化就是`mml-devel`依賴項。從CMake的角度來看，這里的挑戰是定位Anaconda安裝的MKL庫。幸運的是，我們知道它位于`${CMAKE_INSTALL_PREFIX}`中。可以使用在線的`Intel MKL link line advisor`(https://software.intel.com/en-us/articles/intel-mml-link-line-advisor/) 查看如何根據選擇的平臺和編譯器，將MKL鏈接到我們的項目中，我們會將此信息封裝到`INTERFACE`庫中。這個解決方案非常適合類MKL的情況：庫不是由我們的項目或任何子項目創建的目標，但是它仍然需要以一種方式進行處理；也就是：設置編譯器標志，包括目錄和鏈接庫。`INTERFACE`庫是構建系統中的目標，但不創建任何構建輸出(至少不會直接創建)。但由于它們是目標，我們可對它們的屬性進行設置。這樣與“實際”目標一樣，可以安裝、導出和導入。首先，我們用`INTERFACE`屬性聲明一個名為`IntelMKL`的新庫。然后，根據需要設置屬性，并使用`INTERFACE`屬性在目標上調用適當的CMake命令： * target_compile_options：用于設置`INTERFACE_COMPILE_OPTIONS`。示例中，設置了`-m64`，不過這個標志只有GNU和AppleClange編譯器能夠識別。并且，我們使用生成器表達式來實現。 * target_include_directories：用于設置`INTERFACE_INCLUDE_DIRECTORIES`。使用`find_path`，可以在找到系統上的`mkl.h`頭文件后設置這些參數。 * target_link_libraries：用于設置`INTERFACE_LINK_LIBRARIES`。我們決定鏈接動態庫` libmkl_rt.so `，并用`find_library`搜索它。GNU或AppleClang編譯器還需要將可執行文件鏈接到線程和數學庫。同樣，這些情況可以使用生成器表達式優雅地進行處理。在`IntelMKL`目標上設置的屬性后，可以通過`cmake_print_properties`命令將屬性進行打印。最后，鏈接到`IntelMKL`目標，這將設置編譯器標志，包括目錄和鏈接庫： ```cmake target_link_libraries(dgemm-example PRIVATE IntelMKL ) ``` ## 更多信息 Anaconda云上包含大量包。使用上述方法，可以為CMake項目構建依賴于其他Conda包的Conda包。這樣，就可以探索軟件功能的各種可能性，并與他人分享您的軟件包!