3.3。內存管理 · Numba 0.44 中文文檔

# 3.3。內存管理 > 原文： [http://numba.pydata.org/numba-doc/latest/cuda/memory.html](http://numba.pydata.org/numba-doc/latest/cuda/memory.html) ## 3.3.1。數據傳輸盡管 Numba 可以自動將 NumPy 陣列傳輸到設備，但只有在內核完成時始終將設備內存傳輸回主機，它才能保守。為避免不必要的只讀數組傳輸，您可以使用以下 API 手動控制傳輸： ```py numba.cuda.device_array(shape, dtype=np.float, strides=None, order='C', stream=0) ``` 分配一個空設備 ndarray。與`numpy.empty()`類似。 ```py numba.cuda.device_array_like(ary, stream=0) ``` 使用數組中的信息調用 cuda.devicearray（）。 ```py numba.cuda.to_device(obj, stream=0, copy=True, to=None) ``` 將 numpy ndarray 或結構化標量分配并傳輸到設備。要將 host-＆gt;設備復制為 numpy 數組： ```py ary = np.arange(10) d_ary = cuda.to_device(ary) ``` 要將傳輸排入隊列： ```py stream = cuda.stream() d_ary = cuda.to_device(ary, stream=stream) ``` 得到的`d_ary`是`DeviceNDArray`。要復制 device-＆gt;主機： ```py hary = d_ary.copy_to_host() ``` 要將 device-＆gt;主機復制到現有數組： ```py ary = np.empty(shape=d_ary.shape, dtype=d_ary.dtype) d_ary.copy_to_host(ary) ``` 要將傳輸排入隊列： ```py hary = d_ary.copy_to_host(stream=stream) ``` 除了設備陣列，Numba 還可以使用任何實現 [cuda 陣列接口](cuda_array_interface.html#cuda-array-interface)的對象。通過使用以下 API 創建 GPU 緩沖區視圖，還可以將這些對象手動轉換為 Numba 設備陣列： ```py numba.cuda.as_cuda_array(obj) ``` 從任何實現 cuda-array-interface 的對象創建 DeviceNDArray。創建基礎 GPU 緩沖區的視圖。沒有復制數據。生成的 DeviceNDArray 將從 <cite>obj</cite> 獲取引用。 ```py numba.cuda.is_cuda_array(obj) ``` 測試對象是否已定義 <cite>__cuda_array_interface__</cite> 。不驗證接口的有效性。 ### 3.3.1.1。設備陣列設備陣列引用具有以下方法。這些方法將在主機代碼中調用，而不是在 CUDA-jitted 函數中調用。 ```py class numba.cuda.cudadrv.devicearray.DeviceNDArray(shape, strides, dtype, stream=0, writeback=None, gpu_data=None) ``` GPU 上陣列類型 ```py copy_to_host(ary=None, stream=0) ``` 如果`ary`為`None`，則將`self`復制到`ary`或創建新的 Numpy ndarray。如果給出了 CUDA `stream`，則傳輸將作為給定流的一部分異步進行。否則，傳輸是同步的：復制完成后函數返回。始終返回主機陣列。例： ```py import numpy as np from numba import cuda arr = np.arange(1000) d_arr = cuda.to_device(arr) my_kernel[100, 100](d_arr) result_array = d_arr.copy_to_host() ``` ```py is_c_contiguous() ``` 如果數組是 C-contiguous，則返回 true。 ```py is_f_contiguous() ``` 如果數組是 Fortran-contiguous，則返回 true。 ```py ravel(order='C', stream=0) ``` 在不改變其內容的情況下展平陣列，類似于 [`numpy.ndarray.ravel()`](https://docs.scipy.org/doc/numpy/reference/generated/numpy.ndarray.ravel.html#numpy.ndarray.ravel "(in NumPy v1.16)") 。 ```py reshape(*newshape, **kws) ``` 與 [`numpy.ndarray.reshape()`](https://docs.scipy.org/doc/numpy/reference/generated/numpy.ndarray.reshape.html#numpy.ndarray.reshape "(in NumPy v1.16)") 類似，重塑陣列而不改變其內容。例： ```py d_arr = d_arr.reshape(20, 50, order='F') ``` 注意 DeviceNDArray 定義 [cuda 陣列接口](cuda_array_interface.html#cuda-array-interface)。 ## 3.3.2。固定內存 ```py numba.cuda.pinned(*arylist) ``` 用于臨時固定主機 ndarray 序列的上下文管理器。 ```py numba.cuda.pinned_array(shape, dtype=np.float, strides=None, order='C') ``` 使用固定（頁面鎖定）的緩沖區分配 np.ndarray。與 np.empty（）類似。 ## 3.3.3。流 ```py numba.cuda.stream() ``` 創建表示設備命令隊列的 CUDA 流。 CUDA 流有以下方法： ```py class numba.cuda.cudadrv.driver.Stream(context, handle, finalizer) ``` ```py auto_synchronize() ``` 一個上下文管理器，它等待此流中的所有命令執行并在退出上下文時提交任何掛起的內存傳輸。 ```py synchronize() ``` 等待此流中的所有命令執行。這將提交任何掛起的內存傳輸。 ## 3.3.4。共享內存和線程同步必要時，可以在設備上分配有限數量的共享內存，以加快對數據的訪問。該存儲器將在屬于給定塊的所有線程之間共享（即，可讀和可寫），并且具有比常規設備存儲器更快的訪問時間。它還允許線程在給定的解決方案上進行協作。您可以將其視為手動管理的數據緩存。與傳統的動態內存管理不同，內存在內核持續時間內分配一次。 ```py numba.cuda.shared.array(shape, type) ``` 在設備上分配給定 _ 形狀 _ 和 _ 類型 _ 的共享數組。必須在設備上調用此函數（即，從內核或設備函數）。 _shape_ 是一個整數或整數元組，表示數組的維度，必須是一個簡單的常量表達式。 _ 類型 _ 是需要存儲在數組中的元素的 [Numba 類型](../reference/types.html#numba-types)。可以像任何普通設備陣列一樣讀取和寫入返回的類似陣列的對象（例如通過索引）。常見的模式是讓每個線程填充共享數組中的一個元素，然后等待所有線程使用 [`syncthreads()`](../cuda-reference/kernel.html#numba.cuda.syncthreads "numba.cuda.syncthreads") 完成。 ```py numba.cuda.syncthreads() ``` 同步同一線程塊中的所有線程。此函數在傳統的多線程編程中實現與 [barrier](http://en.wikipedia.org/wiki/Barrier_%28computer_science%29) 相同的模式：此函數等待，直到塊中的所有線程調用它，此時它將控制權返回給所有調用者。也可以看看 [矩陣乘法示例](examples.html#cuda-matmul)。 ## 3.3.5。本地記憶本地內存是每個線程專用的內存區域。當標量局部變量不足時，使用本地內存有助于分配一些暫存區域。與傳統的動態內存管理不同，內存在內核持續時間內分配一次。 ```py numba.cuda.local.array(shape, type) ``` 在設備上分配給定 _ 形狀 _ 和 _ 類型 _ 的局部數組。 _shape_ 是一個整數或整數元組，表示數組的維度，必須是一個簡單的常量表達式。 _ 類型 _ 是需要存儲在數組中的元素的 [Numba 類型](../reference/types.html#numba-types)。該數組對當前線程是私有的。返回類似于數組的對象，可以像任何標準數組一樣讀取和寫入（例如通過索引）。 ## 3.3.6。恒定記憶常量內存是一個只讀，緩存和片外的內存區域，所有線程都可以訪問它，并且是主機分配的。在常量內存中創建數組的方法是使用： ```py numba.cuda.const.array_like(arr) ``` 基于類似數組 _arr_ ，在常量內存中分配并使數組可訪問。 ## 3.3.7。 SmartArrays（實驗性） Numba 提供類似數組的數據類型，可自動管理與設備之間的數據移動。在大多數情況下，它可以作為 <cite>numpy.ndarray</cite> 的直接替換，并且由 Numba 的 JIT 編譯器支持'host'和'cuda'目標。 ```py class numba.SmartArray(obj=None, copy=True, shape=None, dtype=None, order=None, where='host') ``` 一種支持主機和 GPU 存儲的陣列類型。 ```py __init__(obj=None, copy=True, shape=None, dtype=None, order=None, where='host') ``` 在'where'定義的內存空間中構造一個 SmartArray。有效的調用： * SmartArray（obj =＆lt; array-like object＆gt;，copy =＆lt; optional-true-or-false＆gt;）：從現有的類似數組的對象創建 SmartArray。 'copy'參數指定是采用還是復制它。 * SmartArray（shape =＆lt; shape＆gt;，dtype =＆lt; dtype＆gt ;, order =＆lt; order＆gt;）在給定典型的 NumPy 數組屬性的情況下，從頭開始創建新的 SmartArray。（可選的'where'參數指定最初分配數組的位置。（默認值：'host'） ```py get(where='host') ``` 返回給定內存空間中“self”的表示形式。 ```py mark_changed(where='host') ``` 將給定位置標記為已更改，如果需要，則廣播更新。因此， <cite>SmartArray</cite> 對象可以作為函數參數傳遞給 jit 編譯函數。每當執行 cuda.jit 編譯的函數時，它將觸發向 GPU 的數據傳輸（除非數據已存在）。但是，在函數完成后，不是將數據傳回主機，而是將數據保留在設備上，如果有任何外部引用，則只更新主機端。因此，如果下一個操作是對 cuda.jit 編譯函數的另一個調用，則不需要再次傳輸數據，從而使復合操作更有效（并且即使對于較小的數據大小也使得 GPU 的使用有利）。 ## 3.3.8。解除分配行為根據每個上下文跟蹤所有 CUDA 資源的重新分配。當刪除對設備存儲器的最后一次引用時，將調度基礎存儲器以解除分配。釋放不會立即發生。它被添加到待處理的解除分配隊列中。這種設計有兩個好處： 1. 資源釋放 API 可能導致設備同步;因此，打破任何異步執行。延遲重新分配可以避免性能關鍵代碼部分的延遲。 2. 一些釋放錯誤可能導致所有剩余的解除分配失敗。持續的釋放錯誤可能會導致 CUDA 驅動程序級別的嚴重錯誤。在某些情況下，這可能意味著 CUDA 驅動程序中的分段錯誤。在最壞的情況下，這可能導致系統 GUI 凍結，并且只能通過系統重置進行恢復。在釋放期間發生錯誤時，將取消剩余的掛起解除分配。將報告任何釋放錯誤。當進程終止時，CUDA 驅動程序能夠通過已終止的進程釋放所有已分配的資源。發生以下事件后，將自動刷新釋放隊列： * 由于內存不足錯誤導致分配失敗。在清除所有解除分配后重試分配。 * 釋放隊列已達到其最大大小，默認為 10.用戶可以通過設置環境變量 <cite>NUMBA_CUDA_MAX_PENDING_DEALLOCS_COUNT</cite> 來覆蓋。例如， <cite>NUMBA_CUDA_MAX_PENDING_DEALLOCS_COUNT = 20</cite> ，將限制增加到 20。 * 達到掛起釋放的資源的最大累積字節大小。這默認為設備內存容量的 20％。用戶可以通過設置環境變量 <cite>NUMBA_CUDA_MAX_PENDING_DEALLOCS_RATIO</cite> 來覆蓋。例如， <cite>NUMBA_CUDA_MAX_PENDING_DEALLOCS_RATIO = 0.5</cite> 將限制設置為容量的 50％。有時，需要推遲資源釋放，直到代碼段結束。大多數情況下，用戶希望避免因釋放而導致的任何隱式同步。這可以通過使用以下上下文管理器來完成： ```py numba.cuda.defer_cleanup() ``` 暫時禁用內存釋放。使用它來防止資源釋放打破異步執行。例如： ```py with defer_cleanup(): # all cleanup is deferred in here do_speed_critical_code() # cleanup can occur here ``` 注意：此上下文管理器可以嵌套。