想要了解自己的 PyTorch 項目在哪些地方分配 GPU 內存以及為什么用完嗎？不妨試試這個可視化工具。

近日，PyTorch 核心開發者和 FAIR 研究者 Zachary DeVito 創建了一個新工具（添加實驗性 API），通過生成和可視化內存快照（memory snapshot）來可視化 GPU 內存的分配狀態。這些內存快照記錄了內存分配的堆棧跟蹤以及內存在緩存分配器狀態中的位置。

接下來，通過將這些內存快照可視化為火焰圖（flamegraphs），內存的使用位置也就能一目了然地看到了。

圖靈獎得主 Yann Lecun 也轉推了這個工具。

Twitter@Zachary DeVito

下面我們來看這個工具的實現原理（以第一人稱「我們」描述）。

生成快照

首先，我們必須記錄每次分配的堆棧幀信息。

記錄這些堆棧跟蹤的速度非常快（每次分配約 1 us，正常的 PyTorch 內核調用需要至少 8 us），但我們默認將其關閉。而啟用之后，我們可以分配一些內存并拍攝快照。

快照記錄了整個分配器的狀態，如下所示。

快照是具有以下結構的 Segment 字典列表。

Segments 是直接從 cudaMalloc 請求并由分配器緩存的內存。因此，我們可以只使用這些 segments 中的一部分，緩存分配器將它們分為一個或更多個 Block。所有的塊始終保持相同的分配狀態。同時，使用_record_memory_history，每個塊還將記錄一個 History 對象，該對象會記住塊中最后一次分配的位置，包括作為 Frames 列表的堆棧跟蹤。

對于 active_allocated 塊，它其中存在的內容和當前分配的內容將有一個歷史記錄。對于 inactive 塊，可能會有多個條目來記錄塊內存中最后存在的內容。可能不止一個條目的原因在于分配器在空閑時會合并分割塊，并記錄下兩次拆分的歷史。為了避免出現大量的歷史記錄，我們只保留不與任何更新塊重合的塊的歷史記錄。

保存快照

快照因自身設計而可以之后離線查看。

文件_memory_viz.py 可以直接用作交互式命令來處理保存的快照。

可視化快照

_memory_viz.py 工具也可以生成內存的可視化火焰圖。

可視化圖將分配器中所有的字節（byte）按不同的類來分割成段，如下圖所示（原文為可交互視圖）。

火焰圖可視化是一種將資源（如內存）使用劃分為不同類的方法，然后可以進一步細分為更細粒度的類別。

memory 視圖很好地展現了內存的使用方式。但對于具體地調試分配器問題，首先將內存分類為不同的 Segment 對象是有用的，而這些對象是分配軌跡的單個 cudaMalloc 段。

比較快照

該可視化器還可以生成顯示在兩個快照之間添加和刪除的段的可視化。例如，我們可以使用更大的輸入重新運行模型，并查看分配器如何為更大的臨時對象請求更多內存。

比較視圖僅顯示新段，這有助于找出哪些代碼路徑提示分配更多內存。

$ python _memory_viz.py compare snapshot.pickle snapshot2.pickle -o compare.svg only_before = [] only_after = [140636932014080, 140636827156480, 140634912456704, 140634839056384, 140634843250688, 140634841153536, 140634866319360, 140634811793408, 140634845347840, $ 140636806184960, 140636778921984, 140634878902272]

?

編輯：黃飛

?