13.2. Optimizing TensorRT Performance

以下部分重點介紹 GPU 上的一般推理流程和一些提高性能的一般策略。這些想法適用于大多數 CUDA 程序員，但對于來自其他背景的開發人員可能并不那么明顯。

13.2.1. Batching

最重要的優化是使用批處理并行計算盡可能多的結果。在 TensorRT 中，批次是可以統一處理的輸入的集合。批次中的每個實例都具有相同的形狀，并以完全相同的方式流經網絡。因此，每個實例都可以簡單地并行計算。

網絡的每一層都有計算前向推理所需的一定數量的開銷和同步。通過并行計算更多結果，這種開銷可以更有效地得到回報。此外，許多層的性能受到輸入中最小維度的限制。如果批量大小為 1 或較小，則此大小通常可能是性能限制維度。例如，具有V個輸入和K個輸出的完全連接層可以針對一個批次實例實現為1xV矩陣與VxK權重矩陣的矩陣乘法。如果對N個實例進行批處理，則這將變為NxV乘以VxK矩陣。向量矩陣乘法器變成矩陣矩陣乘法器，效率更高。

更大的批量大小幾乎總是在 GPU 上更有效。非常大的批次，例如N 》 2^16 ，有時可能需要擴展索引計算，因此應盡可能避免。但通常，增加批量大小會提高總吞吐量。此外，當網絡包含 MatrixMultiply 層或完全連接層時，如果硬件支持，由于使用了 Tensor Cores，32 的倍數的批大小往往對 FP16 和 INT8 推理具有最佳性能。

由于應用程序的組織，有時無法進行批處理推理工作。在一些常見的應用程序中，例如根據請求進行推理的服務器，可以實現機會批處理。對于每個傳入的請求，等待時間T 。如果在此期間有其他請求進來，請將它們一起批處理。否則，繼續進行單實例推理。這種類型的策略為每個請求增加了固定的延遲，但可以將系統的最大吞吐量提高幾個數量級。

使用批處理

如果在創建網絡時使用顯式批處理模式，則批處理維度是張量維度的一部分，您可以通過添加優化配置文件來指定批處理大小和批處理大小的范圍以優化引擎。有關更多詳細信息，請參閱使用動態形狀部分。

如果在創建網絡時使用隱式批處理模式，則IExecutionContext：：execute （ Python 中的IExecutionContext.execute ）和IExecutionContext：：enqueue （ Python 中的IExecutionContext.execute_async ）方法采用批處理大小參數。在使用IBuilder：：setMaxBatchSize （ Python中的 Builder.max_batch_size ）構建優化網絡時，還應該為構建器設置最大批量大小。當調用IExecutionContext：：execute或enqueue時，作為綁定參數傳遞的綁定是按張量組織的，而不是按實例組織的。換句話說，一個輸入實例的數據沒有組合到一個連續的內存區域中。相反，每個張量綁定都是該張量的實例數據數組。

另一個考慮因素是構建優化的網絡會針對給定的最大批量大小進行優化。最終結果將針對最大批量大小進行調整，但對于任何較小的批量大小仍然可以正常工作。可以運行多個構建操作來為不同的批量大小創建多個優化引擎，然后在運行時根據實際批量大小選擇要使用的引擎。

13.2.2. Streaming

一般來說，CUDA 編程流是一種組織異步工作的方式。放入流中的異步命令保證按順序運行，但相對于其他流可能會亂序執行。特別是，兩個流中的異步命令可以被調度為同時運行（受硬件限制）。

在 TensorRT 和推理的上下文中，優化的最終網絡的每一層都需要在 GPU 上工作。但是，并非所有層都能夠充分利用硬件的計算能力。在單獨的流中安排請求允許在硬件可用時立即安排工作，而無需進行不必要的同步。即使只有一些層可以重疊，整體性能也會提高。

使用流式傳輸

識別獨立的推理批次。

為網絡創建一個引擎。

cudaStreamCreate為每個獨立批次創建一個 CUDA 流，并為每個獨立批次創建一個IExecutionContext 。

IExecutionContext：：enqueue從適當的IExecutionContext請求異步結果并傳入適當的流來啟動推理工作。

在所有工作啟動后，與所有流同步以等待結果。執行上下文和流可以重用于以后的獨立工作批次。

多個流 運行多個并發流通常會導致多個流同時共享計算資源的情況。這意味著與優化 TensorRT 引擎時相比，推理期間網絡可用的計算資源可能更少。這種資源可用性的差異可能會導致 TensorRT 選擇一個對于實際運行時條件不是最佳的內核。為了減輕這種影響，您可以在引擎創建期間限制可用計算資源的數量，使其更接近實際運行時條件。這種方法通常以延遲為代價來提高吞吐量。有關更多信息，請參閱限制計算資源。

也可以將多個主機線程與流一起使用。一種常見的模式是將傳入的請求分派到等待工作線程池中。在這種情況下，工作線程池將每個都有一個執行上下文和 CUDA 流。當工作變得可用時，每個線程將在自己的流中請求工作。每個線程將與其流同步以等待結果，而不會阻塞其他工作線程。

13.2.3. CUDA Graphs

CUDA 圖是一種表示內核序列（或更一般地是圖）的方式，其調度方式允許由 CUDA 優化。當您的應用程序性能對將內核排入隊列所花費的 CPU 時間敏感時，這可能特別有用。 TensorRT 的enqueuev2（）方法支持對不需要 CPU 交互的模型進行 CUDA 圖捕獲。例如：

C++

// Capture a CUDA graph instance
cudaGraph_t graph;
cudaGraphExec_t instance;
cudaStreamBeginCapture(stream, cudaStreamCaptureModeGlobal);
context->enqueueV2(buffers, stream, nullptr);
cudaStreamEndCapture(stream, &graph);
cudaGraphInstantiate(&instance, graph, NULL, NULL, 0);

// To run inferences:
cudaGraphLaunch(instance, stream);
cudaStreamSynchronize(stream);

不支持圖的模型包括帶有循環或條件的模型。在這種情況下， cudaStreamEndCapture（）將返回cudaErrorStreamCapture*錯誤，表示圖捕獲失敗，但上下文可以繼續用于沒有 CUDA 圖的正常推理。

捕獲圖時，重要的是要考慮在存在動態形狀時使用的兩階段執行策略。

更新模型的內部狀態以考慮輸入大小的任何變化

將工作流式傳輸到 GPU

對于在構建時輸入大小固定的模型，第一階段不需要每次調用工作。否則，如果自上次調用以來輸入大小發生了變化，則可能需要進行一些工作來更新派生屬性。

第一階段的工作不是為捕獲而設計的，即使捕獲成功也可能會增加模型執行時間。因此，在更改輸入的形狀或形狀張量的值后，調用enqueueV2（）一次以在捕獲圖形之前刷新延遲更新。

使用 TensorRT 捕獲的圖特定于捕獲它們的輸入大小，以及執行上下文的狀態。修改捕獲圖表的上下文將導致執行圖表時未定義的行為 – 特別是，如果應用程序通過createExecutionContextWithoutDeviceMemory（）為激活提供自己的內存，則內存地址也會作為圖表的一部分被捕獲。綁定位置也被捕獲為圖表的一部分。

trtexec允許您檢查構建的 TensorRT 引擎是否與 CUDA 圖形捕獲兼容。有關詳細信息，請參閱trtexec部分。

13.2.4. Enabling Fusion

13.2.4.1. Layer Fusion

TensorRT 嘗試在構建階段在網絡中執行許多不同類型的優化。在第一階段，盡可能將層融合在一起。融合將網絡轉換為更簡單的形式，但保持相同的整體行為。在內部，許多層實現具有在創建網絡時無法直接訪問的額外參數和選項。相反，融合優化步驟檢測支持的操作模式，并將多個層融合到一個具有內部選項集的層中。

考慮卷積后跟 ReLU 激活的常見情況。要創建具有這些操作的網絡，需要使用 addConvolution 添加卷積層，然后使用addActivation和kRELU的ActivationType添加激活層。未優化的圖將包含用于卷積和激活的單獨層。卷積的內部實現支持直接從卷積核一步計算輸出上的 ReLU 函數，而無需第二次內核調用。融合優化步驟將檢測 ReLU 之后的卷積，驗證實現是否支持這些操作，然后將它們融合到一層。

為了調查哪些融合已經發生或沒有發生，構建器將其操作記錄到構建期間提供的記錄器對象。優化步驟在kINFO日志級別。要查看這些消息，請確保將它們記錄在ILogger回調中。

融合通常通過創建一個新層來處理，該層的名稱包含被融合的兩個層的名稱。例如，在 MNIST 中，名為 ip1 的全連接層（InnerProduct）與名為relu1的 ReLU 激活層融合，以創建名為ip1 + relu1的新層。

13.2.4.2. Types Of Fusions

以下列表描述了支持的融合類型。

支持的層融合

ReLU ReLU Activation

執行 ReLU 的激活層，然后執行 ReLU 的激活將被單個激活層替換。

Convolution and ReLU Activation 卷積層可以是任何類型，并且對值沒有限制。激活層必須是 ReLU 類型。

Convolution and GELU Activation

輸入輸出精度要一致；它們都是 FP16 或 INT8。激活層必須是 GELU 類型。 TensorRT 應該在具有 CUDA 10.0 或更高版本的 Turing 或更高版本的設備上運行。

Convolution and Clip Activation

卷積層可以是任何類型，并且對值沒有限制。激活層必須是Clip類型。

Scale and Activation

Scale 層后跟一個 Activation 層可以融合成一個 Activation 層。

Convolution And ElementWise Operation

卷積層后跟 ElementWise 層中的簡單求和、最小值或最大值可以融合到卷積層中。總和不得使用廣播，除非廣播跨越批量大小。

Padding and Convolution/Deconvolution

如果所有填充大小都是非負的，則可以將后跟卷積或反卷積的填充融合到單個卷積/反卷積層中。

Shuffle and Reduce

一個沒有 reshape 的 Shuffle 層，然后是一個 Reduce 層，可以融合成一個 Reduce 層。 Shuffle 層可以執行排列，但不能執行任何重塑操作。 Reduce 層必須有一組keepDimensions維度。

Shuffle and Shuffle

每個 Shuffle 層由轉置、重塑和第二個轉置組成。一個 Shuffle 層后跟另一個 Shuffle 層可以被單個 Shuffle 替換（或什么都沒有）。如果兩個 Shuffle 層都執行 reshape 操作，則只有當第一個 shuffle 的第二個轉置是第二個 shuffle 的第一個轉置的逆時，才允許這種融合。

Scale 可以擦除添加0 、乘以1或計算 1 的冪的Scale 層。

Convolution and Scale

卷積層后跟kUNIFORM或kCHANNEL的 Scale 層融合為單個卷積。如果秤具有非恒定功率參數，則禁用此融合。

Reduce

執行平均池化的 Reduce 層將被 Pooling 層取代。 Reduce 層必須有一個keepDimensions集，使用kAVG操作在批處理之前從CHW輸入格式減少H和W維度。

Convolution and Pooling 卷積層和池化層必須具有相同的精度。卷積層可能已經具有來自先前融合的融合激活操作。

Depthwise Separable Convolution 帶有激活的深度卷積，然后是帶有激活的卷積，有時可能會融合到單個優化的 DepSepConvolution 層中。兩個卷積的精度必須為 INT8，并且設備的計算能力必須為 7.2 或更高版本。

SoftMax and Log

如果 SoftMax 尚未與先前的日志操作融合，則可以將其融合為單個 Softmax 層。

SoftMax 和 TopK

可以融合成單層。 SoftMax 可能包含也可能不包含 Log 操作。

FullyConnected

FullyConnected 層將被轉換為 Convolution 層，所有用于卷積的融合都會生效。

Supported Reduction Operation Fusions

GELU

一組表示以下方程的 Unary 層和 ElementWise 層可以融合到單個 GELU 歸約操作中。

$0.5x × （1+tanh （2/π （x+0.044715x^3）））$

或替代表示： $0.5x × （1+erf （x/\sqrt{2}））$

L1Norm

一個一元層kABS操作和一個 Reduce 層kSUM操作可以融合成一個 L1Norm 歸約操作。

Sum of Squares

具有相同輸入（平方運算）的乘積 ElementWise 層后跟kSUM 約簡可以融合為單個平方和約簡運算。

L2Norm

kSQRT UnaryOperation之后的平方和運算可以融合到單個 L2Norm 歸約運算中。

LogSum

一個縮減層kSUM后跟一個kLOG UnaryOperation 可以融合成一個單一的 LogSum 縮減操作。

LogSumExp

一個一元kEXP ElementWise操作后跟一個 LogSum 融合可以融合成一個單一的 LogSumExp 約簡。

13.2.4.3. PointWise Fusion

多個相鄰的 PointWise 層可以融合到一個 PointWise 層中，以提高性能。

支持以下類型的 PointWise 層，但有一些限制：

Activation

每個ActivationType 。

Constant

僅具有單個值的常量（大小 == 1）。

ElementWise

每個ElementWiseOperation 。

PointWise

PointWise本身也是一個 PointWise 層。

Scale

僅支持ScaleMode：：kUNIFORM 。

Unary

每個UnaryOperation 。

融合的 PointWise 層的大小不是無限的，因此，某些 PointWise 層可能無法融合。

Fusion 創建一個新層，其名稱由融合的兩個層組成。例如，名為add1的 ElementWise 層與名為relu1的 ReLU 激活層融合，新層名稱為： fusedPointwiseNode（add1， relu1） 。

13.2.4.4. Q/DQ Fusion

從 QAT 工具（如NVIDIA 的 PyTorch 量化工具包）生成的量化 INT8 圖由具有比例和零點的onnx：：QuantizeLinear和onnx：：DequantizeLinear節點對 （Q/DQ） 組成。從 TensorRT 7.0 開始，要求zero_point為0 。

Q/DQ 節點幫助將 FP32 值轉換為 INT8，反之亦然。這樣的圖在 FP32 精度上仍然會有權重和偏差。

權重之后是 Q/DQ 節點對，以便在需要時可以對它們進行量化/去量化。偏置量化是使用來自激活和權重的尺度執行的，因此偏置輸入不需要額外的 Q/DQ 節點對。偏差量化的假設是$S_weights * S_input = S_bias$ 。

與 Q/DQ 節點相關的融合包括量化/去量化權重，在不改變模型數學等價性的情況下對 Q/DQ 節點進行交換，以及擦除冗余 Q/DQ 節點。應用 Q/DQ 融合后，其余的構建器優化將應用于圖。

Fuse Q/DQ with weighted node （Conv， FC， Deconv）

如果我們有一個

[DequantizeLinear (Activations), DequantizeLinear (weights)] > Node >
        QuantizeLinear

（ ［DQ， DQ］ 》 Node 》 Q ） 序列，然后融合到量化節點 （ QNode ）。