TensorRT推理加速技术

TensorRT 是NVIDIA的深度学习推理优化器，可显著降低延迟、提升吞吐。

核心优化技术：

1. 图优化与层融合：

• 垂直融合：Conv+Bias+ReLU → CBR块
• 水平融合：相同操作的并行节点合并
• 消除无用的转置/reshape操作
• 减少Kernel Launch和显存带宽开销

2. 精度校准 (INT8/FP16)：

• FP16推理：速度提升~2倍，显存减半，精度损失极小
• INT8量化：速度提升~4倍，需校准集减少精度损失
• 校准方法：
  • 熵校准(Entropy Calibration)：最小化KL散度
  • 均方误差最小化(MSE)
  • Per-tensor / Per-channel量化

3. 动态张量内存(Dynamic Tensor Memory)：

• 内存池复用，避免动态分配
• 减少显存峰值

4. 自动调优(Auto-tuning)：

• 为每层搜索最优kernel配置（block size、算法等）
• 支持多种算法（如不同卷积实现）自动选择

工作流：

1. 导出ONNX模型
2. 用 trtexec 或Python API构建TensorRT引擎
3. 序列化引擎文件 .trt/.engine
4. 推理时反序列化并运行

适用场景：高吞吐OLAP、边缘端实时推理（如自动驾驶、直播特效）。