Triton Inference Server的模型并发与动态批处理
NVIDIA Triton Inference Server是生产级模型服务框架。请解释Triton的核心特性：模型并发（Model Concurrency）、动态批处理（Dynamic Batching）、调度策略（Sequence Batcher），以及它与TorchServe的不同定位。
回答
屠龙少年
Triton核心特性：
1. 模型并发（Model Concurrency）：
- 同一GPU可同时加载多个模型实例（不同模型/同一模型的多个副本）
- 每个模型实例在独立的CUDA流运行
- 支持模型实例数动态配置（instance_group）
2. 动态批处理（Dynamic Batching）：
- 将多个推理请求自动合并为一个批次
- 策略：max_batch_size + max_queue_delay_us（等待延迟上限）
- 提高GPU利用率（GPU对批量计算有优势）
- 支持preferred_batch_size（最优批量大小）
3. 调度策略：
- Default Scheduler：FIFO + 动态批处理
- Sequence Batcher：保持序列内请求的顺序（用于BERT/RNN等有状态模型）
- Ensemble Scheduler：定义DAG式的pipeline（类似CUDA Graph）
4. 模型格式支持： TensorRT、TensorFlow、PyTorch（TorchScript/Torch-TensorRT）、ONNX、OpenVINO
与TorchServe的区别：
| 维度 | Triton | TorchServe |
|---|---|---|
| 定位 | 通用推理服务器 | PyTorch专属 |
| GPU优化 | 深度（TensorRT集成、CUDA优化） | 中等 |
| 多框架 | ✅ 多框架 | ❌ 仅PyTorch |
| 动态批处理 | ✅ 内置 | ✅ 支持 |
| 模型版本管理 | ✅ 自动版本策略 | ✅ 支持 |
| 部署复杂度 | 较高（需理解GPU调度） | 较低 |
适用：Triton适合大型生产环境（高吞吐、多模型、GPU集群）。