保姆级教程：在Ubuntu 22.04上用Docker快速部署你的第一个Triton Inference Server服务

张

张建站

2026/5/19 14:06:21

10分钟阅读

保姆级教程在Ubuntu 22.04上用Docker快速部署你的第一个Triton Inference Server服务当深度学习模型完成训练后如何将其转化为可对外提供服务的推理接口NVIDIA开源的Triton Inference Server正是为解决这一问题而生。作为当前最流行的推理服务框架之一它支持多种模型格式、提供高性能推理能力并且与Docker和Kubernetes生态无缝集成。本教程将带你从零开始在Ubuntu 22.04系统上通过Docker快速搭建一个可运行的Triton服务实例。1. 环境准备与基础配置1.1 系统要求检查在开始之前请确保你的Ubuntu 22.04系统满足以下最低要求硬件配置至少4核CPU、8GB内存运行LLM等大模型需要更高配置存储空间50GB可用磁盘空间用于存放Docker镜像和模型文件GPU支持如需GPU加速需安装NVIDIA驱动推荐版本515以上通过以下命令检查系统基本信息# 查看系统版本 lsb_release -a # 检查CPU核心数 nproc # 检查内存大小 free -h1.2 Docker与NVIDIA容器工具包安装Triton Inference Server推荐使用Docker部署这能避免复杂的依赖问题。执行以下步骤安装Docker CEsudo apt-get update sudo apt-get install -y docker.io sudo systemctl enable --now docker验证Docker安装sudo docker run hello-world安装NVIDIA容器工具包仅GPU环境需要distribution$(. /etc/os-release;echo $ID$VERSION_ID) \ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ curl -fsSL https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \ sed s#deb https://#deb [signed-by/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt-get update sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker2. 获取Triton Inference Server镜像NVIDIA在NGCNVIDIA GPU Cloud上提供了预构建的Triton镜像包含所有必要组件。根据你的硬件环境选择合适版本镜像类型适用场景拉取命令nvcr.io/nvidia/tritonserver:23.06-py3最新稳定版docker pull nvcr.io/nvidia/tritonserver:23.06-py3nvcr.io/nvidia/tritonserver:23.06-py3-sdk包含客户端工具docker pull nvcr.io/nvidia/tritonserver:23.06-py3-sdknvcr.io/nvidia/tritonserver:23.06-py3-min最小化版本docker pull nvcr.io/nvidia/tritonserver:23.06-py3-min推荐使用SDK版本以便后续测试docker pull nvcr.io/nvidia/tritonserver:23.06-py3-sdk注意镜像大小约5-10GB下载时间取决于网络状况。国内用户可配置镜像加速器提升下载速度。3. 准备模型仓库Triton要求模型按照特定目录结构存放。我们以ONNX格式的ResNet-50分类模型为例创建模型仓库目录mkdir -p ~/triton_models/resnet50/1下载示例模型wget -O ~/triton_models/resnet50/1/model.onnx \ https://github.com/onnx/models/raw/main/vision/classification/resnet/model/resnet50-v1-12.onnx添加配置文件在~/triton_models/resnet50目录下创建config.pbtxtname: resnet50 platform: onnxruntime_onnx max_batch_size: 8 input [ { name: data data_type: TYPE_FP32 dims: [ 3, 224, 224 ] } ] output [ { name: prob data_type: TYPE_FP32 dims: [ 1000 ] } ]关键配置说明platform指定模型运行时ONNX、TensorRT等max_batch_size设置最大批处理大小input/output定义模型输入输出张量形状4. 启动Triton Server根据硬件环境选择启动方式4.1 CPU-only模式docker run --rm -p8000:8000 -p8001:8001 -p8002:8002 \ -v ~/triton_models:/models \ nvcr.io/nvidia/tritonserver:23.06-py3-sdk \ tritonserver --model-repository/models4.2 GPU加速模式docker run --gpus all --rm -p8000:8000 -p8001:8001 -p8002:8002 \ -v ~/triton_models:/models \ nvcr.io/nvidia/tritonserver:23.06-py3-sdk \ tritonserver --model-repository/models启动参数说明-p映射服务端口HTTP 8000、GRPC 8001、Metrics 8002-v挂载模型仓库目录--gpus all启用所有可用GPU仅GPU模式需要成功启动后终端会显示类似输出I1002 14:23:45.890577 1 server.cc:592] ------------------------------------ | Model | Version | Status | ------------------------------------ | resnet50 | 1 | READY | ------------------------------------ ...5. 发送推理请求测试Triton支持HTTP和GRPC两种协议。我们使用Python客户端发送测试请求安装客户端库pip install tritonclient[http]创建测试脚本inference_test.pyimport numpy as np from PIL import Image import tritonclient.http as httpclient # 预处理函数 def preprocess(img_path): img Image.open(img_path).resize((224, 224)) arr np.array(img).transpose(2,0,1).astype(np.float32) return (arr/255.0 - [0.485, 0.456, 0.406]) / [0.229, 0.224, 0.225] # 创建客户端 client httpclient.InferenceServerClient(urllocalhost:8000) # 准备输入 input_data preprocess(test.jpg).reshape(1,3,224,224) inputs [httpclient.InferInput(data, input_data.shape, FP32)] inputs[0].set_data_from_numpy(input_data) # 发送请求 outputs [httpclient.InferRequestedOutput(prob)] result client.infer(resnet50, inputs, outputsoutputs) # 解析结果 output_array result.as_numpy(prob) print(Top5结果:, np.argsort(output_array[0])[-5:][::-1])执行测试python inference_test.py6. 常见问题排查6.1 模型加载失败现象日志中出现UNAVAILABLE状态解决方法检查模型目录结构是否符合规范验证config.pbtxt中的输入输出定义是否与模型匹配使用--log-verbose1参数启动获取详细日志6.2 性能优化建议动态批处理在config中启用dynamic_batching并发模型实例设置instance_group配置多个实例启用TensorRT加速转换模型为TensorRT格式6.3 端口冲突如果默认端口被占用可通过修改启动参数调整docker run ... -p9000:8000 -p9001:8001 -p9002:8002 ...7. 进阶配置与生产部署当基本服务运行稳定后可以考虑以下增强措施模型版本控制在模型目录下创建多个版本子目录如1/,2/健康检查API定期访问v2/health/ready端点Prometheus监控通过8002端口采集性能指标Kubernetes集成使用Helm chart进行容器编排一个典型的生产级启动命令可能如下docker run --gpusall --rm -p8000:8000 -p8001:8001 -p8002:8002 \ -v /mnt/nas/models:/models \ -e CUDA_VISIBLE_DEVICES0,1 \ nvcr.io/nvidia/tritonserver:23.06-py3 \ tritonserver --model-repository/models \ --http-port8000 \ --grpc-port8001 \ --metrics-port8002 \ --model-control-modepoll \ --repository-poll-secs30这套配置实现了只使用前两块GPUCUDA_VISIBLE_DEVICES模型热加载model-control-modepoll每30秒检查模型更新repository-poll-secs