1. 环境准备从零搭建WSL2开发环境在RTX 5070 Ti上部署Qwen3-8B-AWQ模型前我们需要先搭建好开发环境。WSL2Windows Subsystem for Linux是微软提供的Linux子系统它比传统虚拟机更轻量级性能更好特别适合AI开发。我选择Ubuntu 22.04 LTS作为基础系统因为它有长期支持软件生态稳定。首先确保你的Windows系统版本在2004以上然后在PowerShell中以管理员身份运行wsl --install -d Ubuntu-22.04安装完成后建议立即执行系统更新sudo apt update sudo apt upgrade -y接下来安装必要的开发工具链。这里有个小技巧先安装miniconda来管理Python环境可以避免系统Python被污染。我实测发现Python 3.12与vLLM的兼容性最好wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh conda create -n vllm python3.12 -y conda activate vllm2. CUDA与PyTorch的精确匹配对于RTX 50系显卡特别是5070 TiCUDA版本的选择至关重要。经过多次测试我发现必须使用CUDA 12.8版本否则会遇到sm_120不可用的错误。这里有个坑PyTorch的版本必须与CUDA严格匹配。先配置阿里云镜像源加速下载清华源经常403pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/然后安装PyTorch with CUDA 12.8pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu128验证安装是否成功import torch print(torch.__version__) # 应该显示2.x.xcu128 print(torch.cuda.is_available()) # 必须返回True3. NVCC工具链的配置技巧CUDA Toolkit的安装需要特别注意版本对齐。我参考了CSDN上的教程总结出最稳定的安装流程wget https://developer.download.nvidia.com/compute/cuda/12.8.0/local_installers/cuda_12.8.0_545.23.06_linux.run sudo sh cuda_12.8.0_545.23.06_linux.run安装完成后必须配置环境变量才能让系统找到nvcc。我建议直接写入.bashrc避免每次手动设置echo export PATH/usr/local/cuda-12.8/bin:$PATH ~/.bashrc echo export LD_LIBRARY_PATH/usr/local/cuda-12.8/lib64:$LD_LIBRARY_PATH ~/.bashrc source ~/.bashrc验证nvcc是否可用nvcc --version # 应显示release 12.84. vLLM源码编译的实战经验官方文档的安装方法在50系显卡上会失败必须手动编译。这里分享我踩过的几个坑首先克隆vLLM源码git clone https://github.com/vllm-project/vllm.git cd vllm关键步骤是使用现有torch环境python use_existing_torch.py安装编译依赖时要特别注意setuptools版本。我遇到的问题是setuptools-70.0.0不兼容降级到69.1.0才解决pip install setuptools69.1.0 pip install -r requirements/build.txt pip install -r requirements/common.txt使用并行编译加速根据CPU核心数调整MAX_JOBS8 pip install --no-build-isolation -e .编译过程大约需要20-30分钟AMD 9700X实测。如果失败90%的问题都是版本不匹配导致的。建议仔细查看报错信息通常会有明确提示。5. Qwen3-8B-AWQ模型部署实战模型部署环节有几个关键点需要注意。首先是模型下载我推荐使用modelscope的国内镜像pip install modelscope然后下载量化后的AWQ模型原始8B模型会爆显存from modelscope import snapshot_download model_dir snapshot_download(Qwen/Qwen3-8B-AWQ, cache_dir/path/to/model)启动API服务时有个隐藏技巧添加VLLM_USE_MODELSCOPE环境变量可以加速模型加载VLLM_USE_MODELSCOPEtrue vllm serve $model_dir \ --served-model-name Qwen3-8B-AWQ \ --max_model_len 8192 \ --enable-reasoning \ --reasoning-parser deepseek_r1服务启动后可以用curl测试APIcurl http://localhost:8000/v1/completions \ -H Content-Type: application/json \ -d { model: Qwen3-8B-AWQ, prompt: 解释深度学习的基本原理think\n, max_tokens: 1024, temperature: 0 }6. 性能优化与问题排查在5070 Ti上运行Qwen3-8B-AWQ时显存占用约15GB。如果遇到API无响应的问题可以尝试这个神奇的操作在VSCode的新终端中启动服务后立即CtrlC终止然后重新启动。这个操作看似奇怪但实测能解决90%的API超时问题。监控显存使用情况watch -n 1 nvidia-smi如果发现显存泄漏可以尝试调整--max_model_len参数降低到4096。另外AWQ量化虽然节省显存但会轻微影响推理质量需要根据业务需求权衡。7. 更简单的解决方案免编译安装经过多次测试我发现了一个更简单的安装方法完全不需要手动编译pip install -U vllm \ --extra-index-url https://download.pytorch.org/whl/cu128 \ --extra-index-url https://wheels.vllm.ai/nightly这个方法直接安装预编译的vLLM wheel包但必须确保CUDA 12.8已正确安装PyTorch cu128版本已安装使用Python 3.12环境这种方式的部署时间从原来的2小时缩短到10分钟非常适合快速验证场景。不过手动编译的方式更适合需要深度定制的场景。