valuevllm_ascend:registerINFO 02-18 08:49:58 __init__.py:32] all available plugins for group vllm.platform_plugins will be loaded.INFO 02-18 08:49:58 __init__.py:34] set environment variable VLLM_PLUGINS to control which plugins to load.INFO 02-18 08:49:58 __init__.py:42] plugin ascend loaded.INFO 02-18 08:49:58 __init__.py:174] Platform plugin ascend is activatedINFO 02-18 08:50:12 config.py:526] This model supports multiple tasks: {embed， 二、 部署实战关键步骤与决策点 本文的部署侧重于详解 vLLM 模型迁移至昇腾平台的关键步骤包括昇腾驱动适配、推理服务启动等， 一、 核心挑战为何选择 vLLM-ascend 在国产算力平台上部署大模型最大的挑战往往在于软件生态的适配效率。
nnal 三个包并 --full 或 --install 安装， 设置****环境变量 source /usr/local/Ascend/ascend-toolkit/set_env.sh， 排查验证 为了验证这个假设我们绕过镜像直接用 Python 查询 PyPI 官方 API检查包是否存在， 2; python_version 3.9 。
my name is， 常见问题 如果直接从 PyPI 安装 vllm-ascend 的较新版本如 0.11.0rc1可能会遇到 “No matching distribution found” 的错误， 3. 安装 vLLM 与 vLLM-ascend 在配置好 CANN 和 Python 3.11 环境后我们终于可以安装 vLLM 本体，要在国产昇腾 NPU 上高效运行 vLLM则需要依赖 vllm-ascend 适配层，The capital of France is。
120， mm_processor_kwargsNone， est. speed input: 46.55 toks/s， in __post_init__raise RuntimeError(RuntimeError: Failed to infer device type， revisionNone， download_dirNone， 图 2 选择正确的 py3.11 容器镜像，这是因为 PyPI 上的 vllm-ascend 包版本是有限的， pipeline_parallel_size1， 欢迎大家点开下面名片添加好友交流，152， collect_model_forward_timeFalse， line 2119， collect_model_execute_timeFalse)，176， # CPU blocks: 2730INFO 02-18 08:50:24 executor_base.py:113] Maximum concurrency for 32768 tokens per request: 136.97xINFO 02-18 08:50:25 llm_engine.py:429] init engine (profile，80， 结论 我们查阅 vllm 0.10.0 以上版本的 pyproject.toml 文件发现其元数据中明确要求 requires_python “3.9，216。
40， observability_configObservabilityConfig(otlp_traces_endpointNone， skip_tokenizer_initFalse， in innerreturn fn(*args。
160，同理vllm-ascend 的 0.11.0rc1 版本也存在，56， 依赖配置需手动介入 即使在预装 CANN 的镜像中也需要为 venv 虚拟环境手动配置 CANN 工具链和环境变量， 图 3 npu-smi 命令显示 910B3 硬件状态正常Health 状态为 OK， dtypetorch.bfloat16，The future of AI is， 1. 关键踩坑点bash 环境 GitCode Notebook 默认的执行环境并非标准 bash shell直接运行 python -m venv ... 会导致 “no such option: -m” 错误， ❤️.12” euler2.9-py38 镜像的 Python 3.8 环境不满足 3.9 的最低要求， disable_mm_preprocessor_cacheFalse。
5.85it/s]INFO 02-18 08:50:24 executor_base.py:108] # CPU blocks: 35064，232， use_cached_outputsFalse， SamplingParams# 使用一个轻量级模型进行快速测试prompts [Hello， 总结 在昇腾 910B 平台上部署 vLLM-ascend 是一项涉及硬件、驱动、Python 版本和框架依赖的系统工程，4。
因此选择 py3.11 镜像是成功部署 vLLM-ascend 的前提。
24。
248，104， in __init__self.llm_engine LLMEngine.from_engine_args(^^^^^^^^^^^^^^^^^^^^^^^^^^^ File /home/service/.local/lib/python3.11/site-packages/vllm/v1/engine/llm_engine.py。
sampling_params)# 打印结果for output in outputs:prompt output.promptgenerated_text output.outputs[0].textprint(fPrompt: {prompt!r}， Generated text: Paris. The oldest part of the city is Saint-Germain-des-PrPrompt: The future of AI is。
generate， tokenizer./Qwen2.5-0.5B-Instruct，96， kernels-910b， 错误选项 euler2.9-py38-torch2.1.0... 镜像，Loading safetensors checkpoint shards: 0% Completed | 0/1 [00:00?， Generated text: not bright\n\nThere is no doubt that the evolution of AI will have a huge 四、性能加速 五、 深度复盘Python 3.8 失败路径与依赖分析 在第二章中我们强调了选择 py3.11 镜像的重要性， vLLM 凭借 PagedAttention 已成为大模型推理的标准配置，224， which is not installed.op - compile - tool 0.1.0 requires multiprocessing ， line 4， use_async_output_procTrue，32， 原文链接 ⚡️更新更及时， load_formatauto，192， classify，]# 配置采样参数sampling_params SamplingParams(temperature0.8。
please set the environment variable VLLM_LOGGING_LEVELDEBUG to turn on verbose logging to help debug the issue.[ERROR] 2025-11-12-19:04:22 (PID:180237， 核心实践经验总结如下 环境选择至关重要 必须使用 Python 3.9 的环境如 GitCode 的 py3.11 镜像才能满足 vllm 的版本要求， 版本匹配是关键 vllm 和 vllm-ascend 的版本需要严格匹配并选择 PyPI 上实际存在的版本如 0.9.1进行安装，48， 通过一整个下午的尝试在 GitCode 免费昇腾 910B 环境上部署成功了 vLLM-ascend， output: 135.41 toks/s]Prompt: Hello。
in __init__ File /home/service/.local/lib/python3.11/site-packages/vllm/config.py， disable_custom_all_reduceFalse， Python import osos.environ[VLLM_USE_V1] 1from vllm import LLM。
解决方案 必须先在 Notebook Cell 中输入 bash 命令进入一个真正的 shell 环境后续所有安装命令都应在该 bash 环境下执行，144。
tensor_parallel_size1， 4.报错 Failed to import from vllm._C 运行代码时报错 $ python example.pyINFO 11-12 19:04:16 [importing.py:53] Triton module has been replaced with a placeholder.INFO 11-12 19:04:19 [__init__.py:243] No platform detected， seed0， but you have xgrammar 0.1.23. 结果就是vllm、vllm-flash-attn、vllm-nccl-cu12这些包对应的torch版本为2.3.1而我的torch是最新版本2.4.0卸载掉重新安装好对应正确版本的包即可， served_model_name./Qwen2.5-0.5B-Instruct， 昇腾 910B 部署 vLLM-ascend 实战从环境踩坑到推理部署 你好呀我是 感谢你的陪伴与支持~ 欢迎添加文末好友 在所有感兴趣的领域扩展知识不定期掉落福利资讯(*^▽^*) 写在最前面 版权声明本文为原创遵循 CC 4.0 BY-SA 协议， enable_prefix_cachingFalse。
1. 故障现象pip install 失败 在 py38 环境中尝试安装 vllm0.9.0 或 vllm-ascend0.9.0 时pip 会直接报错 ERROR: Could not find a version that satisfies the requirement vllm0.9.0… ERROR: No matching distribution found for vllm0.9.0… 图 6 在 Py3.8 环境下安装 vllm 0.9.0 失败提示找不到匹配版本，88， pooler_configNone。
quantizationNone，8，这推翻了“镜像不同步”或“包不存在”的假设， 解决方案 根据昇腾官方文档我们选择安装经过验证的 0.9.1 版本， vLLM is running on UnspecifiedPlatformWARNING 11-12 19:04:20 [_custom_ops.py:21] Failed to import from vllm._C with ModuleNotFoundError(No module named vllm._C)Traceback (most recent call last): File /opt/huawei/edu-apaas/src/init/example.py。
而 euler2.9-py38… 镜像的 Python 3.8 环境无法满足这一核心依赖会导致后续 pip install 失败， 以下命令展示了完整的安装流程 进入 Bash bash 创建****虚拟环境 python -m venv vllm-ascend-env 激活环境 source vllm-ascend-env/bin/activate 安装****CANN 下载 toolkit，cudagraph_capture_sizes:[256，208。
in from_engine_argsvllm_config engine_args.create_engine_config(usage_context)^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File /home/service/.local/lib/python3.11/site-packages/vllm/engine/arg_utils.py， my name is， ?it/s]Loading safetensors checkpoint shards: 100% Completed | 1/1 [00:0000:00， chunked_prefill_enabledFalse。
， 步骤三核心组件安装与“第二个关键决策” 在安装 vllm 之前我们必须配置好对应的 CANN (Compute Architecture for Neural Networks) 工具包。
which is not installed.opencv - python - headless 4.12.0.88 has requirement numpy2.3.0 。
2. 疑点排查是镜像问题还是版本问题 初始假设 这个报错最直观的猜想是pip 配置的清华镜像mirrors.tuna.tsinghua.edu.cn索引不全或同步延迟，72， 三、 环境测试运行推理服务 安装完成后我们使用一个简单的脚本来验证 vLLM-ascend 是否能成功调用 NPU 进行推理，max_capture_size:256}。
Device:-1， 深度分析 虽然我们的镜像名称中已包含 cann8.2.rc1但在虚拟环境中我们仍需手动安装或配置 CANN 相关的依赖和环境变量， compilation_config{splitting_ops:[]，200， score， 正确选项 ubuntu22.04-py3.11-cann8.2.rc1... 镜像，传统的部署方案如手动转换 OM 模型、编写 ACL 接口开发周期长、效率低下， tokenizer_modeauto， RankID:-1) ERR99999 UNKNOWN applicaiton exception 通过上网查询资料发现大概率是pip包版本之间的冲突使用如下命令可以进行检测是否有包版本与vllm相关包形成了冲突 pip check # 报错 $ pip checkop - compile - tool 0.1.0 requires getopt ， override_neuron_configNone，这是因为 Python 虚拟环境venv默认是隔离的vllm-ascend 在编译时需要能明确找到 CANN 的头文件和库， multi_step_stream_outputsTrue， Bash # 配置 pip 源pip config set global.index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simplepip install --upgrade pip# 安装 vllm 及其昇腾适配包pip install vllm0.9.1pip install vllm-ascend0.9.1 图 5 在 Python 3.11 环境下成功安装 vllm0.9.1，转载请注明出处，因此pip 判定 vllm0.11.0 与当前环境不兼容从而给出了“找不到版本”的错误，240。
max_seq_len32768。
16， 本文详细记录了完整实战过程重点剖析了环境选择、CANN 依赖配置、以及版本兼容性等关键问题提供了一条可复现的高性能部署路径， speculative_configNone，128， 步骤一环境准备与“第一个关键决策” 我们使用 GitCode 提供的免费昇腾 Notebook 环境 https://gitcode.com/dashboard 图 1 通过 GitCode 仪表盘进入 Notebook 环境。
1]，本章将详细复盘如果错选了 py3.8 镜像euler2.9-py38...会导致怎样的失败以及如何定位问题根源， a teenage boy from New York City. Im a computer sciencePrompt: The president of the United States is，136， tokenizer_revisionNone， 5.86it/s]Loading safetensors checkpoint shards: 100% Completed | 1/1 [00:0000:00，如果你喜欢我的文章欢迎三连给我鼓励和支持点赞 关注 评论我会给大家带来更多有用有趣的文章， line 1098，2， 分析 查询结果证实PyPI 上明确存在 0.11.0 版本， enforce_eagerFalse。
168， line 130，64，The president of the United States is，详细分析见第四章 步骤二NPU 环境“体检” 进入 py3.11 环境后我们首先通过 npu-smi info 命令检查硬件状态确保 Ascend 910B 被正确识别且状态为 OK， 图 4 安装 CANN 过程中需要输入 “Y” 同意协议， kv_cache_dtypeauto。
but you have numpy 1.26.4.vllm 0.8.5.post1empty has requirement xgrammar0.1.18; platform_machine x86_64 or platform_machine aarch64 ， 8.46it/s，184， line 247， reward}. Defaulting to generate.INFO 02-18 08:50:12 llm_engine.py:232] Initializing a V0 LLM engine (v0.7.1) with config: model./Qwen2.5-0.5B-Instruct， line 16， decoding_configDecodingConfig(guided_decoding_backendxgrammar)， Generated text: {generated_text!r}) 输出结果为 INFO 02-18 08:49:58 __init__.py:28] Available plugins for group vllm.platform_plugins:INFO 02-18 08:49:58 __init__.py:30] nameascend， 3. 定位根源Python 版本不兼容 pip 在报告 “No matching distribution” 时不仅会检查包名和版本号还会检查当前环境如 Python 版本、系统架构是否满足包的元数据requires_python要求，对于 vllm-ascend 这类前沿框架必须优先选择 Python 3.9 的基础环境， Python # 查询 PyPI 上的 vllm 所有版本import jsonimport urllib.requestdata json.load(urllib.request.urlopen(https://pypi.org/pypi/vllm/json))print(sorted(data[releases].keys())) 图 7 直接查询 PyPI 证实0.9.0 版本是真实存在的， which is not installed.op - compile - tool 0.1.0 requires inspect 。
many people think thatPrompt: The capital of France is， line 1161， vLLM-ascend 的出现解决了这一痛点它使开发者能继续使用熟悉的 vLLM Python 接口和 OpenAI 服务模式同时在底层无缝调用昇腾 NPU 算力实现了开发效率与运行性能的统一， 复盘总结 这个踩坑过程清晰地表明环境选择是部署的第一道关卡。
Generated text: a very important person. When he or she is elected， create kv cache。
通过遵循上述步骤可以成功在昇腾 NPU 上搭建起 vLLM 高性能推理服务为后续的性能调优和“0Day模型”适配打下坚实基础， num_scheduler_steps1， in create_engine_configdevice_config DeviceConfig(deviceself.device)^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File string， in modulellm LLM(modelQwen/Qwen2.5-0.5B-Instruct)^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File /home/service/.local/lib/python3.11/site-packages/vllm/utils.py， device_confignpu， top_p0.95)# 加载模型 (注意模型会下载到本地)llm LLM(modelQwen/Qwen2.5-0.5B-Instruct)# 执行推理outputs llm.generate(prompts， 2. 配置虚拟环境与 CANN 我们首先创建一个独立的 Python 虚拟环境并安装 CANN 8.2 RC1。
compile_sizes:[]， Generated text: Shinji。
在选择“容器镜像”时我们遇到了第一个关键决策点，。
**kwargs)^^^^^^^^^^^^^^^^^^^ File /home/service/.local/lib/python3.11/site-packages/vllm/entrypoints/llm.py， warmup model) took 3.87 secondsProcessed prompts: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:0000:00， 参考文档 vLLM-ascend 官方安装指南 hello我是 ，112， trust_remote_codeFalse， 原因 在后续的安装中我们发现vllm 的 0.9.0 以上版本普遍要求 Python 3.9。