type
Post
status
Published
date
Oct 23, 2023
slug
docker-vllm-gpu
summary
在使用 Docker 和 VLLM 部署大型模型时，我们可能会遇到 GPU 选择问题。本文分享了一个常见误区：使用
docker run --gpus 4 并不是选择编号为 4 的 GPU，而是选择前 4 个 GPU。要选择特定编号的 GPU，应使用如 docker run --gpus '"device=4"' 的命令格式。此外，还提供了 -gpus 参数的常见用法参考，帮助开发者更准确地部署模型。此经验旨在帮助开发者避免相同的陷阱，确保部署过程顺利。tags
LLM
category
技术分享
icon
password
最近我在使用Docker和VLLM部署一个大模型时，遇到了一个的问题，今天就和大家分享一下这个小插曲，希望能给你们带来一丝微笑和一点启示。
我打算使用Docker 的
--gpus参数来指定GPU。我有一个带有8个GPU的机器，编号为0到7。我想使用编号为4的GPU，于是我很自信地敲下了以下命令：我以为这样就能选择编号为4的 GPU。但运行后，不是自己想要选择的GPU！这让我感到很困惑？
经过一番搜索和翻阅Docker的官方文档，我发现了问题的原因。原来，
--gpus参数后的数字表示要使用的GPU数量，而不是GPU的编号。所以，--gpus 4实际上是使用前4个可用的GPU。那么，如何选择指定编号的GPU呢？答案是使用
device。例如，要使用编号为4的 GPU，命令应该是：Docker run --gpus的参考用法：
- 使用所有可用的GPU：
- 使用指定数量的GPU（例如2个）：
- 使用指定编号的GPU（例如编号1和3）：
总结一下，使用Docker的
--gpus 参数时，我们需要注意其实际含义。虽然这次的小插曲让我花了不少时间，但也让我学到了一个宝贵的经验。希望我的经历能帮助到大家，也希望大家在技术的道路上，能够少走一些弯路。最后，祝大家代码无bug，部署顺利！