type
status
date
slug
summary
tags
category
icon
password
最近我在使用Docker和VLLM部署一个大模型时，遇到了一个的问题，今天就和大家分享一下这个小插曲，希望能给你们带来一丝微笑和一点启示。
我打算使用Docker 的
--gpus参数来指定GPU。我有一个带有8个GPU的机器，编号为0到7。我想使用编号为4的GPU，于是我很自信地敲下了以下命令：我以为这样就能选择编号为4的 GPU。但运行后，不是自己想要选择的GPU！这让我感到很困惑？
经过一番搜索和翻阅Docker的官方文档，我发现了问题的原因。原来，
--gpus参数后的数字表示要使用的GPU数量，而不是GPU的编号。所以，--gpus 4实际上是使用前4个可用的GPU。那么，如何选择指定编号的GPU呢？答案是使用
device。例如，要使用编号为4的 GPU，命令应该是：Docker run --gpus的参考用法：
- 使用所有可用的GPU：
- 使用指定数量的GPU（例如2个）：
- 使用指定编号的GPU（例如编号1和3）：
总结一下，使用Docker的
--gpus 参数时，我们需要注意其实际含义。虽然这次的小插曲让我花了不少时间，但也让我学到了一个宝贵的经验。希望我的经历能帮助到大家，也希望大家在技术的道路上，能够少走一些弯路。最后，祝大家代码无bug，部署顺利！