前言
在上一篇《租GPU服务器之前要先确认什么?》里,我们把下单前要核对的参数清单过了一遍。GPU服务器到手、远程连上去后,我们已经开始花钱了,有些人可能就火急火燎地把训练任务扔上去跑,多赚一点服务器服务的时间。这其实把顺序做反了,如果出现任务跑不动、速度不对劲的情况,这时候你就分不清是机器有问题还是自己的任务有问题,就很难排查了。
GPU服务器到手后的正确顺序是先验货再干活。GPU 服务器的验货不复杂,顺利的话,大概半小时左右把,一共就三步:
确认卡是真的
确认满载稳得住
确认自己的任务跑得动。
本文就来详细地讲解一下这三步的做法和结果怎么判读。
先看卡对不对
验货第一步,看系统认到的卡和下单的卡是不是同一张。用 nvidia-smi(NVIDIA 显卡自带的管理工具,装好驱动就有):
nvidia-smi 表格里重点核三样:
卡型和数量:最上面一行显示的是什么卡、几张,和订单对上——这是最基本的一条,货不对板一切免谈;
显存总量:显存数字直接印在表里,和产品页标注核对;
驱动版本和 CUDA 版本:表格上方有一行 Driver Version,确认驱动版本和你要用的软件栈兼容,不兼容先解决这个再往下走。
这里跑通了,只能说明卡在、系统能用。卡的真实状态,还要靠压测来看。

压测看满载
日常任务未必把卡吃满,藏起来的问题也就未必暴露。压测就是故意把 GPU 拉满,看它在极限状态下稳不稳。常用的工具是 gpu-burn(开源的 GPU 满载压测工具),在装好 CUDA 的机器上编译运行:
git clone https://github.com/wilicc/gpu-burn.git
cd gpu-burn
make
./gpu_burn 60 这条命令表示持续压测 60 秒。第一次验货建议跑 5 到 10 分钟(把 60 换成 300 或 600),新机器的风道、供电有没有问题,几分钟满载就能看出来。
压测的同时,另开一个窗口盯着状态:
watch -n 1 nvidia-smi watch 是让命令每秒刷新一次,温度、功耗、利用率几项实时看。正常情况是利用率顶满、功耗贴着额定值、温度爬升后稳在一个水平线上不再动。
温度和功耗怎么判读
压测时最值得看的是有没有降频。卡太热或者供电不到位,频率会自动往下掉,性能就打折了。nvidia-smi 的详细输出里有一段 Clocks Event Reasons(时钟事件原因),会标注卡为什么没有跑满频率:
nvidia-smi -q | grep -A 8 "Clocks Event Reasons" 判读分两种情况:
SW Power Cap:意思是功率顶到了设定的上限。满载压测时出现这条多数是正常的——数据中心卡的设计就是持续贴着额定功耗跑,属于设计内行为;
SW Thermal Slowdown / HW Thermal Slowdown:意思是温度过高触发降速保护。压测中出现这两条,说明散热压不住,机器长时间满载性能会持续打折,需要找商家处理。
温度的具体数字每张卡的规格不一样,不用记统一标准。
跑一段自己的任务
压测是标准化的满载,但最终我们买的不是跑分,是自己任务的吞吐。最后一步,拿真实负载过一遍。
先做一遍环境自检,以 PyTorch 为例:
python3 -c "import torch; print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0))" 输出 True 和正确的卡名,说明框架认到了卡。然后把你的模型拿一小批数据跑起来,记录吞吐——每秒处理多少条、迭代一轮多长时间,心里记个数。
这个数有两个用处:一是验货当下对比预期,和同类卡公开的性能参考差得太远就要追问商家;二是留作这台机器的基线,以后哪天速度莫名掉了,有基线才有对照,不用从零排查。
至于系统、IP、磁盘这些通用检查,GPU 机器同样要做一遍,可以参考 Yuio 随笔博客的文章《新VPS到手必做的五项检查》。
总结
GPU 服务器验货就三步,每步都有明确的判读标准:
nvidia-smi 核卡型、显存、驱动,确认货对板;
gpu-burn 压测看满载,Clocks Event Reasons 里警惕 Thermal Slowdown,散热问题趁早找商家;
自己的任务跑一遍记下基线吞吐,以后性能异常有对照。
验货要花半小时,但这半小时是在给后面几百小时的稳定运行打底。尤其是短租来验证的机器,更要先验货再跑任务,如果发现不对,趁早换,趁早退,最大化降低试错成本。厂商在产品页写得都比较明白的,卡型、机房等信息,在下单前仔细核对、到手后再验货,两头都做扎实,保障自己的业务能稳定运转。
评论区