侧边栏壁纸
博主头像
海德主机测评

行动起来,活在当下

  • 累计撰写 49 篇文章
  • 累计创建 24 个标签
  • 累计收到 0 条评论

目 录CONTENT

文章目录

GPU服务器到手后怎么验货?

前言

在上一篇《租GPU服务器之前要先确认什么?》里,我们把下单前要核对的参数清单过了一遍。GPU服务器到手、远程连上去后,我们已经开始花钱了,有些人可能就火急火燎地把训练任务扔上去跑,多赚一点服务器服务的时间。这其实把顺序做反了,如果出现任务跑不动、速度不对劲的情况,这时候你就分不清是机器有问题还是自己的任务有问题,就很难排查了。

GPU服务器到手后的正确顺序是先验货再干活。GPU 服务器的验货不复杂,顺利的话,大概半小时左右把,一共就三步:

  1. 确认卡是真的

  2. 确认满载稳得住

  3. 确认自己的任务跑得动。

本文就来详细地讲解一下这三步的做法和结果怎么判读。

先看卡对不对

验货第一步,看系统认到的卡和下单的卡是不是同一张。用 nvidia-smi(NVIDIA 显卡自带的管理工具,装好驱动就有):

nvidia-smi 

表格里重点核三样:

  • 卡型和数量:最上面一行显示的是什么卡、几张,和订单对上——这是最基本的一条,货不对板一切免谈;

  • 显存总量:显存数字直接印在表里,和产品页标注核对;

  • 驱动版本和 CUDA 版本:表格上方有一行 Driver Version,确认驱动版本和你要用的软件栈兼容,不兼容先解决这个再往下走。

这里跑通了,只能说明卡在、系统能用。卡的真实状态,还要靠压测来看。

GPU服务器验货.webp

压测看满载

日常任务未必把卡吃满,藏起来的问题也就未必暴露。压测就是故意把 GPU 拉满,看它在极限状态下稳不稳。常用的工具是 gpu-burn(开源的 GPU 满载压测工具),在装好 CUDA 的机器上编译运行:

git clone https://github.com/wilicc/gpu-burn.git
cd gpu-burn
make
./gpu_burn 60 

这条命令表示持续压测 60 秒。第一次验货建议跑 5 到 10 分钟(把 60 换成 300 或 600),新机器的风道、供电有没有问题,几分钟满载就能看出来。

压测的同时,另开一个窗口盯着状态:

watch -n 1 nvidia-smi 

watch 是让命令每秒刷新一次,温度、功耗、利用率几项实时看。正常情况是利用率顶满、功耗贴着额定值、温度爬升后稳在一个水平线上不再动。

温度和功耗怎么判读

压测时最值得看的是有没有降频。卡太热或者供电不到位,频率会自动往下掉,性能就打折了。nvidia-smi 的详细输出里有一段 Clocks Event Reasons(时钟事件原因),会标注卡为什么没有跑满频率:

nvidia-smi -q | grep -A 8 "Clocks Event Reasons" 

判读分两种情况:

  • SW Power Cap:意思是功率顶到了设定的上限。满载压测时出现这条多数是正常的——数据中心卡的设计就是持续贴着额定功耗跑,属于设计内行为;

  • SW Thermal Slowdown / HW Thermal Slowdown:意思是温度过高触发降速保护。压测中出现这两条,说明散热压不住,机器长时间满载性能会持续打折,需要找商家处理。

温度的具体数字每张卡的规格不一样,不用记统一标准。

跑一段自己的任务

压测是标准化的满载,但最终我们买的不是跑分,是自己任务的吞吐。最后一步,拿真实负载过一遍。

先做一遍环境自检,以 PyTorch 为例:

python3 -c "import torch; print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0))" 

输出 True 和正确的卡名,说明框架认到了卡。然后把你的模型拿一小批数据跑起来,记录吞吐——每秒处理多少条、迭代一轮多长时间,心里记个数。

这个数有两个用处:一是验货当下对比预期,和同类卡公开的性能参考差得太远就要追问商家;二是留作这台机器的基线,以后哪天速度莫名掉了,有基线才有对照,不用从零排查。

至于系统、IP、磁盘这些通用检查,GPU 机器同样要做一遍,可以参考 Yuio 随笔博客的文章《新VPS到手必做的五项检查》。

总结

GPU 服务器验货就三步,每步都有明确的判读标准:

  • nvidia-smi 核卡型、显存、驱动,确认货对板;

  • gpu-burn 压测看满载,Clocks Event Reasons 里警惕 Thermal Slowdown,散热问题趁早找商家;

  • 自己的任务跑一遍记下基线吞吐,以后性能异常有对照。

验货要花半小时,但这半小时是在给后面几百小时的稳定运行打底。尤其是短租来验证的机器,更要先验货再跑任务,如果发现不对,趁早换,趁早退,最大化降低试错成本。厂商在产品页写得都比较明白的,卡型、机房等信息,在下单前仔细核对、到手后再验货,两头都做扎实,保障自己的业务能稳定运转。

0

评论区