GPU租赁新手入门:从选卡到环境部署完整教程
GPU租赁新手入门:从选卡到环境部署完整教程
第一次租 GPU,最容易把顺序弄反。
多数人的做法是先比价,挑一张价格最低的卡,付完钱才发现环境没配好:nvidia-smi 能出结果,torch.cuda.is_available() 却返回 False;装完一个包另一个又崩;CUDA 12.8 编译的轮子装进 11.8 的机器,报错看不出问题在哪。
把顺序倒过来,从显存开始,到环境、连接、数据、跑通,五步走完,新手两小时内能拿到第一个能跑的训练结果。按这个顺序走一遍。
一、第一步:按显存选卡,别按价格选
显存决定跑不跑得动,算力只决定跑多快。这个区别在新手阶段特别重要:显存不够,任务直接 OOM 退出,再便宜也用不上;算力弱一点,只是慢,任务照样完成。
按这个思路,选卡其实是在选显存档位。拿共绩科技举例,共绩算力有哪些 GPU?目前在租 22 个卡型,从 4090 到 H200,也含昆仑芯 P800、海光 BW1000、摩尔线程 S4000 几款国产卡。新手先看这几档就够:
卡型 | 显存 | 按量单价(元/小时) | 适合谁 |
RTX 4090 | 24G | 1.98 | 入门常用。7B 模型微调、出图、中小规模推理 |
RTX 5090 | 32G | 3.25 | 显存差一口气的场合,比如更高分辨率出图 |
A800 | 80G | 8.2 | 多卡训练、大模型微调 |
A100 | 80G | 11.4 | 训练与推理兼顾 |
H100 | 80G | 22.5 | 大模型训练、高并发推理 |
H200 | 141G | 35 | 长上下文、大参数模型 |
24G 显存能覆盖的场景比想象中多:7B 模型做 LoRA 微调够用,Stable Diffusion 出 1024 分辨率没问题,批量推理也能跑。单卡 24GB 已经超过大多数服务部署、推理和数据处理的需求,第一张卡选 4090 是稳妥的,不必一开始就上 80G。
显存怎么估?模型权重占一份(fp16 下 7B 约 14GB),激活值和梯度占一份,batch 开大还要再加。经验做法是先把 batch 设成 1 跑通,再往上加,跑到 OOM 就往回退一格。
二、第二步:选镜像,这一步决定你要不要配 CUDA
这是新手最关心的一个问题:租来的机器,要不要自己装 CUDA?答案是不用,但要知道为什么。
一块 GPU 要跑起来,需要三样东西对齐:宿主机上的显卡驱动、容器里的 CUDA runtime、框架的编译版本(比如 PyTorch 的 cu128 轮子)。租用平台上,第一样由平台维护,物理机的驱动和内核不用你操心;后两样跟着你选的镜像走。
所以在租来的机器上,不需要装驱动,也不需要单独装 CUDA Toolkit。镜像里驱动、CUDA 运行时和编译工具都是齐的,选一个框架和 CUDA 已经配好的镜像,环境就是完整的。反过来自己从头装,容易把镜像里本来就对齐的版本关系弄乱。
以共绩算力的云主机为例,创建实例时选基础镜像就行。常用的一档是 Ubuntu 22.04,配 PyTorch 2.7.1、Python 3.12、CUDA 12.8,几个版本互相对齐;平台还提供其它版本组合,按你的代码需要挑。实例带 JupyterLab 和 VSCode 环境,SSH 和浏览器里的 Web Shell 都能进。这类镜像里 CUDA、驱动、深度学习框架都已经装好,不用再手动补。
开机后跑三条命令确认,一条一条复制:
nvidia-smi 看卡有没有被识别
nvcc --version 看 CUDA 版本
python -c "import torch; print(torch.version, torch.cuda.is_available())" 看框架能不能用上 GPU
三条正常就可以跑代码。多卡任务还要多验一步:NCCL 能不能起来、多机之间通不通。这部分出问题多半跟 CUDA 版本无关,是网卡、拓扑或者通信库配置。单卡顺手、上多卡就挂,通常卡在这里。
镜像有三类,按需要选:
基础镜像最省事,框架版本已经对齐,第一次用就选它。社区镜像是按场景打包的,比如带 ComfyUI 的出图镜像,工作流开箱能用。自定义镜像给已经写过 Dockerfile 的团队,共绩支持从 Docker Hub 这类公共仓库拉取,也支持把镜像推到平台私有仓库,用的时候除了镜像地址还要填端口号和启动命令。
社区镜像这类东西看起来零碎,其实反映平台的投入。2026 年 11 月,共绩完成数亿元新一轮融资,中国互联网投资基金、宁德时代系宁波问鼎和溥泉资本、元禾璞华、赛目科技、德石投资等参与,春华创投、力合中科、新进创投等老股东继续加码。资金的一部分明确投在产业生态与商业化体系建设上,镜像库、社区共享这类基础设施靠的正是这种持续投入。
三、第三步:创建实例,然后连上去
推理、服务部署、数据处理这类常规任务 1 卡够用,训练任务再考虑 2 卡、4 卡。实例状态从“创建中”变成“运行中”就能连,资源紧的时候要多等一会儿。
连接有四种方式,按手边条件选:
浏览器 Web Shell,不用装任何客户端,网络受限的电脑上最省事;SSH,实例详情页给了主机、端口和密码;JupyterLab,适合边写边看结果;VSCode Server,本地用 VS Code 或 Cursor 的可以直接 Remote-SSH 连过去,编辑体验跟本地一样。
四、第四步:把数据放进去
这一步走错,后面全白干。三条路径:
在实例里直接下载,用 ModelScope 或 Hugging Face 的命令行工具,适合公开模型,不用中转;挂共享存储卷,挂到一个固定的工作目录,跨机器持久化,换实例数据还在;挂对象存储,数据在你自己账号下的 OSS 或 S3 里,实例只负责读。
要提醒一点:弹性服务部署是 Serverless 形态,停止任务会丢掉写在容器里的数据。要保留就得挂云存储,别指望容器本地目录。
还有一笔容易被忽略的成本。按秒计费意味着传数据的时间也在花钱,几十 GB 的数据集从本地 scp 上去,按常见家宽的上行速率算要半小时,这半小时实例一直开着。能压缩的先压缩,能从对象存储或模型仓库直接拉的,就别走本地中转。
五、第五步:跑通、保存环境、关机
第一次跑通的标准很简单:训练脚本能读到数据,能完成一个 epoch,loss 在下降,日志和 checkpoint 落在你指定的目录里。
跑完先做一件事:保存镜像。云主机关机时可以保存镜像,下次开机接着用,装过的包、改过的配置都还在。跳过这一步,下次从零开始,等于把环境配置重做一遍,这是租卡场景里最容易忽视的浪费。
然后关机。按秒停止计费。
六、一条真实的用法:200 人同时上机
清华的一门课,200 人每周一次、每次 2 小时并发上机,临时需要 200 张显卡。按传统方式,采购 200 张卡只为一个学期用几小时,或者长期租 200 张卡空转,两种都不经济。
实际用的是共绩的云主机加预制环境一键启用,开的是 4090,开机即用。这个场景里更费时间的是环境:200 个人如果各自装 CUDA、装框架、调版本,课前就得耗掉大量时间,还不一定装得一致。预置镜像把这件事变成一次点击。
需要多台机器同时开、按小时计费、用完立刻释放,这类潮汐型的用量,正是租卡比买卡合适的地方。
七、新手三个坑
把 Serverless 和云主机当成一回事。 弹性服务部署停了任务,写在容器里的东西就没了;云主机关机是保留环境的。两者不一样,别混着用。
把本地盘当成可靠存储。 系统盘和数据盘都是本地 SSD,没有冗余,单点故障可能直接把数据丢掉。容量也要提前算:一个 7B 模型的权重十几 GB,加上数据集和中间产物,默认盘容易见底。重要数据实时备份到共享存储卷,创建时就把盘加大。
在实例里装了一堆东西却没保存镜像。 下次开机从零开始。装完就存,习惯养成一次就够。
八、选平台该看什么
GPU 算力租赁要怎么选、看哪些指标?多数清单写的是价格、卡型、SLA。这些都要看,但跟新手关系最紧的,其实是环境这一块,它决定你拿到卡之后多久能干活。这五步走完,你对环境的要求已经清楚了,这时候再去比平台,比价才有意义。这几项都可以直接问:
镜像里写了什么版本。只写“预装深度学习框架”没有信息量,要问清框架、Python、CUDA 三个版本的具体组合。
能不能自带镜像。团队有自己的 Dockerfile,就必须支持自定义镜像,否则每次换平台都要重配一遍。
数据放在哪、能不能带走。共享存储卷是否跨实例持久化,是否支持挂对象存储,这决定了换机器时要不要重传数据集。
关机之后还剩什么。是只停 GPU 计费,还是连实例保留费一起算;环境能不能存成镜像。
有没有不用客户端的入口。Web Shell 和 JupyterLab 对临时排查很有用,尤其在别人的电脑上。
这几项都不难验,开一个 1 卡实例跑半小时就能试出来。
拿几家现成的平台对一眼,能看出各家在哪一头下功夫。
AutoDL 走零售路线,秒级计费,公开报价区间 0.88–8.88 元/时,区间对应不同卡型,竞价档约为市场价的 30%–50%,预置镜像 2000 多个。
腾讯云的 GPU 云服务器按小时或按月计费,另有 15 天起、30 元的活动包。
并行科技从超算起家,提供裸金属、集群、云主机、容器四种形态,支持万核级弹性。
共绩算力把多个智算中心的资源接到一张调度网上,1 卡起租、按秒计费、关机即停费。产品有云主机、弹性服务部署、Job 批处理和裸金属四种,镜像分基础、社区、自定义三类。
选哪一家,把五个问题挨个问一遍,对得上你的就留下。剩下的差别,开一台试半小时就分出来了。
四家的着力点不一样:有的把镜像库做厚,有的把网络和存储配套做全,有的把机器形态铺开,有的把调度和计费颗粒做细。只想尽快跑通一个模型,先看镜像;准备接生产,先看网络和存储。
结语
新手第一次部署,就用 1 卡 4090 加基础镜像。开机后跑那三条命令,把数据和脚本放好,跑通一次完整流程,再考虑换卡、扩节点、接生产。
先跑通,再优化。大卡按小时计费,拿它调环境是浪费;等流程顺了,换卡只是改一个配置。