云 GPU（Cloud GPU）是通过云基础设施提供的图形处理器（GPU）计算能力。企业无需购买和运营专用 GPU 服务器，就能从服务商的数据中心远程获取强大的 GPU 资源，用于训练人工智能模型、运行 AI 推理、加速科学仿真、图形渲染以及其他计算密集型任务。
云 GPU 服务可以采用虚拟机实例、专用 GPU 服务器、托管计算环境或大型集群等形式。相关术语 GPU 即服务（GPU as a Service，GPUaaS）强调向客户提供 GPU 资源的商业模式，通常采用按使用量或按预留容量计费的方式。
什么是云 GPU？
GPU 是专为同时执行大量并行运算而设计的处理器。现代 GPU 可加速机器学习、深度学习、视频处理、仿真和高性能计算中的数学运算。云 GPU 使用户能够通过互联网或专用网络远程访问这些计算能力。
客户通常通过云控制台、API、远程服务器连接或编排平台管理工作负载。根据产品方案，服务商可能仅提供计算基础设施，也可能负责驱动、操作系统、容器、存储、安全控制及作业调度。
云 GPU 计算如何运作
- 明确工作负载：确定需求是 AI 训练、模型微调、推理、试验、渲染、分析还是科学计算。
- 估算算力需求：明确 GPU 显存、处理性能、加速器数量、存储容量和网络要求。
- 选择云 GPU 配置：选择 GPU 实例、专用服务器、预留容量或托管集群。
- 准备软件环境：配置兼容的驱动、库、框架、应用、访问权限和数据连接。
- 部署工作负载：启动训练任务、推理端点、批处理任务或交互式开发会话。
- 监控并调整：跟踪性能、GPU 利用率、可用性、网络吞吐量和费用，并在服务合同允许的范围内扩容或释放资源。
虽然云 GPU 是远程访问的，应用和数据仍需传输到目标计算环境，或以可访问的方式连接至该环境。数据移动、存储性能、安全性和地理位置都可能显著影响最终结果。
企业为什么使用云 GPU
- 更快获得计算能力：当服务商具备合适容量时，无需等待完整的硬件采购和安装项目。
- 降低初始硬件投入：支付计算资源使用费用，而非购置全部服务器和加速器。
- 灵活部署：在资源可用的情况下，开发阶段使用小规模环境，生产或训练阶段使用更大配置。
- 灵活选择 GPU 技术：为不同项目选择适合的硬件，而无需拥有多代服务器。
- 简化运营：将部分硬件运维、设施维护、电力和制冷工作交由服务商承担。
- 地理位置选择：在服务商能够满足算力和数据驻留要求的地区选择数据中心。
云 GPU 并不一定比购买硬件便宜。经济性取决于利用率、合同期限、数据传输、软件管理和特定工作负载所获得的实际性能。
云 GPU 的应用场景
- AI 模型训练：使用单颗 GPU 或多 GPU 集群处理大型数据集并更新模型参数。
- 模型微调：针对特定领域、语言、业务流程或专业数据集定制预训练模型。
- AI 推理：运行文本、语音、视觉、推荐、图像生成和预测等生产模型。
- 开发与测试：在无需永久购买硬件的情况下试验机器学习框架、模型和 GPU 配置。
- 高性能计算：加速科学仿真、并行计算及研究任务。
- 图形与渲染：支持高要求的视觉计算、三维渲染、动画等应用。
- 企业 AI 部署：为内部服务和应用提供私有或受控的 GPU 计算环境。
云 GPU 实例与专用 GPU 服务器
云 GPU 产品的配置并不相同。实例可能包含一颗 GPU、多颗 GPU，或某个实体加速器的虚拟化份额。专用服务器将整台实体机器分配给一个客户。集群则通过网络和适于分布式工作的软件连接多台 GPU 服务器。
- 共享或虚拟化 GPU 实例：通常适合开发、小型任务及符合服务商资源分配方式的工作负载。
- 独享 GPU 实例：为客户提供指定加速器的独占使用权，但需核实服务商对“独享”的定义以及底层虚拟化方式。
- GPU 裸金属：专用实体服务器，客户通常能够更自由地控制操作系统和软件技术栈。
- 托管 GPU 集群：结合硬件与编排、调度、监控和集群运维等配套服务。
比较两份云 GPU 报价时，应确认资源是否共享或独享，以及供应商是否包含 CPU、内存、本地存储、高速互连、系统软件、管理工具和技术支持。
云 GPU 与 GPU 即服务（GPUaaS）的区别
云 GPU（Cloud GPU）通常强调在云环境中访问 GPU 资源的技术体验，GPU 即服务（GPUaaS）则强调 GPU 算力如何以商业服务的形式交付和销售。两个术语高度重叠，许多服务商会交替使用。
例如，企业可以按小时租赁云 GPU 虚拟机，也可以通过多年期 GPUaaS 合同预留专用裸金属 GPU 服务器。两种方式都能提供远程 GPU 算力，但控制级别、灵活性和合同承诺不同。
云 GPU 与自建 GPU 基础设施的区别
购买 GPU 服务器的企业通常需要承担硬件、部署、电力、制冷、数据中心空间、网络、维护及未来更换设备的费用。自有硬件可以提供控制权和可预测的专用容量，但也带来资本支出和运营责任。
云 GPU 服务通常将部分责任转化为经常性费用。它可能带来更快的部署速度和更灵活的容量，但客户需要依赖供应商的交付、服务质量、可用性及价格条款。
长期、稳定且利用率较高的工作负载，在某些情况下可能值得采用自有基础设施。需求波动大、处于试验阶段或变化迅速的任务，可能更适合云算力。应比较预期运营期内完成整个工作负载的总成本，而不仅是购买价格或小时费率。
云 GPU 与 GPU 机柜托管的区别
在 GPU 机柜托管（GPU Colocation）模式下，客户通常自行提供或租赁实体 GPU 系统，并向数据中心支付机架空间、电力、制冷和网络连接等设施费用。在典型的云 GPU 模式下，计算服务商将 GPU 硬件作为服务的一部分提供。
也可能存在混合商业安排。应确认服务器归谁所有、故障设备由谁更换、电力和网络费用由谁承担，以及硬件维护的责任归属。
如何选择 NVIDIA 等云 GPU 平台
云 GPU 产品可能采用 NVIDIA H100、H200、B200、B300 等加速器，以及基于 GB200、GB300 等技术的集成系统。实际供应情况因服务商、地区和部署计划而异，部分服务商也提供其他厂商的加速器。
硬件选择应考虑模型规模、GPU 显存容量、显存带宽、计算精度、软件兼容性、互连性能以及工作负载基准测试。新 GPU 相对于旧型号不存在统一适用的固定性能倍数。
大型系统应在正确的层级进行评估：单颗 GPU、实体服务器、互连机架或多机架集群。集成系统还可能包含 CPU、网络及特殊互连，这些组件会影响应用性能与基础设施要求。
云 GPU 定价：按小时、按月和预留容量
常见定价方式包括按需 GPU 小时费率、服务器小时租金、月度订阅，以及对固定数量进行长期预留。价格取决于硬件代际、GPU 数量、可用性、数据中心地区、网络、存储、托管服务和合同期限。
示例：某企业以每颗 GPU 每小时 8 美元的价格租用 100 颗 GPU，连续运行 30 天：
100 颗 GPU × 8 美元/GPU 小时 × 24 小时 × 30 天 = 每月 576,000 美元
这只是数学示例，并非任何云 GPU 产品的实际报价。额外费用可能包括存储、数据传输、网络、软件许可、支持、税费或托管平台费用。
必须区分已分配时间和实际处理时间。预留服务器即使空闲也可能继续计费，而按需实例在按照服务商计费规则停止或释放之前，也可能持续产生费用。
按需云 GPU 与预留部署
- 按需实例：适用于灵活任务、开发和使用量不确定的场景，但特定 GPU 配置的可用性可能波动。
- 预留 GPU：适用于在约定期间需要确定数量的场景，可能包含最低付款承诺。
- 企业专用集群：面向规模较大的项目，通常协商确定容量、硬件规格、交付节点和服务等级条款。
大型云 GPU 项目应明确交付日期、验收测试、部分容量交付、计费起始时间、扩容权、维护责任及容量不可用时的补救措施。
网络、存储与性能
单靠 GPU 硬件无法决定应用的实际性能。云 GPU 工作负载可能受 CPU 处理能力、GPU 显存、存储吞吐量、网络延迟、GPU 间通信和软件效率的限制。
对于分布式模型训练，加速器和服务器之间互连的速度及拓扑可能至关重要。对于推理，应衡量吞吐量、请求延迟、显存需求和单次完成请求的成本。比较供应商的性能宣传前，应使用具有代表性的任务进行测试。
实用指标包括 GPU 利用率、训练任务完成时间、推理吞吐量、数据加载速度、任务失败率、网络性能和每项工作负载的总成本。
云 GPU 的安全与数据驻留
云 GPU 环境可能处理源代码、专有模型、机密文件、个人信息或受监管的数据集。应确认隔离模式、访问控制、加密、凭据管理、日志记录、数据备份及删除程序。
对于有地理或监管要求的项目，应核实实体数据中心所在地，以及数据的存储、处理、备份地点和支持人员的访问地点。具体合规要求取决于行业和司法辖区。
向云 GPU 服务商提出的问题
- 将提供哪些准确的 GPU 型号和数量？是否允许替换？
- 环境是虚拟化、独享、裸金属还是全托管？
- 包含哪些 CPU、内存、存储、GPU 互连和网络规格？
- 按 GPU 小时、服务器小时、已分配容量还是已完成任务计费？
- 交付节点、验收测试及正常运行时间保障是什么？
- 数据存储、传输、软件许可、运维和支持是否包含在内？
- 客户数据和计算资源的实体位置在哪里？
- 若部分合同约定的 GPU 容量延迟交付或不可用，将如何处理？
- 续约、取消、迁移和终止的条件是什么？
采用云 GPU 的最佳实践
- 从明确的工作负载和可衡量的性能目标出发。
- 根据实际需求选择 GPU 显存和计算能力。
- 比较完整的基础设施配置，而非仅比较 GPU 型号。
- 作出重大长期承诺前，先进行小规模试点或基准测试。
- 迁移前核实地区可用性和数据驻留要求。
- 持续监控利用率、吞吐量和经常性费用。
- 签约前审查服务等级、安全、交付和终止条款。
常见问题
云 GPU 是什么意思？
云 GPU 指通过远程云或数据中心服务使用图形处理器计算资源，而无需自行运营全部实体 GPU 服务器。
云 GPU 与 GPUaaS 是同一回事吗？
两者密切相关。云 GPU 描述远程 GPU 计算，而 GPU 即服务（GPUaaS）强调容量如何作为服务交付和销售。服务商常交替使用这两个术语。
可以只租用一颗云 GPU 吗？
有些服务商提供单 GPU 或小型实例，其他服务商则销售整台 GPU 服务器或大型预留集群。最低配置因服务商而异。
云 GPU 可以用于训练 AI 模型吗？
可以。云 GPU 常用于 AI 模型训练、微调、试验和推理，具体取决于可用容量及软件兼容性。
云 GPU 适合 AI 推理吗？
适合。它们能够运行语言模型、图像处理、语音系统和其他已部署 AI 应用的推理任务。性能和成本取决于所选硬件和服务配置。
所有云 GPU 实例都是独享的吗？
不是。有些服务使用共享或虚拟化资源，另一些则分配独享加速器或整台实体服务器。应确认资源分配及隔离模式。
云 GPU 等同于裸金属吗？
不等同。裸金属是指专用实体服务器。云 GPU 服务可以是虚拟化、裸金属或托管模式，取决于具体产品。
云 GPU 等同于机柜托管吗？
不等同。机柜托管通常由客户提供 GPU 服务器、机房提供托管服务；云 GPU 服务商通常在服务中提供计算硬件。
云 GPU 的价格是多少？
费率取决于硬件、地区、数量、承诺期限及包含的服务。服务商可能按 GPU 小时、服务器小时、月租或预留容量合同收费。
云 GPU 空闲时也会收费吗？
有可能。即使工作负载未运行，已配置或预留容量也常常继续计费。应仔细阅读服务商的计费和关机条款。
云 GPU 服务可以扩展到数千颗 GPU 吗？
部分供应商提供大型互连集群，但交付取决于实体 GPU 库存、数据中心容量、电力、网络架构和合同条件。
哪种云 GPU 最好：H100、H200、B200 还是 B300？
没有统一的最佳答案。应比较实际工作负载性能、显存需求、软件支持、可用性和总成本，而不能假定不同代 GPU 之间存在固定换算比例。
可以选择云 GPU 运行所在的国家吗？
如果服务商在目标地点提供合适容量，通常可以。部署前应核实实体地区和数据驻留承诺。
选择云 GPU 时最重要的因素是什么？
应选择能够可靠满足工作负载性能、安全、容量和预算要求的服务。单看每 GPU 小时价格不足以评估总体价值。
核心要点
云 GPU 通过远程、服务化的基础设施，使先进 GPU 算力更易获得。 企业无需自行建设 GPU 数据中心，即可支持 AI 训练、推理、科学计算及其他高要求工作负载。最佳方案取决于 GPU 规格、部署灵活性、网络、安全、供应商可靠性和工作负载总成本。云 GPU 与 GPUaaS 是密切相关的术语，但客户始终需要确认实际提供的技术方案和商业服务内容。