GPU 即服务（GPUaaS，GPU as a Service）是一种云计算模式，企业无需自行购买、安装和维护硬件，即可使用高性能图形处理器（GPU）。企业可以租用 GPU 算力，用于人工智能（AI）、机器学习、数据分析、仿真、渲染及其他计算密集型工作负载。
客户无需预先投入巨额资金采购 GPU 服务器，而是与 GPUaaS 服务商签约，使用其数据中心的 GPU 资源。根据服务方案，客户可能获得开箱即用的云环境、独享 GPU 服务器，或配备必要网络和存储的隔离集群。
什么是 GPU 即服务？
GPU 是一种能够并行执行大量运算的处理器，因此特别适合现代 AI 模型训练与运行所涉及的计算。GPUaaS 将 GPU 计算能力作为商业服务提供，通常按 GPU 小时、服务器小时或约定期限内的预留容量收费。
GPUaaS 并非单一的技术架构。服务商可能提供共享的虚拟 GPU、独享 GPU、裸金属服务器或托管 GPU 集群。控制权限、性能隔离、运维支持及客户责任的具体范围取决于合同。
GPUaaS 如何运作
- 明确工作负载。 确定 GPU 是用于模型训练、微调、推理、开发、渲染还是其他应用。
- 选择 GPU 硬件。 根据显存容量、计算性能、互连能力、软件需求和预算选择合适的硬件。
- 选择部署模式。 在按需实例、专用裸金属服务器、预留集群和托管服务之间进行选择。
- 配置运行环境。 根据需要设置操作系统、GPU 驱动、容器、AI 框架、网络、安全机制及数据存储。
- 运行并监控任务。 部署作业或应用，衡量利用率，并监控性能、可用性与支出。
- 扩容或释放资源。 按项目需求和合同条款增加 GPU、调整预留量或关闭按需资源。
服务商通常负责实体数据中心和硬件的运行。除非合同明确包含相关托管服务，否则客户仍需负责应用代码、数据、访问权限及工作负载配置。
GPUaaS 的常见应用场景
- AI 模型训练： 使用 GPU 集群和大量数据集训练大型模型。
- 模型微调： 让现有 AI 模型适应特定业务数据或任务。
- AI 推理： 运行已训练的模型，生成回答、预测、图像、音频或其他输出。
- 研发： 无需购买永久性的 GPU 设备，即可测试模型、框架和硬件配置。
- 科学计算： 加速仿真、计算研究和并行处理。
- 三维图形与渲染： 处理视觉特效、设计资产和其他图形密集型任务。
- 企业 AI 平台： 为部署 AI 应用和服务的团队提供 GPU 算力。
GPUaaS 与购买 GPU 服务器的区别
购买 GPU 可以让企业长期拥有并控制硬件，但也需要承担资本支出、设备采购、安装、数据中心空间、电力、制冷、网络、维护以及最终的设备更换成本。
GPUaaS 降低了前期硬件购置需求，也可能缩短获得合适算力的时间。作为交换，客户需要持续支付服务费用，并受制于服务商的可用性及合同条件。
对于持续、可预测且利用率较高的工作负载，自有基础设施在某些情况下可能更具经济性。对于需求波动、硬件需求尚不明确或要求快速部署的项目，GPUaaS 通常更灵活。应依据总体拥有成本，而不仅是每小时价格作出选择。
GPUaaS 与裸金属服务器的区别
GPUaaS 描述的是以服务形式提供 GPU 计算能力的商业模式；裸金属（Bare Metal） 则是指客户使用专用实体服务器，而非共享虚拟机的部署模式。
两者并不冲突：服务商可以通过 GPUaaS 合同提供专用裸金属 GPU 服务器。
- 虚拟化 GPU 服务： 通过云实例或虚拟化环境分配 GPU 资源，隔离和资源分配方式由服务商决定。
- 专用裸金属 GPU 服务： 为单一客户预留整台实体服务器，通常可更自由地控制软件环境。
- 托管 GPU 服务： 服务商可能同时管理编排、任务调度、监控以及部分应用运行环境。
评估报价时，应询问价格是否包含专用硬件、虚拟化、操作系统、容器平台、编排工具、技术支持和存储。
GPUaaS 与 GPU 托管机房（Colocation）的区别
在 GPU 机柜托管（GPU Colocation） 模式下，客户通常自行拥有或租赁 GPU 服务器，并将其部署到提供空间、电力、制冷、连接和相关设施服务的第三方数据中心。
采用 GPUaaS 时，服务商一般将 GPU 硬件作为服务的一部分提供。有些安排会结合两种模式，因此合同应明确硬件所有权、维护责任、电费及服务等级。
如何选择 GPU 平台
GPUaaS 产品可能使用 NVIDIA H100、H200、B200 或 B300 等 GPU，以及基于 GB200 或 GB300 等技术构建的系统。具体可用性取决于服务商、地区和部署日期，也可能支持其他制造商的 GPU。
不能将 GPU 规格简化为“某款新 GPU 恒等于固定数量的旧 GPU”这样的通用换算。实际性能取决于工作负载类型、数值精度、显存容量和带宽、互连拓扑、模型规模及软件优化。
对于机架级平台，还应区分单颗 GPU、完整服务器和包含 CPU、网络等组件的集成系统。应比较实际应用性能和可用加速器数量，而不只看产品名称。
GPUaaS 如何计费
GPUaaS 服务商可能按小时、按月或通过长期容量预留收费。价格可能因硬件代际、数量、地点、可用性承诺、网络性能和支持服务而显著不同。
示例计算： 假设 100 颗 GPU 的单价为每颗每小时 8 美元，每天运行 24 小时，计费月份为 30 天，则 GPU 计算费用为：
100 颗 GPU × 8 美元/GPU 小时 × 24 小时 × 30 天 = 每月 576,000 美元
这只是计算示例，并非市场报价。完整账单可能还包含数据存储、数据传输、网络、软件许可、托管服务、税费和其他费用。
比较报价时，应确认收费依据是已分配 GPU 还是实际运行的 GPU；任务空闲时是否继续计费；预留容量是否必须照付，以及如何处理维护停机时间。
按需 GPU 与预留 GPU 容量
- 按需： 在资源可用时按需申请，使用期限通常更灵活，但需求旺盛时的容量保障较弱。
- 预留容量： 在约定期限内锁定 GPU，可能提高容量保障，但通常伴随最低付款义务。
- 长期专用集群： 大型部署可能通过谈判确定 GPU 数量、交付节点及定制服务条款。
签订企业级协议时，应确认计费起始时间、交付计划、最低承诺、终止权、扩容选项、硬件替换政策，以及服务商未能交付约定数量时的处理方式。
GPUaaS 合同应包含哪些内容？
- 硬件定义： GPU 的具体型号、数量、服务器设计、CPU 与内存规格及允许替换的条件。
- 资源分配模式： 独享或共享 GPU、裸金属或虚拟机，以及隔离保障。
- 服务等级： 可用性承诺、响应时间、维护窗口、补救措施和例外情况。
- 算力和网络性能： GPU 互连、集群网络、存储吞吐量及性能基准。
- 数据保护： 数据位置、加密、管理员访问、删除程序和相关合规要求。
- 计费： GPU 小时的定义、计费月份、税费、附加费用、最低收费及付款安排。
- 交付与验收： 上线日期、测试、验收标准及部分交付的处理方式。
- 商业灵活性： 根据约定增加、减少、续订、转让或终止容量的权利。
性能与利用率注意事项
宣传中的低 GPU 小时价格，并不一定意味着每次训练完成成本或每百万推理 token 的成本较低。显存、网络互连、存储、调度或软件方面的瓶颈可能使昂贵的 GPU 闲置。
应使用具有代表性的工作负载进行测试，并比较训练时间、吞吐量、延迟、GPU 利用率、显存利用率、任务可靠性和每个完成任务的总成本。
数据安全与监管注意事项
GPUaaS 部署可能处理专有模型、机密商业数据、个人信息或受监管的数据集。买方应确认数据的存储和处理地点、访问人员、凭据管理方式以及合同结束后的数据删除机制。
部分组织因数据驻留、合规或合同要求，必须选择特定国家或数据中心。将工作负载迁往服务商之前，应核实这些条件。
选择 GPUaaS 的最佳实践
- 在询价前明确工作负载性能目标及所需 GPU 显存。
- 要求供应商说明 GPU 数量是指单颗加速器、服务器还是完整系统。
- 核实实际交付日期，并在验收前测试合同约定的硬件。
- 比较计算价格的同时，也评估网络、存储、编排和支持。
- 同时考虑按小时使用的灵活性和长期承诺的风险。
- 条件允许时，使用真实应用开展试点。
- 审查服务等级补救条款、数据安全条款及退出安排。
- 在合同履行期间持续监控实际利用率和成本。
常见问题
GPUaaS 代表什么？
GPUaaS 是 GPU as a Service（GPU 即服务） 的缩写，指通过服务商获得 GPU 计算能力，而不必拥有全部硬件。
GPUaaS 只能用于人工智能吗？
不是。AI 训练和推理是主要用途，但 GPU 也能加速仿真、分析、渲染、科学计算和其他并行运算。
可以只租一颗 GPU 吗？
部分服务商提供单 GPU 实例，其他服务商则主要提供整台服务器或更大型的专用集群。最低租用数量视服务商和产品而定。
GPUaaS 一定提供独享 GPU 吗？
不一定。有些服务共享实体硬件，有些则提供独享 GPU 或裸金属服务器。签约前应确认资源分配模式。
GPUaaS 等同于裸金属吗？
不等同。裸金属是专用实体服务器部署模式，而 GPUaaS 是更广泛的商业服务模式，可以包含裸金属产品。
GPUaaS 等同于 GPU 机柜托管吗？
不等同。机柜托管通常由客户提供服务器，而 GPUaaS 服务商通常在服务中提供 GPU 硬件和算力。
GPUaaS 如何定价？
常见模式包括 GPU 小时收费、服务器小时收费、月度订阅和预留容量合同，也可能产生额外费用。
GPU 闲置时仍需付费吗？
有可能。预留或专用部署通常按已分配容量计费，无论是否有任务在运行。应核对合同的计量和最低收费条款。
GPUaaS 能支持超大型 AI 训练集群吗？
可以。部分服务商提供多服务器及大规模 GPU 集群，但受硬件库存、数据中心电力、高速网络及合同承诺限制。
哪款 NVIDIA GPU 最适合 GPUaaS？
不存在普遍适用的最佳 GPU。应结合工作负载基准、模型显存需求、软件兼容性、性能目标、可用性和总成本进行选择。
GPUaaS 可以部署在指定国家吗？
通常可以，但前提是服务商在该地有合适的基础设施。需确认实际数据中心位置、数据驻留、支持安排和适用限制。
签约前应该向 GPUaaS 服务商询问什么？
应核实具体硬件及数量、独享或共享模式、计费单位、包含的服务、预期交付日期、正常运行时间承诺、数据保护和终止条件。
核心要点
GPU 即服务让企业无需购买和维护全部底层基础设施，就能使用先进的 GPU 算力。 其价值取决于选择合适的硬件、部署模式、服务商和商业协议。比较时应重视实际工作负载性能、运维支持和合同总成本，而不仅仅是宣传中的每 GPU 小时价格。