推理加速型Pi3 本节包含了推理加速型Pi3云主机的概述、规格。 概述 Pi3型弹性云主机采用专为AI推理打造的NVIDIA A30 GPU,能够提供超强的实时推理能力。单卡24GB显存,933GB/s带宽使得Pi3也同时可以支持一定的训练场景。其理论AI训练吞吐量三倍于NVIDA V100显卡,六倍于前代Pi2型服务器的T4显卡。Pi3型弹性云主机借助NVIDIA A30的运算器,能够提供最大330TOPS的INT8算力(开启稀疏性)。理论峰值单精度浮点性能:TF32:10.3TFLOPS,Tensor核心性能:TF32: 82TFLOPS 165TFLOPS(开启稀疏性)。 类型 CPU 基频/ 睿频 CPU型号 Pi3 2.6GHz/3.5GHz 6348 规格 表 Pi3弹性云主机的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽(Gbps) 最大收发包能力 (万PPS) 网卡多队列数 网卡个数上限 GPU 显存 (GiB) 本地盘 虚拟化类型 pi3.6xlarge.4 24 96 25/9 400 8 8 1 NVIDIA A30 24 KVM pi3.12xlarge.4 48 192 35/18 750 8 8 2 NVIDIA A30 48 KVM pi348u1g.12xlarge.4 48 192 35/18 750 16 8 1 NVIDIA A30 24 KVM pi348u1g.24xlarge.4 96 384 40/36 850 32 8 2 NVIDIA A30 48 KVM Pi3型弹性云主机功能如下: 处理器:第三代英特尔® 至强® 可扩展处理器 6348,主频2.6GHz,睿频3.5GHz。 支持NVIDIA A30 GPU卡NVLINK互联技术,单实例最大支持2张A30 GPU卡。 提供GPU硬件直通能力。 单GPU单精度计算能力最高10.3 TFLOPS。 单GPU INT8计算能力最高330 TOPS。 单GPU提供24GiB GDDR6显存,带宽933GiB/s。 内置1个OFA和1个NVJPEG和4个NVDEC。
来自: