1. 背景

1.1 大模型算力需求

大模型因其参数规模巨大、结构复杂，通常需要强大的计算资源来支持其推理过程，这使得算力成为大模型应用的关键要素。信通院的数据资料显示云端推理的市场潜力很大，AI大模型落地应用数量正在不断增加，市场对大模型推理算力的需求也呈现爆发式增长态势。

近年来，CPU制程和架构的提升以及英特尔AMX指令集的面世带来了算力的快速提升。英特尔对大模型推理等多个AI领域持续深入研究，提供全方位的AI软件支持，兼容主流AI软件且提供多种软件方式提升CPU的AI性能。目前，已有充分的数据显示CPU可以用于大模型推理。

1.2 CPU算力用于大模型推理的适用场景

CPU适用于以下大模型推理场景，

场景1: 大模型推理需要的内存超过了单块GPU的显存容量，需要多块或更高配GPU卡，采用CPU方案，可以降低成本；

场景2: 应用请求量小，GPU利用率低，采用CPU推理，资源划分的粒度更小，可有效降低起建成本；

场景3: GPU资源紧缺，CPU更容易获取，且可以胜任大模型推理。

2. 英特尔 AI推理加速技术

2.1 英特尔 AI硬件基础

第三代英特尔® 至强® 可扩展处理器（Ice Lake ）：

最大支持40个物理核，最大支持内存频率3200MT/s，最大支持64条PCIe 4.0。

搭载英特尔® 高级矢量扩展 512（英特尔® AVX-512）技术。

可用：天翼云第七代云主机（s7/c7/m7）。

第四代英特尔® 至强® 可扩展处理器（Sapphire Rapids ）：

最大支持60个物理核，最大支持内存频率4800MT/s，最大支持80条PCIe 5.0。

搭载英特尔® 高级矩阵扩展 (Advanced Matrix eXtensions)技术。

AMX 支持BF16和INT8，通过加速矩阵乘法运算，极大提升AI应用的性能。

可用：天翼云第八代云主机（s8r）。

第五代英特尔® 至强® 可扩展处理器（Emerald Rapids ）：

最大支持64个物理核，最大支持内存频率5600MT/s，L3 cache高达5MB/core，最大支持80条PCIe 5.0。

搭载英特尔® 高级矩阵扩展 (Advanced Matrix eXtensions)技术。

AMX 支持BF16和INT8，通过加速矩阵乘法运算，极大提升AI应用的性能。

相较于第四代处理器，第五代处理器具有更大的带宽，在大语言模型推理领域可带来最高1.5倍的性能提升。

可用：天翼云第八代云主机（c8e）。

2.2 英特尔 AI软件工具

英特尔提供三个层面的AI软件支持：

2.2.1 Intel® Extension for PyTorch*

Intel® Extension for PyTorch*（旧称Intel PyTorch Extension, IPEX）能够优化AI推理任务在英特尔硬件上的性能，支持AVX-512与AMX。

2.2.2 xFasterTransformer

xFasterTransformer（xFT）是由英特尔官方开源的AI推理框架，为大语言模型（LLM）在英特尔®至强®硬件平台上提供了一种深度优化的解决方案。xFT支持AVX-512与AMX，并可在AMX上获得极致的推理性能。xFT目前支持的接口与模型如下：

（更新时间：2024-04-09）

xFT还可支持多种数据类型，满足用户对不同精度的需求。xFT目前支持的数据类型包括：

FP16 / BF16 / INT8 / W8A8 / INT4 / NF4 /
BF16_FP16 / BF16_INT8 / BF16_W8A8 / BF16_INT4 / BF16_NF4 / W8A8_INT8 /
W8A8_INT4 / W8A8_NF4（更新时间：2024-04-09）

xFT部署简便，您只需要一键安装插件，并在程序中加入几行代码，即可使用xFT对您的模型进行加速。具体实践可参考本文第3节的内容。

3. 英特尔 AI软件工具在天翼云主机上的应用实践

本节内容主要介绍基于Intel® Extension for PyTorch*与xFasterTransformer，能够在天翼云主机上取得的性能指标，以及具体实施方法。

3.1 AI推理性能指标

3.1.1 LLaMA2性能指标

基本参数

vcpu数：32
内存：64GB
硬盘：通用型SSD
模型：Llama-2-7b-chat
输入token个数：128
输出token个数：128
batch size：1
数据类型：torch2.0(BF16)，xFT(FP16)
测试机型：c7.8xlarge.2 | 32核 | 64G (numa node 1)，s8r.8xlarge.2 | 32核 | 64G (numa node 2)

性能数据

xFT在推理总时延（Inference Latency）和生成token时延（Next Token Latency）上都有明显的优化。

3.1.2 StableDiffusion性能指标

基本参数

vcpu数：32
内存：64GB
硬盘：通用型SSD
模型：stable-diffusion-2-1
输入token个数：6
输出图片尺寸：512 x 512
推理Steps：20
batch size：1
数据类型：torch2.0(FP32)，IPEX(FP32)

性能数据

IPEX在推理总时延上有一定的性能提升。

3.1.3 EMR云主机LLM性能指标

注意
在天翼云EMR云主机正式上线后，我们更新性能指标如下。

基本参数

vcpu数：16
内存：64GB
硬盘：通用型SSD
输入token个数：128
输出token个数：128
batch size：1
数据类型：torch2.0(BF16)，xFT(BF16)

性能数据

xFT在生成token时延（Next Token Latency）上有明显的优化，在16vcpu的机型上能使用主流3B规格模型达到低于80ms/token的生成速度，足以满足业界需求。

3.1.4 EMR云主机StableDiffusion性能指标

注意
在天翼云EMR云主机正式上线后，我们更新性能指标如下。

基本参数

vcpu数：16
内存：64GB
硬盘：通用型SSD
模型：stable-diffusion-2-1
输入token个数：<16
推理Steps：20
batch size：1
数据类型：torch(FP32)，IPEX(FP32)

性能数据

IPEX在推理总时延上有一定的提升，在本示例16vcpu和20steps配置下能够将256x256大小图片生成时延压缩到10秒内，512x512大小图片生成时延压缩到35秒内，具有一定的实用价值。

3.2 AI软件工具实施方法（基于一键部署镜像）

为了方便您进行性能测试，天翼云联合英特尔制作了一键部署的云主机镜像，内置torch2.0环境，Intel® Extension for PyTorch*与xFasterTransformer软件，以及Llama-2-7b-chat与stable-diffusion-2-1模型。您可直接开通云主机并选择对应镜像进行体验。

镜像支持的云主机规格与资源池信息如下表：

注意
内存需在32G及以上。

	云主机规格	资源池
英特尔第三代至强可扩展处理器AVX-512	s7 / c7 / m7	西南-西南1 华东-华东1
英特尔第四代至强可扩展处理器AMX	s8r	华东-华东1 -可用区2
英特尔第五代至强可扩展处理器AMX	c8e	华东-华东1 -可用区2

注意
镜像内置的是天翼云七代主机(s7/c7/m7)特殊编译版本的xfastertransformer，如果您使用的是天翼云八代机(s8r)，请在xFT环境下手动更新安装新版本，否则版本不兼容，可参考下方的示例代码。

conda activate xFT
pip install xfastertransformer==1.4.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

镜像名称：应用镜像 - ubuntu - Intel-AI推理加速，如图所示：

3.2.1 xFasterTransformer (xFT)实施方法

3.2.1.1 模型转换为xFT格式

在使用xFT框架前，需要对模型进行格式转换。xFT提供了转换命令，您可修改和执行/root/tools/xft_trans.py脚本。

import xfastertransformer as xft
# 输入huggingface模型路径
HF_DIR ="/root/models/Llama-2-7b-chat-hf"
# 输出xft模型路径
XFT_DIR ="/root/models/Llama-2-7b-chat-xft"
xft.LlamaConvert().convert(HF_DIR, XFT_DIR)

在执行前, 需要进入conda运行环境(执行过一次即可)
conda activate xFT
python xft_trans.py

3.2.1.2 查看numa节点分布

numactl -H

以下输出代表32个vcpu均在同一个numa node下：

以下输出代表vcpu0-15分布在numa node0, vcpu16-31分布在numa node1：

3.2.1.3 检查测试参数

性能测试所需的参数均在、root/tools/llama_benchmark.py中，您可按需进行修改，对比开启和关闭xFT的效果，以及不同token长度的效果等。

3.2.1.4 单进程执行

注意
如果您的云主机存在不止一个numa node，直接使用单进程方式执行脚本会出现大幅性能波动，您可参考单核和多核的不同实施方法。

在单进程情况下，您可直接执行python脚本：

# 在执行前, 需要进入conda运行环境(执行过一次即可)
conda activate xFT
cd /root/tools
# 绑定cpu核, 性能更稳定
# OMP线程数和绑定的cpu核数保持一致
# 天翼云主机开启了cpu超线程, 0-1/ 2-3号vcpu分别在同一个物理核上, 只需要使用其中一个核即可
# vcpu与物理核的对应关系可在/proc/cpuinfo查看每个processor的physical id
OMP_THREAD_NUM=16 numactl --all -C 0,2,4,6,8,10,12,14,16,18,20,22,24,26,28,30 python llama_benchmark.py

您将会得到以下输出（本示例采用天翼云c7.8xlarge.2 | 32核 | 64G云主机）：

如果想要和加速前的性能进行对比，您可以修改脚本内的USE_XFT=False，然后再次执行。

您也可使用测试脚本查看模型生成的结果：

# 在执行前, 需要进入conda运行环境(执行过一次即可)
conda activate xFT
cd /root/tools
# 修改prompt后执行
python llama_run.py

3.2.1.5 多进程执行

在多numa node场景下, 推荐使用多进程获得更好的性能指标。您需要根据上文3.2.1.2节 numactl -H查到的信息，调整/root/tools/llama_benchmark_multirank.sh脚本中的相关内容。具体信息在脚本中均有详细注释。

注意
当前多进程脚本只支持USE_XFT=True的模式，关闭xFT加速时无法利用多进程。

# 在执行前, 需要进入conda运行环境(执行过一次即可)
conda activate xFT
cd /root/tools
bash llama_benchmark_multirank.sh

在numa node分配正确的情况下, 天翼云s8r.8xlarge.2 | 32核 | 64G云主机可达到如下指标：

对比来看，如果此时坚持使用单进程模式，带来了跨numa node的性能损耗，则只能达到如下指标：

可以明显看到性能下降。

3.2.2 Intel® Extension for PyTorch*(IPEX)实施方法

OPEX的应用和性能测试可直接按单进程执行：

# 在执行前, 需要进入conda运行环境(执行过一次即可)
conda activate ipex
python sd_benchmmark.py

您将会得到如下输出：

如果想要和加速前性能进行对比，可以修改脚本内的USE_IPEX=False然后再次执行。

4. 附录：一键部署的镜像环境制作

########## base environment ##########
# 选择一个miniconda版本下载安装: https://repo.anaconda.com/miniconda/
wget https://repo.anaconda.com/miniconda/Miniconda3-py310_24.1.2-0-Linux-x86_64.sh
bash Miniconda3-py310_24.1.2-0-Linux-x86_64.sh
source ~/.bashrc
# 安装numactl工具
apt install numactl
# 安装git lfs
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
apt-get install git-lfs
git lfs install
########## xFasterTransformer ##########
conda create -n xFT python=3.10
conda activate xFT
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cpu
pip install transformers==4.36.0 sentencepiece protobuf accelerate datasets cmake -i https://pypi.tuna.tsinghua.edu.cn/simple
# icelake AVX-512架构 (特殊编译版本)
pip install xfastertransformer-1.3.1.icx-py3-none-any.whl
# spr/emr AMX架构 (当前最新版本为1.4.0)
pip install xfastertransformer==1.4.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
# 从huggingface下载llama-2-7b-chat模型

########## Intel® Extension for PyTorch* ##########
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
pip install intel-extension-for-pytorch
pip install oneccl_bind_pt --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/cpu/us/

pip install transformers accelerate diffusers

# 从huggingface下载stable-diffusion-2-1模型
# 注意sd模型仓库内放了太多不同版本的模型，实际只需要下载其中一版即可。
# 只下载小文件
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/stabilityai/stable-diffusion-2-1
# 然后根据需要下载所需文件
cd stable-diffusion-2-1
git lfs pull --include=”pytorch_model.bin”
git lfs pull --include=”diffusion_pytorch_model.bin”

# /root/tools/stable_diffusion_ipex/pipeline.py下载来自https://github.com/huggingface/diffusers/blob/main/examples/community/stable_diffusion_ipex.py

活动

智算服务

应用商城

合作伙伴

开发者

支持与服务

了解天翼云

弹性云主机

弹性云主机

1. 背景

1.1 大模型算力需求

1.2 CPU算力用于大模型推理的适用场景

2. 英特尔 AI推理加速技术

2.1 英特尔 AI硬件基础

第三代英特尔® 至强® 可扩展处理器（Ice Lake ） ：

第四代英特尔® 至强® 可扩展处理器（Sapphire Rapids ） ：

第五代英特尔® 至强® 可扩展处理器（Emerald Rapids ） ：

2.2 英特尔 AI软件工具

2.2.1 Intel® Extension for PyTorch*

2.2.2 xFasterTransformer

3. 英特尔 AI软件工具在天翼云主机上的应用实践

3.1 AI推理性能指标

3.1.1 LLaMA2性能指标

基本参数

性能数据

3.1.2 StableDiffusion性能指标

基本参数

性能数据

3.1.3 EMR云主机LLM性能指标

基本参数

性能数据

3.1.4 EMR云主机StableDiffusion性能指标

基本参数

性能数据

3.2 AI软件工具实施方法（基于一键部署镜像）

3.2.1 xFasterTransformer (xFT)实施方法

3.2.1.1 模型转换为xFT格式

3.2.1.2 查看numa节点分布

3.2.1.3 检查测试参数

3.2.1.4 单进程执行

3.2.1.5 多进程执行

3.2.2 Intel® Extension for PyTorch*(IPEX)实施方法

4. 附录：一键部署的镜像环境制作

第三代英特尔® 至强® 可扩展处理器（Ice Lake ）：

第四代英特尔® 至强® 可扩展处理器（Sapphire Rapids ）：

第五代英特尔® 至强® 可扩展处理器（Emerald Rapids ）：