基于CPU的AI推理加速技术在天翼云EMR云主机上的应用 背景 1.1 大模型算力需求 大模型因其参数规模巨大、结构复杂,通常需要强大的计算资源来支持其推理过程,这使得算力成为大模型应用的关键要素。信通院的数据资料显示云端推理的市场潜力很大,AI大模型落地应用数量正在不断增加,市场对大模型推理算力的需求也呈现爆发式增长态势。 近年来,CPU制程和架构的提升以及英特尔AMX指令集的面世带来了算力的快速提升。英特尔对大模型推理等多个AI领域持续深入研究,提供全方位的AI软件支持,兼容主流AI软件且提供多种软件方式提升CPU的AI性能。