您可以在创建数据集或者数据集版本时,开启数据加速功能。
开启数据加速将同步生成数据源配置资源(Dataset)与后端加速引擎资源(Runtime);两者就绪后,数据集进入加速状态,将远端数据加载至本地缓存并创建加速 PVC,业务应用通过挂载该 PVC 即可获得数据访问加速能力。
前提条件
已完成AI套件安装,弹性数据集组件运行正常
确保存储插件cstor-csi运行正常
建议开启加速前进行缓存节点和路径规划,以合理利用节点资源,提升集群稳定性。
约束与限制
数据加速引擎使用开源社区的模板与镜像,使用过程中可能存在缺陷,我们会定期同步社区版本来修复已知漏洞。请评估是否满足您的业务场景要求
目前,仅支持通过Alluxio底层存储引擎使用数据缓存的能力。alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。 它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置从而能够更容易被访问。
选择存储介质为SSD,存储路径不能配置根目录
选择存储介质为MEM,存储路径开头配置为/dev/shm 或 /run/shm
操作步骤
1、创建数据集开启加速
登录云容器引擎管理控制台;
在集群列表页点击进入指定集群;
进入主菜单 智算套件 > AI应用管理 > 数据集 > 私有数据集,选择创建数据集
在新建数据集页面,首先完成基础信息配置,参考????
进行数据加速配置:
配置项说明如下:
| 配置项 | 说明 | |
|---|---|---|
| 加速类型 | 选择 本地缓存 | |
| 存储类型 | 缓存层级所使用的存储介质类型,当前支持SSD、MEM,默认使用SSD | |
| 存储路径 | 缓存介质的本地挂载 / 存储路径 注:选择SSD存储,路径不能配置根目录,更进一步,建议不适用系统盘路径 选择MEM存储,路径开头配置为/dev/shm 或 /run/shm | |
| 缓存配额 | 可使用的本地缓存存储配额(即本地缓存的最大容量限制),单位可选GiB、MiB | |
| 立即预热 | 提前将远程存储系统中的数据拉取到本地缓存,使得消费该数据集的应用能够在首次运行时即可享受到缓存带来的加速效果 | |
| 高级选项 | 实例副本数 | 指定 缓存引擎Worker 节点数量,Replica 数量越多,缓存容量总和越大。默认为 1个节点 |
| 节点亲和性 | 指定 缓存引擎节点需要部署在符合特定条件的 K8s 节点上,可以控制缓存节点的部署位置,提升数据访问效率、合理利用节点资源 | |
| 预留空间上限 | 当前缓存层级的缓存容量上限阈值(以百分比形式表示,取值 0~1 之间,如 0.95 对应 95%) 当缓存数据占用量达到对应的百分比时,缓存引擎会自动触发缓存淘汰机制(默认 LRU 策略),开始清理(淘汰)不常用的缓存数据,防止缓存容量超出配额 | |
| 预留空间下限 | 当前缓存层级的缓存容量下限阈值(以百分比形式表示,取值 0~1 之间,如 0.7 对应 70%) 作为缓存淘汰机制的停止阈值,当缓存数据占用量因淘汰机制降至对应的百分比时,停止缓存淘汰,保留当前可用缓存数据 | |
2、创建数据集版本开启加速
登录云容器引擎管理控制台;
在集群列表页点击进入指定集群;
进入主菜单 智算套件 > AI应用管理 > 数据集 > 私有数据集,查看指定数据集
查看指定数据集,进入版本页,点击“创建版本”
在创建数据集版本页面,首先完成基础信息配置,参考????
进行数据加速配置,具体配置项与 “创建数据集开启加速” 一致。
3、指定集群开启加速
由于数据源配置资源及缓存引擎资源是集群级别,即对数据集开启加速时,默认仅在当前创建数据集所在集群开启加速。
同资源池下其他集群如需使用加速功能,需进入指定集群开启加速。
操作步骤如下:
登录云容器引擎管理控制台;
在集群列表页点击进入指定集群;
进入主菜单 智算套件 > AI应用管理 > 数据集 > 私有数据集
在私有数据集列表页,选择指定数据集,点击 “加速” 按钮
在加速弹窗中,选择数据集版本,进行数据加速配置,具体配置项与 “创建数据集开启加速” 一致。
注意
数据集加速配置弹窗中,数据集版本仅展示可用状态,且未加速的版本。
4、查看数据集
数据集开启加速后,在数据集详情页,可以查看各版本加速状态。
最初加速状态为加速中,此时后台同步生成数据源配置资源与加速引擎资源,如下图所示:
后台资源就绪约1~2min ,数据集加速状态变为已加速,此时可以根据需要进行缓存预热或直接使用数据集: