工具简介
zosfs是一个通过FUSE技术,将天翼云对象存储ZOS的bucket(存储桶)挂载为本地目录的工具。
zosfs利用gorountine,通过异步的并发操作,实现对本地文件的高效上传、对云端对象的高效下载,同时,zosfs也优化了对目录列举的操作,提升目录列举的效率。
使用场景
zosfs主要支持模型训练、模型推理等计算密集型场景,解决密集计算对存储数据加载和写入的特殊需要。具体而言,这类场景对存储数据操作以顺序读取、随机读取、顺序(追加)写入为主。
主要功能
兼容基础的POSIX语义操作,能有效利用ZOS的服务端读写能力。
针对计算密集的数据读写需要,提供高效的大文件顺序读写能力。
适配环境
计算平台:X86计算平台、ARM计算平台
操作系统:ctyunOS 23.01、ctyunOS 2.0.1、ctyunOS 22.06
使用限制
zosfs为特定挂载场景优化,因此存在一定的使用限制,请使用前仔细阅读zosfs使用限制章节,了解工具的限制条件。
注意
我们建议您在使用zosfs工具前,了解工具的使用限制,并对工具进行使用测试,避免对您的业务产生影响。
获取zosfs
适配 X86 计算平台,点击下载工具:zosfs-amd-0.7.2.tar.gz
适配 ARM 计算平台,点击下载工具: zosfs-arm-0.7.2.tar.gz
说明
此处提供的zosfs工具包,解压后无需安装即可运行。
更新记录
以下为您提供工具更新的记录,方便您参考:
| 日期 | 更新内容 |
|---|---|
| 2025年5月25日 | 一、新增特性: 1、新增slurp特性开关:用于在高并发且节点淘汰频繁的场景下禁用slurp,避免锁竞争导致的慢操作; 二、修复与优化: 1、修复lookup流程中锁竞争导致状态不一致的问题; 2、修复扩展list请求结果gap左端点查找条件为非单调,从而导致存在一定概率无法扩展的问题; 3、max-log-size参数的默认值调整为10MB; |
| 2025年11月28日 | 一、新增特性: 1、新增ARM计算平台支持; 二、修复与优化: 1、工具稳定性优化; |
| 2025年8月5日 | 一、新增特性: 1.inode回收策略优化:提升稳定性。 2.支持启用预读功能:用户可按需配置文件预读的最大大小。 3.支持完整挂载路径展示:展示用户挂载桶内的完整路径。 4.支持日志轮转。 二、修复与优化: 1.优化目录的相关操作。 2.优化inode的管理逻辑。 3.拦截非UTF-8编码字符,防止非法字符引发异常。 |
| 2025年3月 | 发布zosfs beta版本。 |