前置条件
客户端网络环境检查
在客户端使用 ping
测试到存储服务器端是否连通。如若不通,请检查网络环境,存储网口是否up,ip是否配置正确。服务端存储地址,可以在文件系统的挂载地址中获取:
网络环境说明
HPFS组网分为TCP和IB两种方式, 可在挂载地址中确定当前文件系统支持的网络。
- 存储业务使用以太网 TCP 的情况:tcp0
- 存储业务使用IB的情况:包括IB和RoCE两种网络:o2ib0
设置lnet网络配置
使用以下命令,创建网络加载项配置文件lustre.conf。
echo "options lnet networks=<net_name>(<physical_interface_name>)" > /etc/modprobe.d/lustre.conf
- TCP举例:
options lnet networks="tcp0(bond3)"
- IB(昇腾服务器环境)举例:
options lnet networks="o2ib0(bond2)"
net_name、physical_interface_name参数说明:
字段 | 描述 | 举例 |
---|---|---|
net_name | lnet网络的名称 | tcp0(存储业务使用以太网TCP的情况) o2ib0(存储业务使用IB的情况:包括IB和RoCE两种网络) |
physical_interface_name | lnet网络对应的网卡的名称 | 如bond2 |
可以通过 ip r
查询存储服务器对应IP使用的网卡名称,如下图IB组网中,服务端存储地址100.97.192.3 对应客户端路由项100.97.192.0/24 ,则网卡为bond2。
查看并检查lnet id信息
-
执行下列命令重载lustre驱动。
#卸载lustre驱动 lustre_rmmod #加载lustre驱动 modprobe lustre
-
查看lnet id信息,判断lnet是否绑定了正确的网卡和地址。
#查看本机lnet id信息 lnetctl net show
-
检查客户端lnet是否与存储端lnet连通。
#lnet ping存储端lnet id测试lnet连通 lnetctl ping $(server_lnid) #server_lnid是hpfs存储端使用的lnet id信息,下例中是“100.xxx@o2ib0”返回结果没有error信息则代表连通。
操作方法一:手动挂载
- 创建文件挂载目录 local_mountpoint ,举例:
mkdir /mnt/hpfs
- 根据后端挂载命令进行手动挂载:
mount -t lustre -o seckey=<secret_key> <hpfs_share_path> <local_mountpoint> #查看挂载的文件系统 df -h
举例:
mount -t lustre -o seckey=3cRTcaAczXXXXXXXXXXXXXCfHUEyPhm3nE 192.XXXXX@tcp0:192.XXXXX@tcp0:/hp0001/user_id-test-yucheng01_pbbhxiggh6cb1b2m /mnt/hpfs
操作方法二:自动挂载
设置自动挂载hpfs文件系统
打开/etc/rc.local文件,在文件末尾根据需求增加挂载命令,保存并退出:
mount -t lustre -o seckey=secret_key hpfs_share_path /local_mountpoint
参数说明:
字段 | 描述 | 举例 |
---|---|---|
secret_key | 挂载秘钥 | 3cRTcaAczvKtC2fbnFtDXXXXXX3nE |
hpfs_share_path | hpfs文件系统共享路径 | 如192.XXXXX@tcp0:192.XXXXX@tcp0:/hp0001/user_id-test-yucheng01_pbbhxiggh6cb1b2m |
local_mountpoint | 客户端上的挂载点 | 如/mnt/hpfs |
举例:
mount -t lustre -o seckey=3cRTcaAczvXXXXXXXXXXXXXfHUEyPhm3nE 192.XXXXX@tcp0:192.XXXXX@tcp0:/hp0001/user_id-test-yucheng01_pbbhxiggh6cb1b2m /mnt/hpfs