以Llama 2为例进行大模型推理实践 传到离线服务器上切换分支,安装特定版本peft cd peft git checkout 13e53fc 安装peft pip install . i trustedhost pypi.tuna.tsinghua.edu.cn 注意 安装相关依赖的耗时较久请您耐心等待。 6. 准备推理代码和启动脚本。 1. 进入/opt/llama目录下。 plaintext cd /opt/llama 2. 下载推理代码。 访问github网站,下载推理代码inferencehf.py并上传至云主机。 3. 新建启动脚本run.sh。 plaintext 新建空文件 vim run.sh 文件内新增如下内容 python inferencehf.py basemodel 7bchat tokenizerpath 7bchat withprompt gpus 0 步骤四:镜像打包 为了使您能更快的搭建模型运行环境,在完成步骤一和步骤二的操作后,我们对GPU云主机的系统盘进行了打包,生成了标准的GPU云主机镜像。目前已经上传至天翼云成都4、海口2资源池,您可直接对该镜像进行使用。 镜像打包步骤如下: plaintext echo "nameserver 114.114.114.114" > /etc/resolv.conf echo "localhost" > /etc/hostname 清除 machineid。 yes cp f /dev/null /etc/machineid 若有 /var/lib/dbus/machineid,则: rm f /var/lib/dbus/machineid ln s /etc/machineid /var/lib/dbus/machineid cloudinit clean l 清理 cloudinit。若此命令不可用,则可尝试:rm rf /var/lib/cloud rm f /tmp/.log 清除镜像脚本日志。 清理 /var/log 日志。 read r d '' script <<"EOF" import os def clearlogs(basepath"/var/log"): files os.listdir(basepath) for file in files: filepath os.path.join(basepath, file) if os.path.isfile(filepath): with open(filepath, "w") as f: f.truncate() elif os.path.isdir(filepath): clearlogs(basepathfilepath) if name "main": clearlogs() EOF if [ e /usr/bin/python ]; then python c "$script" elif [ e /usr/bin/python2 ]; then python2 c "$script" elif [ e /usr/bin/python3 ]; then python3 c "$script" else echo "