云主机开年特惠28.8元/年,0元秒杀等你来抢!
查看详情

活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 天翼云新春焕新季 NEW 云主机开年特惠28.8元/年,0元秒杀等你来抢!
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 出海产品促销专区 NEW 爆款云主机低至2折,高性价比,不限新老速来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
  • MCP市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
模型推理服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V3.1
  • DeepSeek-R1-0528
  • DeepSeek-V3-0324
  • Qwen3-235B-A22B
  • Qwen3-32B
智算一体机
  • 智算一体机
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      分布式关系型数据库_相关内容
      • 主备复制类问题
        本页介绍天翼云TeleDB数据库主备复制类问题。 xlog(WAL)日志被清理问题 问题描述 在添加备节点、重做备机,或在日常运行中,可能遇到备节点报错 FATAL,XX000,"could not receive data from WAL stream: ERROR: requested WAL segment000000010000000600000054 has already been removed 可能影响 添加备节点失败; 重做备机失败; 主备复制不同步,导致备机不可用; 解决步骤 通常出现在WAL日志文件增长较快,且DN节点数据量较大,添加备机或重做备机需要较长时间的场景,针对此场景,可以有以下应对策略: 1. DN节点数据量较大,应控制好单节点DN数据量,大小建议不超过510T,同时要确保有较好的磁盘性能,整体添加备节点、重做备机时间控制在12小时内存完成; a、如果单DN容量超过了建值,则应该通过横向扩容方式,将DN数据分布到更多服务器; b、如果因磁盘性能不足,导致整个任务时间过长,则建议节点在横向扩容的基础上,优化磁盘I/O,或更换性能更好的磁盘; 2. 选择在业务低峰期添加备节点、重做备机,此时产生的WAL日志速度较慢,可以保证主节点默认保留的WAL日志文件在任务完成前不被清理; 3. 调大参数walkeepsegments,该参数用于指定pgwal目录中保存的过去的WAL日志文件的最小数量,避免因主节点保留文件数量不够,导致在添加备节点、重做备机任务执行期间被自动清理;默认WAL日志文件大小为16MB,需要提前预估日志文件占用空间,避免磁盘空间不足问题。 4. 主备节点不同步,延迟过大也可能导致主节点日志在同步到备机前被清理 a、可能是备节点服务器性能较差,主节点业务高峰期时,备节点WAL日志接收延迟 解决办法:应确保主备节点服务器配置一致,避免因配置不对等导致的性能问题,以及可能出现的发生主备切换后,新的主节点性能不足,影响业务的问题; b、可能是网络异常或主节点上有大事务,生成大量WAL日志,导致同步延迟 解决办法:应该确保网络稳定;避免大事务,应拆分成多个小事务执行。
        来自:
        帮助文档
        分布式融合数据库HTAP
        私有云产品
        故障处理
        主备复制类问题
      • 实时同步
        本节主要介绍实时同步 DRS支持直接同步不同schema的表到同一个schema吗 DRS支持直接同步不同schema的表到同一个schema,表不可以冲突。 DRS实时同步支持使用Online DDL工具吗 DRS MySQL到MySQL的表级增量同步支持使用Online DDL工具进行加减列的操作,需注意以下几点: 因为DRS同步机制和工具的冲突,在同步任务的“设置同步”页面,选择对象同步范围时,不能勾选“增量DDL”项。 使用Online DDL工具进行加列操作时,需先在目标库执行,然后在源库执行。 使用Online DDL工具进行减列操作时,需先在源库执行,再在目标库执行。 常见Online DDL工具: ptonlineschemachange ghost 源库Oracle为RAC集群时,为什么建议使用SCAN IP连接 源库Oracle为RAC集群时,建议使用SCAN IP+ SERVICENAMES方式创建任务,因为SCAN IP具有更强的容错性,更好的负载能力,更快的同步体验。 如果需要使用SCAN IP,需要保证SCAN IP与源库的所有VIP互通,否则无法通过测试连接检查。 若不使用SCAN IP,可以使用某一节点的VIP,其他节点异常不影响同步。 关于SCAN IP的说明,可参考Oracle官网文档。 源库Oracle补全日志检查方法 Oracle数据库在Physical Standby模式下,日志会从主库直接复制,而自身不产生任何日志。针对Oracle为源的增量同步链路,DRS需要用户提前手动在主库检查补全日志是否符合要求,以保证任务的正常运行。以下检查和设置方法中, 表级:针对指定表的设置。 库级:指整个数据库级别的设置。 PK/UI:每一行日志中除了记录变更的列以外,还额外记录了该行中主键和唯一键的值。 ALL:每一行日志中记录了该行所有列的值。 以下三项检查,满足其中一项即可符合DRS增量同步的基本要求。 表级补全日志PK/UI检查(最低要求) 针对用户选择的待同步的表级对象,检查补全日志是否满足要求。 步骤 1 在源库中执行以下sql语句。 select from ALLLOGGROUPS where (LOGGROUPTYPE'UNIQUE KEY LOGGING' or LOGGROUPTYPE'PRIMARY KEY LOGGING') and OWNER'大写SCHEMA名' and TABLENAME'大写表名'; 该表名在查询结果中能同时对应到LOGGROUPTYPE值为UNIQUE KEY LOGGING和PRIMARY KEY LOGGING的两条记录,即可满足DRS增量同步要求。 步骤 1 如果不满足要求,可执行以下sql语句开启表级PK/UI级别补全日志。 alter database add supplemental log data; alter table SCHEMA名.表名add supplemental log data(primary key,unique) columns; 表级补全日志ALL检查 针对用户选择的待同步的表级对象,检查补全日志是否满足要求。 步骤 2 在源库中执行以下sql语句。 select from ALLLOGGROUPS where LOGGROUPTYPE'ALL COLUMN LOGGING' and OWNER'大写SCHEMA名' and TABLENAME'大写表名'; 该表名在查询结果中有记录,即可满足DRS增量同步要求。 步骤 2 如果不满足要求,可执行以下sql语句开启表级ALL级别补全日志。 alter database add supplemental log data; alter table SCHEMA名.表名add supplemental log data(all) columns; 库级补全日志检查 针对待同步的库级对象,检查补全日志是否满足要求。 步骤 3 在源库执行以下sql语句。 select SUPPLEMENTALLOGDATAMIN MIN, SUPPLEMENTALLOGDATAPK PK, SUPPLEMENTALLOGDATAUI UI, SUPPLEMENTALLOGDATAALL ALLLOG from v$database; 步骤 3 满足以下其中一项要求即可。 PK和UI同时为YES,即可满足DRS增量同步要求。 如果不满足要求,可执行以下sql语句开启库级PK/UI级别补全日志。 alter database add supplemental log data(primary key, unique) columns; ALLLOG为YES,即可满足DRS增量同步要求。 如果不满足要求,可执行以下sql语句开启库级ALL级别补全日志。 alter database add supplemental log data(all) columns;
        来自:
        帮助文档
        数据库复制
        常见问题
        实时同步
      • 部署规划
        您需要在部署天翼云TeleDB数据库之前,规划相关的硬件、网络及基础环境。 1. 先准备好介质独立部署,为方便快速部署,TelePG从1.5.3版本开始支持独立部署功能。前期准备好介质,部署好zk,部署好mysql,借助TelePG控制台进行部署。 2. 通过集团云翼平台直接订购开通部署。 3. 流复制是 PostgreSQL 9.0 之后提供的新的传递 WAL 日志的方法。通过流复制,备库不断的从主库同步相应的数据,并在备库应用每个 WAL 文件 。主备模式推荐采用同步及潜在同步至少三节点的方式。 4. 暂不支持自动建立database,需用户手动建立database;支持自动建schema,用户可不用手动建立schema。 内存分配 shared buffer pool,共享内存区域:供 PostgreSQL 服务器的所有进程使用。查看 sharedbuffers 参数可以得到其设置值,建议设为内存的四分之一。 WAL buffer,预写日志缓冲区:WAL 数据在写入持久存储之前的缓冲区,实例初始化时自动计算。 commit log,提交日志:所有事务的状态日志,每个事务占用 2bit,最大512MB。 tempbuffers,临时表缓冲区。 workmem,工作内存:执行器在执行 sort、distinct 使用该区域对元组做排序,以及存储 merge join、hash join 多表连接的数据,受最大连接数 maxconnections 参数影响,建议用户 session 级别进行设置,不要全局设置。 maintenanceworkmem,维护内存:某些类型的维护操作使用该区域(如vacuum、reindex)。 注意 按照小系统上云oltp应用保守设置,如果是大数据、数据仓库,需要再此基础按照测试重新优化调整较大参数值。 最大内存估算可参考如下表: 项目 值(MB) 备注 maxconnections 100 默认值为100 workmem 4 默认值为4,最小值64KB tempbuffers 8 默认值为8,最小值800KB sharedbuffers 128 默认值为8,最小值128KB autovacuummaxworkers 3 默认值为3 maintenanceworkmem 64 默认值为64MB,最小值为1MB。 commit log 48 每个事务2bits,autovacuumfreezemaxage,默认为2亿。 maxconnectionsworkmem+maxconnectionstempbuffers+sharedbuffers+(autovacuummaxworkersmaintenanceworkmem)+clog 1568 wal buffers1 autovacuumworkmem1 操作系统配置规范: 关闭CPU 的节能模式。 关闭NUMA。 建议使用UTF8。 设置时间时区,建议主机工程师设置时间同步服务。 关闭其他服务: systemctl stop tuned.service ktune.service systemctl stop firewalld.service systemctl stop postfix.service systemctl stop avahidaemon.socket systemctl stop avahidaemon.service systemctl stop atd.service systemctl stop bluetooth.service systemctl stop wpasupplicant.service systemctl stop accountsdaemon.service systemctl stop atd.service cups.service systemctl stop postfix.service systemctl stop ModemManager.service systemctl stop debugshell.service systemctl stop rtkitdaemon.service systemctl stop rpcbind.service systemctl stop rngd.service systemctl stop upower.service systemctl stop rhsmcertd.service systemctl stop rtkitdaemon.service systemctl stop ModemManager.service systemctl stop mcelog.service systemctl stop colord.service systemctl stop gdm.service systemctl stop libstoragemgmt.service systemctl stop ksmtuned.service systemctl stop brltty.service systemctl stop avahidnsconfd.service 数据库高可用telePG 数据库高可用telePG组件服务器,bios层需要关闭numa,关闭电源保护模式设置CPU为最大性能模式,让其不降频,cat /proc/cpuinfo grep E "model nameMHz"CPU型号、频率一致。 参数类型 配置项 说明 操作系统内核参数配置 sysctl vm.swappiness5 5~10可选,但不可能阻止使用swap空间 操作系统内核参数配置 vm.minfreekbytes1024000 保证系统空闲内存维持在一定水平,同时保障内存管理low和min水位之间有足够间隔 操作系统内核参数配置 fs.aiomaxnr40960000 aiomaxnr no of process per DB no of databases 4096 操作系统内核参数配置 vm.dirtyratio20 vm.dirtybackgroundratio5 vm.dirtywritebackcentisecs100 vm.dirtyexpirecentisecs500 可选,这个参数指定了当文件系统缓存脏页数量达到系统内存百分之多少时(如5%)就会触发pdflush/flush/kdmflush等后台回写进程运行,将一定缓存的脏页异步地刷入外存 操作系统内核参数配置 vm.vfscachepressure150 vm.swappiness10 vm.minfreekbytes524288">> /etc/sysctl.d/99sysctl.conf && sysctl system 可选,该参数表示内核回收用于directory和inode cache内存的倾向。缺省值100表示内核将根据pagecache和swapcache,把directory和inode cache保持在一个合理的百分比;降低该值低于100,将导致内核倾向于保留directory和inode cache;增加该值超过100,将导致内核倾向于回收directory和inode cache 操作系统内核参数配置 fs.filemax 76724200 该参数表示文件句柄的最大数量。文件句柄设置表示在linux系统中可以打开的文件数量 操作系统内核参数配置 net.core.rmemmax 4194304 最大的TCP数据接收缓冲 操作系统内核参数配置 net.core.wmemmax 2097152 最大的TCP数据发送缓冲 操作系统内核参数配置 net.core.wmemdefault 262144 表示接收套接字缓冲区大小的缺省值(以字节为单位) 操作系统内核参数配置 net.core.rmemdefault 262144 表示发送套接字缓冲区大小的缺省值(以字节为单位) 操作系统内核参数配置 net.ipv4.tcpsyncookies 1 当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击,默认为0,表示关闭。 操作系统内核参数配置 net.ipv4.tcptwreuse 1 允许将TIMEWAIT sockets重新用于新的TCP连接,默认为0,表示关闭 操作系统内核参数配置 net.ipv4.tcptwrecycle 1 TCP连接中TIMEWAIT sockets的快速回收,默认为0,表示关闭,注意如果是natnat网络,并与net.ipv4.tcptimestamps 1组合使用,则会出现时断时续的情况 操作系统内核参数配置 net.ipv4.tcpfintimeout 30 修改系統默认的TIMEOUT 时间,避免服务器被大量的TIMEWAIT拖死 操作系统内核参数配置 net.ipv4.iplocalportrange 9000 65000 如果连接数本身就很多,可以再优化一下TCP的可使用端口范围,进一步提升服务器的并发能力,默认值是32768到61000 操作系统内核参数配置 net.ipv4.tcpmaxsynbacklog 8192 SYN队列的长度,默认为1024,加大队列长度为8192,可以容纳更多等待连接的网络连接数 操作系统内核参数配置 net.ipv4.tcpmaxtwbuckets 5000 系统同时保持TIMEWAIT的最大数量,如果超过这个数字,TIMEWAIT将立刻被清除并打印警告信息,默认为180000 操作系统内核参数配置 net.ipv4.conf.all.rpfilter 0 net.ipv4.conf.all.arpfilter 0 net.ipv4.conf.default.rpfilter 0 net.ipv4.conf.default.arpfilter 0 net.ipv4.conf.lo.rpfilter 0 net.ipv4.conf.lo.arpfilter 0 net.ipv4.conf.em1.rpfilter 0 net.ipv4.conf.em1.arpfilter 0 net.ipv4.conf.em2.rpfilter 0 net.ipv4.conf.em2.arpfilter 0 网卡的设置 操作系统内核参数配置 kernel.shmmni 4096 这个内核参数用于设置系统范围内共享内存段的最大数量。该参数的默认值是4096 。通常不需要更改kernel.sem 250 32000 100 142 操作系统内核参数配置 kernel.shmall 1073741824 该参数表示系统一次可以使用的共享内存总量(以页为单位)。缺省值是2097152,可根据kernel.shmmax大小进行调整(kernel.shmmax/41024或者kernel.shmmax/81024) 操作系统内核参数配置 kernel.shmmax 4398046511104 该参数定义了共享内存段的最大尺寸(以字节为单位),此值默认为物理内存的一半 操作系统内核参数配置 kernel.sysrq 0 如无需调试系统排查问题,这个必须为0 telepg的 limits.conf配置 telepg soft nofile1048576 telepg的 limits.conf配置 telepg soft memlock 1 telepg的 limits.conf配置 telepg hard memlock 1 telepg的 limits.conf配置 telepg hard memlock 128849018880 telepg的 limits.conf配置 telepg soft memlock 128849018880 telepg的 limits.conf配置 telepg soft core6291456 telepg的 limits.conf配置 telepg hard core6291456 telepg的 limits.conf配置 telepg hard nproc131072 telepg的 limits.conf配置 telepg soft nproc131072 telepg的 limits.conf配置 telepg hard nofile 1048576 telepg的 limits.conf配置 telepg hard stack 32768 telepg的 limits.conf配置 telepg soft stack 10240 禁用透明大页 echo never> /sys/kernel/mm/transparenthugepage/enabled 禁用透明大页 echo never> /sys/kernel/mm/transparenthugepage/defrag 网络连通性 确保组件和集群内的网络联通。 确保与相关联组件的网络连通。 确保防火墙关闭。
        来自:
        帮助文档
        分布式融合数据库HTAP
        私有云产品历史版本
        V1.1.0版本产品文档
        安装部署手册
        安装前准备
        部署规划
      • 高级SQL语句编写
        本页介绍天翼云TeleDB数据库中窗口函数的使用方法。 窗口函数的使用 1. 环境准备 plaintext drop table if exists bills ; create table bills ( id serial not null, goodsdesc text not null, beginunit text not null, begincity text not null, pubtime timestamp not null, amount float8 not null default 0, primary key (id) ) distribute by shard(id) to group defaultgroup; COMMENT ON TABLE bills is '运单记录'; COMMENT ON COLUMN bills.id IS 'id号'; COMMENT ON COLUMN bills.goodsdesc IS '货物名称'; COMMENT ON COLUMN bills.beginunit IS '启运省份'; COMMENT ON COLUMN bills.begincity IS '启运城市'; COMMENT ON COLUMN bills.pubtime IS '发布时间'; COMMENT ON COLUMN bills.amount IS '运费'; INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'衣服','海南省','三亚市','20151005 09:32:01',ROUND((random()10000)::NUMERIC,2)); INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'建筑设备','福建省','三明市','20151005 07:21:22',ROUND((random()10000)::NUMERIC,2)); INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'设备','福建省','三明市','20151005 11:21:54',ROUND((random()10000)::NUMERIC,2)); INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'普货','福建省','三明市','20151005 15:19:17',ROUND((random()10000)::NUMERIC,2)); INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'5 0铲车,后八轮翻斗车','河南省','三门峡市','20151005 07:53:13',ROUND((random()10000)::NUMERIC,2)); INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'鲜香菇2000斤','河南省','三门峡市','20151005 10:38:29',ROUND((random()10000)::NUMERIC,2)); INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'旋挖附件38吨','河南省','三门峡市','20151005 10:48:38',ROUND((random()10000)::NUMERIC,2)); INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'旋挖附件35吨','河南省','三门峡市','20151005 10:48:38',ROUND((random()10000)::NUMERIC,2)); INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'旋挖附件39吨','河南省','三门峡市','20151005 11:38:38',ROUND((random()10000)::NUMERIC,2)); INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'设备','上海市','上海市','20151005 07:59:35',ROUND((random()10000)::NUMERIC,2)); INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'普货40吨需13米半挂一辆','上海市','上海市','20151005 08:13:59',ROUND((random()10000)::NUMERIC,2)); 2. rownumber()返回行号,不分组 plaintext teledb
        来自:
        帮助文档
        分布式融合数据库HTAP
        私有云产品历史版本
        V2.0.0版本产品文档
        开发手册
        进阶开发
        高级SQL语句编写
      • 高级SQL语句编写
        本页介绍天翼云TeleDB数据库中窗口函数的使用方法。 窗口函数的使用 1. 环境准备 plaintext drop table if exists bills ; create table bills ( id serial not null, goodsdesc text not null, beginunit text not null, begincity text not null, pubtime timestamp not null, amount float8 not null default 0, primary key (id) ) distribute by shard(id) to group defaultgroup; COMMENT ON TABLE bills is '运单记录'; COMMENT ON COLUMN bills.id IS 'id号'; COMMENT ON COLUMN bills.goodsdesc IS '货物名称'; COMMENT ON COLUMN bills.beginunit IS '启运省份'; COMMENT ON COLUMN bills.begincity IS '启运城市'; COMMENT ON COLUMN bills.pubtime IS '发布时间'; COMMENT ON COLUMN bills.amount IS '运费'; INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'衣服','海南省','三亚市','20151005 09:32:01',ROUND((random()10000)::NUMERIC,2)); INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'建筑设备','福建省','三明市','20151005 07:21:22',ROUND((random()10000)::NUMERIC,2)); INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'设备','福建省','三明市','20151005 11:21:54',ROUND((random()10000)::NUMERIC,2)); INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'普货','福建省','三明市','20151005 15:19:17',ROUND((random()10000)::NUMERIC,2)); INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'5 0铲车,后八轮翻斗车','河南省','三门峡市','20151005 07:53:13',ROUND((random()10000)::NUMERIC,2)); INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'鲜香菇2000斤','河南省','三门峡市','20151005 10:38:29',ROUND((random()10000)::NUMERIC,2)); INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'旋挖附件38吨','河南省','三门峡市','20151005 10:48:38',ROUND((random()10000)::NUMERIC,2)); INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'旋挖附件35吨','河南省','三门峡市','20151005 10:48:38',ROUND((random()10000)::NUMERIC,2)); INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'旋挖附件39吨','河南省','三门峡市','20151005 11:38:38',ROUND((random()10000)::NUMERIC,2)); INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'设备','上海市','上海市','20151005 07:59:35',ROUND((random()10000)::NUMERIC,2)); INSERT INTO bills(id,goodsdesc,beginunit,begincity,pubtime,amount) VALUES(default,'普货40吨需13米半挂一辆','上海市','上海市','20151005 08:13:59',ROUND((random()10000)::NUMERIC,2)); 2. rownumber()返回行号,不分组 plaintext teledb
        来自:
        帮助文档
        分布式融合数据库HTAP
        私有云产品历史版本
        V5.1.0版本产品文档
        开发手册
        进阶开发
        高级SQL语句编写
      • 用户使用流程
        子账号使用流程 前置条件 子账号为IAM普通用户角色且已登录到一站式智算平台 主账号使用流程 若子账号为IAM管理员角色,则其拥有全部操作权限,操作流程和主账号别无二致,故角色为IAM管理员的子账号使用流程参见主账号使用流程章节;角色为IAM普通用户的子账号,使用流程如下: 子账号的使用流程主要是为了进行任务作业,具体步骤如下: 流程 子任务 说明 详细指导 数据集准备与处理 创建基础数据集 可上传基础数据集到ZOS或HPFS 基础数据集 数据集准备与处理 创建标注数据集 创建标注数据集,可对数据集进行标注,并发布为新的数据集 标注数据集 数据集准备与处理 数据清洗 可以对数据 数据处理 镜像准备 预置镜像 预置镜像即平台预先设置的完整镜像,可直接用于创建任务时使用 预置镜像 镜像准备 自定义镜像 可以通过开发机自主制作镜像或通过天翼云容器镜像服务将镜像服务内的容器共享给一体化智算平台 自定义镜像 镜像准备 他人分享镜像 可将自己的镜像分享给他人使用 镜像分享 代码准备 导入代码包 将代码上传到平台 我的代码包 模型准备 导入模型 可将用户自己的模型或在平台训练、精调好的模型导入到平台进行版本管理、评估及部署 我的模型 AI作业 模型开发 可通过启动和管理在线JupyterLab或VSCode集成开发环境在线编程进行模型开发 开发机 AI作业 模型训练 创建自定义创建训练任务,支持单机和多机分布式训练 训练任务 AI作业 模型精调 零代码快速创建和管理精调任务,提供全参微调和lora微调两种精调方式。基于平台的基础大模型,选择训练数据集和算力即可快速启动精调任务。 模型精调 AI作业 模型评估 可对模型进行评估,自动评估打分,生成评估报告 模型评估 AI作业 模型压缩 不减少模型效果的前提下压缩模型大小,进而提升模型在推理调用时的性能 模型压缩 AI作业 模型部署 部署模型,提供推理服务 模型服务 AI作业 体验模型 可以对预置模型和自己部署的模型进行体验 体验中心 综合管理 工作空间管理 查看工作空间相关信息,若是工作空间的管理员可以进行相关操作 工作空间 综合管理 操作审计 对平台操作事件进行跟踪 操作审计
        来自:
        帮助文档
        一站式智算服务平台
        快速入门
        用户使用流程
      • 性能调优
        本章节主要介绍Flink作业相关问题中有关性能调优的问题。 Flink作业如何进行性能调优 概念说明及监控查看 消费组积压 消费组积压可通过topic最新数据offset减去该消费组已提交最大offset计算得出,说明的是该消费组当前待消费的数据总量。 如果Flink作业对接的是kafka专享版,则可通过云监控服务(CES)进行查看。具体可选择“云服务监控 > 分布式消息服务 > kafka专享版” ,单击“kafka实例名称 > 消费组” ,选择具体的消费组名称,查看消费组的指标信息。 反压状态 反压状态是通过周期性对taskManager线程的栈信息采样,计算被阻塞在请求输出Buffer的线程比率来确定,默认情况下,比率在0.1以下为OK,0.1到0.5为LOW,超过0.5则为HIGH。 时延 Source端会周期性地发送带当前时间戳的LatencyMarker,下游算子接收到该标记后,通过当前时间减去标记中带的时间戳的方式,计算时延指标。算子的反压状态和时延可以通过Flink UI或者作业任务列表查看,一般情况下反压和高时延成对出现: 性能分析 由于Flink的反压机制,流作业在存在性能问题的情况下,会导致数据源消费速率跟不上生产速率,从而引起Kafka消费组的积压。在这种情况下,可以通过算子的反压和时延,确定算子的性能瓶颈点。 作业最后一个算子(Sink)反压正常(绿色),前面算子反压高(红色) 该场景说明性能瓶颈点在sink,此时需要根据具体数据源具体优化,比如对于JDBC数据源,可以通过调整写出批次(connector.write.flush.maxrows)、JDBC参数重写(rewriteBatchedStatementstrue)等进行优化。 作业非倒数第二个算子反压高(红色) 该场景说明性能瓶颈点在Vertex2算子,可以通过查看该算子描述,确认该算子具体功能,以进行下一步优化。 所有算子反压都正常(绿色),但存在数据堆积 该场景说明性能瓶颈点在Source,主要是受数据读取速度影响,此时可以通过增加Kafka分区数并增加source并发解决。 作业一个算子反压高(红色),而其后续的多个并行算子都不存在反压(绿色) 该场景说明性能瓶颈在Vertex2或者Vertex3,为了进一步确定具体瓶颈点算子,可以在FlinkUI页面开启inPoolUsage监控。如果某个算子并发对应的inPoolUsage长时间为100%,则该算子大概率为性能瓶颈点,需分析该算子以进行下一步优化。 inPoolUsage监控
        来自:
        帮助文档
        数据湖探索
        常见问题
        操作类
        Flink作业相关问题
        性能调优
      • 训练任务
        参数类型 参数名 说明 基本信息 任务名称 必填,训练任务名称。 基本信息 描述 非必填,输入128个字符的描述。 数据集配置 训练数据集 最多可添加10个,选择基础数据集或者标注数据集。 模型配置 模型来源 我的模型:最多5个,将模型管理中的模型文件挂载到容器内路径。 预置模型:最多5个,将预置模型挂载到容器内路径。 模型配置 模型文件 选择我的模型具体的模型文件及版本。 选择预置模型文件及具体版本。 存储配置 ZOS对象存储 最多选择5个,如果没有提前创建,可以点击“去创建对象存储”完成创建。 存储配置 HPFS并行文件系统 最多选择5个,如果没有提前创建,可以点击“去创建HPFS”完成创建。 结果可视化工具 TensorBoard 可对TensorBoard进行配置。 开启TensorBoard将会占用您少量资源(约1核CPU+1G内存),您可按需开启。 开启后,您需要对日志的输出路径进行配置: 存储类型:选择需要的存储类型。 输出路径:日志实际的输出路径,建议您在自有存储中创建空文件夹专用于TensorBoard日志的输出。 容器内挂载路径:即训练代码中您指定的TensorBoard Summary日志文件存储位置。平台会默认读取任务训练输出路径下Summary路径中数据,该路径需与代码中的TensorBoard日志路径一致,否则TensorBoard无法获取数据。 环境配置 文件目录 平台可持久化的挂载目录,后续可以在该目录下读写文件,是用户间隔离的。 环境配置 训练代码 非必填,可以选择目标代码包。 环境配置 启动命令 必填。如果您的代码包是文件夹,则需要填写python xx.py,其中xx.py是您的训练代码;如果您的代码中有启动参数,可以直接填写;若您使用的代码包是压缩包文件,需要在启动命令中添加解压命令zip。 资源配置 镜像来源 支持选择系统预置镜像、自定义镜像、他人分享镜像以及镜像地址输入。 资源配置 集群 支持公共集群和专属集群两种类型,其中专属集群需要提前购买。 资源配置 资源配额 选择目标资源配额,展示当前总资源及使用情况。 资源配置 资源规格 选择当前任务所需要的资源规格。 资源配置 训练模式 默认为DDP(分布式训练),如果在单一计算设备上进行机器学习模型训练选择单机训练。 资源配置 容错训练 启动容错训练后,如果训练过程中节点异常,系统会自动重新启用一个新的节点来替换异常节点,从上一个checkpoint开始继续训练。 高级配置 断点续训 支持昇腾NPU以及英伟达系列GPU的断点续训。 开启后,如因为节点故障导致训练任务异常,会封锁故障节点,重新调度训练任务;同时可以配置断点续训策略,支持设置【每次错误的最大重启次数】【容错重启策略】【容错策略】等参数。 高级配置 算力健康检查 检查昇腾机器节点的显卡状态、显卡通信状态和交换机状态,以及带宽的压测值。可训练任务详情页查看具体信息。
        来自:
        帮助文档
        训推服务
        用户指南
        模型定制
        训练任务
      • 训练任务
        平台的训练任务可以提供稳定和易用的训练环境,在降低训练成本的同时提升训练任务执行效率。 前置条件 完成训练数据集准备,完成存储配置准备(ZOS/HPFS),详见我的数据集。 如果预置模型不满足开发要求,需要基于自有模型,需要完成模型文件准备,详见我的模型。 如果预置镜像不满足开发要求,需要基于自有镜像,需要完成镜像文件准备,详见我的镜像。 如果需要使用代码包,需要完成代码包的上传,详见我的代码包。 创建训练任务 登录智算服务平台。 创建训练任务入口: 入口一:在左侧菜单选择“模型定制”“训练任务”,点击“新建任务”,进入任务创建页面。 入口二:在左侧菜单选择“模型定制”“开发机”,点击开发机列表的“开始训练”。 参数类型 参数名 说明 基本信息 任务名称 必填,训练任务名称。 基本信息 描述 非必填,输入128个字符的描述。 数据集配置 训练数据集 最多可添加10个,选择基础数据集或者标注数据集。 模型配置 模型来源 我的模型:最多5个,将模型管理中的模型文件挂载到容器内路径。 预置模型:最多5个,将预置模型挂载到容器内路径。 模型配置 模型文件 选择我的模型具体的模型文件及版本。 选择预置模型文件及具体版本。 存储配置 ZOS对象存储 最多选择5个,如果没有提前创建,可以点击“去创建对象存储”完成创建。 存储配置 HPFS并行文件系统 最多选择5个,如果没有提前创建,可以点击“去创建HPFS”完成创建。 环境配置 文件目录 平台可持久化的挂载目录,后续可以在该目录下读写文件,是用户间隔离的。 环境配置 训练代码 非必填,可以选择目标代码包。 环境配置 启动命令 必填。如果您的代码包是文件夹,则需要填写python xx.py,其中xx.py是您的训练代码;如果您的代码中有启动参数,可以直接填写;若您使用的代码包是压缩包文件,需要在启动命令中添加解压命令zip。 资源配置 镜像来源 支持选择系统预置镜像、自定义镜像、共享容器镜像和他人分享镜像。 资源配置 集群 支持公共集群和专属集群两种类型,其中专属集群需要提前购买。 资源配置 队列 选择目标队列,展示当前总资源及使用情况。 资源配置 资源规格 选择当前任务所需要的资源规格。 资源配置 训练模式 默认为DDP(分布式训练),如果在单一计算设备上进行机器学习模型训练选择单机训练。 资源配置 容错训练 启动容错训练后,如果训练过程中节点异常,系统会自动重新启用一个新的节点来替换异常节点,从上一个checkpoint开始继续训练。 高级配置 断点续训 开启容错后,如因为节点故障导致训练任务异常,会封锁故障节点,重新调度训练任务。 高级配置 算力健康检查 检查昇腾机器节点的显卡状态、显卡通信状态和交换机状态,以及带宽的压测值。可训练任务详情页查看具体信息。
        来自:
        帮助文档
        一站式智算服务平台
        用户指南
        模型定制
        训练任务
      • 还原卷(上云卷)
        参数 类型 描述 是否必须 lunName String 源卷的卷名称。 是 uuid String 源卷的唯一标识码。 是 targetName String 指定还原卷的target名称。 说明 还原卷时,如果指定的target名称不存在,那么同时创建iSCSI target。 取值:长度范围是1~16,可以由小写字母、数字、句点(.)和短横线()组成,且仅支持以字母或数字开头。 是 storageMode String 指定还原卷的存储类型。 取值: Cache:缓存模式,本地保留部分热数据,全部数据异步存储到对象存储中。 Storage:存储模式,本地保留全部数据,并异步存储到对象存储中。 存储类型默认为源卷的存储类型。 否 config.localStorageClass String 指定还原卷冗余模式(仅集群版支持)。 取值: singlecopy:单副本。 2copy:两副本。 3copy:三副本。 EC N+M :纠删码模式。其中N、M为正整数,N≥M,且N+M≤128。表示将数据分割成N个片段,并生成M个校验数据。 默认值为源卷的冗余模式。 说明 以下场景均为集群可用的前提下: 还原EC N+M的卷后: 卷所在存储池可用故障域数量大于等于卷的最小副本数时,可以向卷中写数据。卷所在存储池可用故障域数量小于最小副本数时,不能向卷写数据,且系统会产生告警。 卷所在存储池可用故障域数量大于等于N+M,卷数据正常,不会产生降级。卷所在存储池可用故障域数量处于[N, N+M),卷数据将处于降级状态,建议尽快添加或修复故障域。卷所在存储池可用故障域数量小于N时,已写入的数据发生损毁。 还原副本模式的卷后: 卷所在存储池可用故障域数量大于等于卷的最小副本数时,可以向卷中写数据。卷所在存储池可用故障域数量小于最小副本数时,不能向卷写数据,且系统会产生告警。 卷所在存储池可用故障域数量大于等于副本数,卷数据正常,不会产生降级。对于两副本、三副本卷,卷存储池所在故障域大于等于1,但小于副本数时,卷数据将处于降级状态,建议尽快添加或修复存储池故障域。卷所在存储池无可用故障域时,已写入的数据发生损毁。 否 config.minReplica Integer 指定还原卷的最小副本数(仅集群版支持)。 对于副本模式的卷,假设卷副本数为X,最小副本数为Y(Y必须≤X),该卷每次写入时,至少Y份数据写入成功,才视为本次写入成功。对于EC N+M 模式的卷,假设该卷最小副本数设置为Y(必须满足N≤Y≤N+M),必须满足总和至少为Y的数据块和校验块写入成功,才视为本次写入成功。 注意 如果指定了还原卷的最小副本数,必须指定还原卷的冗余模式。 取值:对于副本卷,取值范围是[1, N],N为副本模式卷的副本数;对于EC卷,取值范围是[N, N+M]。如果未设置还原卷的最小副本数,默认值为源卷的最小副本数。 否 config.redundancyOverlap Integer 指定还原卷的折叠副本数(仅集群版支持)。在数据冗余模式下,同一份数据的不同副本/分片默认分布在不同的故障域,当故障域损坏时,允许根据卷的冗余折叠原则,将多份数据副本放在同一个故障域中,但是分布在不同的path上。 注意 如果存储池故障域级别为path,此参数不生效。如果指定了还原卷的折叠副本数,必须指定还原卷的冗余模式。 取值:对于副本卷,取值范围是[1, N],N为副本模式卷的副本数;对于EC模式,取值范围是[1, N+M]。如果未设置还原卷的折叠副本数,默认值为源卷的折叠副本数。 否 config.ECfragmentSize Integer 设置还原卷的纠删码模式分片大小(仅集群版支持)。 config.localStorageClass为EC模式时,此设置才生效,否则忽略。 取值:1、2、4、8、16、32、64、128、256、512、1024、2048、4096,单位是KiB。默认值为源卷的纠删码模式分片大小。 否 config.cachePool String 指定还原卷的缓存存储池(仅集群版支持)。如果指定了缓存存储池,卷数据首先写入缓存存储池,然后再存入存储池。 注意 存储池与缓存存储池不能是同一个存储池。 取值:长度范围是1~16,只能由字母、数字和短横线()、下划线()组成,字母区分大小写,且仅支持以字母和数字开头。 否 config.pool String 指定还原卷的存储池(仅集群版支持),表示最终存储池,卷数据最终落在该存储池内。默认使用集群的基础存储池。 取值:长度范围是1~16,只能由字母、数字和短横线()、下划线()组成,字母区分大小写,且仅支持以字母和数字开头。 说明 不指定,默认使用基础存储池。 否 config.highAvailability String 指定还原卷的高可用类型(仅集群版支持)。 取值: ActiveStandby:启用主备,该卷关联对应target下的所有IQN。 Disabled:不启用主备,该卷关联对应target下的1个IQN。 默认值为源卷的高可用类型。 否 config.writePolicy String 设置还原卷的写策略。 取值: WriteBack:回写,指数据写入到内存后即返回客户端成功,之后再异步写入磁盘。适用于对性能要求较高,稳定性要求不高的场景。 WriteThrough:透写,指数据同时写入内存和磁盘,并在都写成功后再返回客户端成功。适用于稳定性要求较高,写性能要求不高,且最近写入的数据会较快被读取的场景。 WriteAround:绕写,指数据直接写到磁盘,不写入内存。适用于稳定性要求较高,性能要求不高,且写多读少的场景。 默认值为源卷的写策略。 否 config.serverAffinity Object 卷主备分布优先级设置(仅集群版支持),详见“ 表1 请求参数serverAffinity说明 (仅集群版支持)”。 否 config.qosPolicy Object 卷关联的QoS策略信息,详见“ 表2 请求参数config.qosPolicy说明 ”。 否 config.path String 指定还原卷存储数据的数据目录(仅单机版支持)。 取值:只能包含字母、数字、汉字和特殊字符(~ ! @ $ ( ) + ; . :)。如果还原卷时不指定数据目录,使用服务器设置的默认数据目录。 否 cloud.provider String 指定还原卷的对象存储服务名称: OOS : 天翼云对象存储经典版I型。 S3:兼容S3的其他对象存储。 默认值为OOS。 说明 源卷和还原卷必须使用相同的对象存储服务。 否 cloud.bucketName String 源卷所在存储桶的名称。 注意 请勿开启Bucket的生命周期设定和合规保留。 是 cloud.prefix String 源卷的前缀名称。如果源卷未指定前缀,则此处不设置。 取值:长度范围是1~256。 否 cloud.accessKey String 源卷的Access Key。 是 cloud.secretKey String 源卷的Secret Access Key。 是 cloud.endpoint String 源卷的Endpoint。 注意 如果仅输入域名将会使用HTTPS协议进行访问。 是 cloud.signVersion String 指定还原卷上云签名认证的类型。 取值: v2:V2签名认证。 v4:V4签名认证。 默认值为v2。 否 cloud.region String 还原卷的region,即Endpoint资源池所在区域。 OOS region详见 。 V4签名时,此项必填。 否 cloud.storageClass String 设置还原卷上传数据至对象存储的存储类型。 取值: STANDARD:标准存储。 STANDARDIA:低频访问存储。 默认为源卷上传数据至对象存储的存储类型。 否 cloud.compression String 设置还原卷是否压缩数据上传至对象存储。 取值: Enabled:压缩数据上传至对象存储。 Disabled:不压缩数据上传至对象存储。 默认值为源卷的设置。 否
        来自:
        帮助文档
        存储资源盘活系统
        API参考
        卷管理
        还原卷(上云卷)
      • XEN实例变更为KVM实例(Windows)
        本节介绍了XEN实例变更为KVM实例(Windows)的操作场景、约束与限制、操作流程、后续处理。 操作场景 XEN实例变更为KVM实例前,需要确保Windows弹性云主机已安装了PV driver和UVP VMTools。 本节指导您安装PV driver和UVP VMTools,将XEN实例变更为KVM实例。 说明 XEN实例:S1、C1、C2、M1型弹性云主机。 KVM实例:参考 “XEN实例”变更为“KVM实例”必须先安装对应的驱动,然后再变更规格。否则,规格变更后的弹性云主机不可用(如操作系统无法启动等问题)。 Linux操作系统的“XEN实例”变更为“KVM实例”时,优先推荐使用 约束与限制 Windows操作系统云主机如果存在跨区卷,不支持变更规格,否则可能会导致数据丢失。 对于XEN实例,当挂载的VBD磁盘超过24块时,不支持将规格变更为KVM实例。 系统支持将“XEN实例”变更为“KVM实例”,不支持将“KVM实例”变更为“XEN实例”。 操作流程 XEN实例变更为KVM实例的操作流程如下图所示。 图 Windows云主机变更流程 具体的变更操作如下表所示。 表 XEN实例变更为KVM实例 序号 任务 :: 步骤1 步骤1:制作系统盘快照 步骤2 步骤2:检查UVP VMTools版本 步骤3 步骤3:安装或升级UVP VMTools 步骤4 步骤4:变更规格 步骤5 步骤5:检查磁盘挂载状态 步骤1:制作系统盘快照 如果云主机未安装驱动就执行了变更规格的操作,云主机无法正常使用,需要重装操作系统才能恢复,可能造成您的系统盘数据丢失。因此,建议您先制作系统盘快照,防止数据丢失。创建快照参考 控制面板”。 b. 单击“卸载程序”。 c. 按照提示,卸载“GPL PV Drivers for Windows x.x.x.xx”。 d. 在控制台重启云主机。 4. 安装新版本PV driver。 a. 下载PV Driver的安装包。 b. 解压PV driver软件包。 c. 双击“pvdriverwindows.iso”。 d. 运行“Setup.exe”,根据界面提示安装PV Driver。 请耐心等待驱动安装完成,请勿重复点击“Setup.exe”。 e. 根据提示重启云主机,使PV driver生效。 5. 检查并恢复UAC配置。 a. 打开“运行”窗口,输入“regedit”,打开“注册表编辑器”。 b. 查看HKEYLOCALMACHINESOFTWAREMicrosoftWindowsCurrentVersionPoliciesSystemEnableLUA 键值,与卸载PV Driver前记录的键值比较,如果不同请将键值修改为2中记录的值。 6. 安装或升级UVP VMTools。 a. 下载UVP VMTools的安装包。 b. 解压UVP VMTools的安装包。 c. 双击“vmtoolswindows.iso”。 d. 运行“Setup.exe”,根据界面提示安装UVP VMTools。 安装程序会自动匹配当前操作系统版本,并识别新安装或升级场景。 请耐心等待驱动安装完成,请勿重复点击“Setup.exe” e. 根据提示重启云主机,使UVP VMTools驱动生效。 f. 驱动安装完成并重启云主机后,需检查驱动是否安装成功。检查方法请参考步骤2:检查UVP VMTools版本。 步骤4:变更规格 1. 登录控制台。 2. 选择“计算 > 弹性云主机”。 3. 在弹性云主机列表,查询待变更弹性云主机状态。 如果不是关机状态,单击“操作”列下的“更多 > 关机”。 4. 单击“操作”列下的“更多 > 变更规格”。 系统进入“云主机变更规格”页面。 5. 根据界面提示,选择变更后的云主机类型、vCPU和内存。 6. (可选)选择“专属主机”。 对于在专属主机上创建的弹性云主机,系统支持更换云主机所在的专属主机。 此时,您可以单击下拉列表,选择更换专属主机。如果下拉列表中无可用的专属主机,说明专属主机所剩资源不足,不能用于创建变更规格后的弹性云主机。 7. 勾选复选框“我确认已完成对弹性云主机的配置”,确认已完成步骤3:安装或升级UVP VMTools。 8. 单击“确定”。 说明 如果变更规格失败后,弹性云主机无法使用,可能会需要重装操作系统来恢复云主机,请注意重装操作系统会清除系统盘数据,但不影响数据盘的数据。 (可选)步骤5:检查磁盘挂载状态 XEN实例变更为KVM实例时,可能会发生磁盘脱机,因此,变更规格后,需检查磁盘挂载状态是否正常。如果正常,则变更成功。 Windows弹性云主机 详细操作请参考Windows弹性云主机变更规格后数据盘脱机怎么办?
        来自:
        帮助文档
        弹性云主机 ECS
        用户指南
        实例
        变更规格
        XEN实例变更为KVM实例(Windows)
      • 安全(1)
        限制互联网访问 1. Linux服务器配置 创建自定义链: sudo iptables N ALLOWEDIPS 添加允许的IP(IP地址为示例,操作时需替换为实际IP地址): sudo iptables A ALLOWEDIPS s 192.168.1.100 j ACCEPT sudo iptables A ALLOWEDIPS s 10.0.0.5 j ACCEPT sudo iptables A ALLOWEDIPS s 172.24.57.160 j ACCEPT sudo iptables A ALLOWEDIPS j RETURN 应用到SSH端口: sudo iptables A INPUT p tcp dport 22 j ALLOWEDIPS sudo iptables A INPUT p tcp dport 17477 j ALLOWEDIPS 此外,可参考上述命令关闭以下端口互联网访问或设置IP地址白名单:Telnet(23)、Windows文件共享(135、137、138、139、445)、Windows远程桌面(3389)、远程桌面控制(59005910)、数据库类端口(3306、5432、6379、27017)。 2. VPN接入的情况下配置 将OpenClaw Gateway绑定127.0.0.1,切勿直接绑定到0.0.0.0。 关闭18789端口: sudo ufw deny 18789 远程访问时强制使用VPN并启用Gateway认证(在openclaw.json中设置gateway.auth.mode: "token"及强令牌)。 开启详细日志 开启日志记录: openclaw gateway loglevel debug >> /var/log/openclaw.log 2>&1 文件系统访问控制 在Docker部署配置文件(dockercompose.yml)中,利用volumes参数将系统关键目录挂载为:ro(只读)模式,仅保留特定的/workspace为可写状态。 在宿主机系统层,通过chmod 700指令对私密数据目录实施强制访问控制: sudo chmod 700 /path/to/your/workspace
        来自:
      • 单资源池多VPC网络设计
        典型架构图 安全增强措施 1. 最小权限原则 1. 跨VPC访问仅开放必要端口 2. NAT网关SNAT/DNAT规则严格配置 2. 精细跨VPC路由管理 1. 需要跨VPC互通的子网和不需要跨VPC互通的子网设计不同的子网路由表,仅对需要跨VPC互通的路由中添加执行对等连接的路由。 2. 路由表中指向对等连接的路由的目的地址不包含非必要地址范围。 3. 网络隔离 1. 数据库子网:禁止直接跨VPC访问,仅允许通过应用层代理。 2. 堡垒机子网:部署在独立VPC,严格限制入站流量。 成本优化建议 1. 共享资源:通过共享VPC集中部署NAT网关、堡垒机等服务,减少重复资源开销。 2. 按需互通:仅在有业务需求的VPC间建立对等连接,避免构建全互联(FullMesh)网络,以控制路由表的规模和复杂度。 运维与监控 1. 自动化部署:使用天翼云原生API实现VPC、子网、安全组、对等连接、路由表等资源的自动化编排。 2. 监控告警:配置云监控对使用的云资源进行告警,重点关注以下指标 3. 弹性IP、共享带宽网络出入带宽利用率 4. NAT网关并发连接数 5. 弹性负载均衡健康/异常后端主机数 6. 为资源如VPC打标签(如 env:prod、owner:teamA),便于资源分类管理。
        来自:
        帮助文档
        虚拟私有云 VPC
        最佳实践
        云网架构设计指南
        单资源池多VPC网络设计
      • 云镜像市场
        本文向您介绍如何使用云镜像市场。 产品概述 天翼云云镜像市场是由天翼云构建的标准化镜像服务平台,联合第三方镜像服务商(ISV)为用户提供预集成化的云主机镜像及配套服务。镜像市场中所有镜像均基于天翼云云主机操作系统深度定制,预封装了如Deepseek大模型、数据库工具、运维管理面板等软件堆栈,实现云端应用的即开即用。用户可通过云镜像市场快速部署具备特定功能场景的云主机实例,大幅提升资源交付效率,让云主机即开即用、省时方便。 核心价值 快速交付 :免除手动配置环境的时间成本,最短时间获得生产级运行环境。 生态丰富 :AI与大数据、安全加固、行业软件等经天翼云技术审核的优质镜像。 使用云镜像市场的镜像创建云主机实例 创建云主机实例时,选择云镜像市场中的镜像。创建云主机实例的具体操作及参数介绍,请参见创建弹性云主机。 使用云镜像市场的镜像重装操作系统 您可以在云主机列表,通过操作一键重装,将云主机的镜像更换为云镜像市场的镜像。 重装操作系统时,在一键重装 弹窗页面选择云镜像市场 镜像,并在云镜像市场页面选择您所需的镜像。具体操作,请参见重装操作系统。
        来自:
        帮助文档
        镜像服务 IMS
        用户指南
        云镜像市场
      • 虚拟私有云与子网类
        子网间是否可以通信? 子网是属于VPC的资源,一个VPC内的子网默认可以进行通信,不同VPC的子网默认不能进行通信,可以通过创建对等连接使不同VPC的子网通信。 说明: 若子网关联了网络ACL,需先放通网络ACL。 子网可以使用的网段是什么? 子网的网段要在VPC的网段内部,VPC提供三段私网网段,10.0.0.0/8~24、172.16.0.0/12~24和192.168.0.0/16~24,子网的网段须在这些范围内,且子网的掩码范围为子网所在VPC掩码~29。 子网被相关资源占用时,会导致无法删除子网,如何排查相关资源? 虚拟私有云允许您创建私有、隔离的虚拟网络环境。在虚拟私有云中,可以对私有IP地址范围、子网和网络网关等进行控制。弹性云服务器、裸金属服务器、数据库和部分应用等会在虚拟私有云中创建的安全网络。 子网被相关资源使用时,无法删除子网。 您可以通过控制台首页查看帐户下所有资源,根据子网信息排查各资源是否在待删除的子网中。先删除子网中的全部资源,再删除子网。 可参考以下常用的资源实例进行排查,具体请以帐户下资源为准。 弹性云服务器 裸金属服务器 RDS实例 弹性负载均衡器 VPN 私有IP地址 自定义路由 NAT网关 终端节点与终端节点服务
        来自:
        帮助文档
        虚拟私有云 VPC
        常见问题
        虚拟私有云与子网类
      • 产品优势
        天翼云弹性高性能计算产品为您提供优质的服务体验,本文带您了解天翼云弹性高性能计算的产品优势。 快速交付,部署灵活 天翼云弹性高性能计算平台操作简洁、易于上手,您可以在天翼云控制台快速创建高性能计算集群,一键部署出您需要的高性能计算环境和应用程序,创建完成后即可立即提交作业开始工作。相较于传统超算漫长的部署周期,弹性高性能计算部署灵活、分钟级交付、资源即租即用,您可以随时选用最新硬件。 成本低廉,无需运维 天翼云弹性高性能计算平台服务免费,您仅需以租用的方式支付实例费用便可使用高性能计算平台。您无需关注HPC集群本身的设备运维、网络安全、机房故障等一系列运维事件,无需投入大量资金,极大地降低了中小客户的使用门槛。而传统超算需投入大量人力成本和物料成本,包括服务器、系统、数据库等软硬件费用及机房机柜费用和运维成本,对个人用户及中小企业不友好。 云端数据,安全可靠 不同租户之间资源隔离,数据安全有保障。基于虚拟私有云实现的网络访问隔离,充分保证了集群网络的安全性。支持对接弹性文件存储,满足企业数据安全和可靠性诉求。 弹性资源,按需配置 您可以根据自己的需求对集群进行扩容、缩容,灵活适配业务规模需求。相较于传统超算,天翼云弹性高性能计算更加灵活、可以充分有效地利用资源,降低成本。
        来自:
        帮助文档
        弹性高性能计算 E-HPC
        产品介绍
        产品优势
      • 基于OpenWebUI+Ollama+DeepSeek实现大模型私有知识库零代码构建的最佳实践
        前言——私有知识库作用简介 大模型私有知识库是结合大语言模型技术与企业或组织自有数据的一种知识管理和应用方案,旨在为特定用户群体提供更精准、专业且安全的知识服务。 大模型私有知识库是基于大语言模型构建的,专门服务于特定组织或个人的知识存储和检索系统。它整合组织内部的专业知识、业务数据、历史文档等,形成专属知识集合,借助大模型的强大语言理解和生成能力,为用户提供高效的知识查询和问答服务。 本教程提供一种基于开源框架的私有知识库搭建方案。如果需要构建企业级服务且对数据安全有需求,则需相关企业对该服务进行定制,以完成私有知识库的搭建。 本文介绍的方法采用了开源框架自带的数据库服务,但该方法不保证相关数据在开源框架下的安全性。请务必在上传前对敏感数据进行脱敏处理。 本教程使用的GPU云主机规格如下所示,用于部署 DeepSeekr1:70b 模型,配置仅供参考。 plaintext cpu 32核  内存 128G GPU: NVIDIA A102 (48GB) 如需体验其它模型版本,请参考在天翼云使用Ollama运行 DeepSeek的最佳实践7b版弹性云主机最佳实践AIGC实践 天翼云自定义部署DeepSeek步骤二:规格选型,选择合适的云主机。
        来自:
        帮助文档
        弹性云主机 ECS
        DeepSeek专题
        实践指南:DeepSeek驱动高效能云生态
        GPU云主机/弹性云主机:零基础搭建DeepSeek云端环境指南
        基于OpenWebUI+Ollama+DeepSeek实现大模型私有知识库零代码构建的最佳实践
      • 基于OpenWebUI+Ollama+DeepSeek实现大模型私有知识库零代码构建的最佳实践
        前言——私有知识库作用简介 大模型私有知识库是结合大语言模型技术与企业或组织自有数据的一种知识管理和应用方案,旨在为特定用户群体提供更精准、专业且安全的知识服务。 大模型私有知识库是基于大语言模型构建的,专门服务于特定组织或个人的知识存储和检索系统。它整合组织内部的专业知识、业务数据、历史文档等,形成专属知识集合,借助大模型的强大语言理解和生成能力,为用户提供高效的知识查询和问答服务。 本教程提供一种基于开源框架的私有知识库搭建方案。如果需要构建企业级服务且对数据安全有需求,则需相关企业对该服务进行定制,以完成私有知识库的搭建。 本文介绍的方法采用了开源框架自带的数据库服务,但该方法不保证相关数据在开源框架下的安全性。请务必在上传前对敏感数据进行脱敏处理。 本教程使用的GPU云主机规格如下所示,用于部署 DeepSeekr1:70b 模型,配置仅供参考。 plaintext cpu 32核  内存 128G GPU: NVIDIA A102 (48GB) 如需体验其它模型版本,请参考在天翼云使用Ollama运行 DeepSeek的最佳实践7b版弹性云主机最佳实践AIGC实践 天翼云自定义部署DeepSeek步骤二:规格选型,选择合适的云主机。
        来自:
        帮助文档
        弹性云主机 ECS
        最佳实践
        AIGC实践
        基于OpenWebUI+Ollama+DeepSeek实现大模型私有知识库零代码构建的最佳实践
      • 云主机通过内网访问应用实例
        本文介绍云主机等公有云资源如何实现内网访问相同地域的应用实例。 前提条件 云主机等资源与应用托管应用实例处于相同地域,且应用实例使用共享网络。 已申请获取应用托管的VPC终端节点服务的服务实例ID(请通过您的客户经理或工单提交申请)。 云资源访问应用实例与应用实例访问云资源需分别申请,应用实例访问云资源详见最佳实践【应用实例通过内网访问数据库等云资源】。 创建VPC终端节点 1. 为云主机等资源创建VPC终端节点。登录天翼云网络控制台,在左侧导航栏单击【VPC终端节点】【终端节点】,单击【创建终端节点】按钮。 2. 在创建终端节点页面,配置相关信息。 字段 说明 服务类型 请选择“按服务实例ID查找服务” 可用服务 请填入已获取的“应用托管的VPC终端节点服务的服务实例ID” 虚拟私有云 请选择云主机等资源所在的虚拟私有云 3. 提供账号邮箱,由应用托管后台添加终端节点服务白名单,并审核连接申请(请通过您的客户经理或工单提交申请)。 确定连接状态 1. 应用托管平台侧通过连接申请后,可在终端节点列表查看到状态为“已连接”。
        来自:
        帮助文档
        应用托管
        最佳实践
        云主机通过内网访问应用实例
      • 应用场景
        本节介绍云等保专区产品的应用场景。 等保合规场景 场景特点 随着《网络安全法》、《信息安全技术网络安全等级保护基本要求》以及各个行业法律法规的发布,用户对于网络安全建设的重视程度日渐提升,等级保护建设逐渐成为了网络安全建设的基线,各行各业的用户都在开始进行等级保护合规建设。 解决的问题 云等保专区产品为更好更快捷地帮助用户完成等级保护建设,特地推出等保二级基础版、等保二级高级版、等保三级基础版以及等保三级高级版套餐,用户仅需要根据自己实际合规等级需要,通过勾选对应套餐,就能够轻松通过等保二级、三级测评,满足等保合规要求。 安全加固场景 场景特点 用户开通云主机将业务部署完成后,需要对于云上业务进行安全加固防护,会使用到安全产品的能力,例如下一代防火墙的访问控制能力、Web应用防火墙的Web应用攻击防护能力、主机安全的漏洞检测与防护能力等。 解决的问题 云等保专区专项推出等保自定义版,能够提供下一代防火墙、Web应用防火墙、日志审计、主机安全、堡垒机、数据库审计以及漏洞扫描等原子能力,用户可根据自己当前云业务网络安全建设的薄弱点以及安全加固防护的需求,进行自主选择需要的安全原子能力进行安全加固建设。
        来自:
        帮助文档
        云等保专区
        产品介绍
        应用场景
      • 术语说明
        本文进行了云防火墙(原生版)产品的术语说明。 VPC 虚拟私有云(Virtual Private Cloud,VPC),为云服务器、云容器、云数据库等云上资源构建隔离、私密的虚拟网络环境。您可以完全掌控自己的专有网络,VPC丰富的功能帮助您灵活管理云上网络,包括创建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。 互联网边界防火墙 互联网边界防火墙主要用于检测互联网和云上资产间的通信流量,也称为南北向流量。 访问控制 是流量过滤规则的集合,通过防火墙的访问控制功能可以对内网的计算机进行访问限制,比如限制访问的Internet网站、限制使用的端口号,这样可以保证局域网的安全性。 黑名单规则 访问控制规则的一种。配置成功后,可对配置地址的入或出通信流量进行阻断。 白名单规则 访问控制规则的一种。配置成功后,可对配置地址的入或出通信流量进行放行。 五元组 包括源IP地址、目的IP地址、协议号、源端口、目的端口。 入侵防御 主动发现外部入侵与恶意外联等未知风险,在检测到可疑事件时,提供实时的防护与告警。如果检测到攻击,入侵防御会在攻击扩散到网络的其他地方之前阻止该恶意通信。 主动外联访问 主动外联访问是指云主机主动访问外部IP的行为,通过对主动外联访问防护,可以帮助您有效管理和控制主机外联行为。
        来自:
        帮助文档
        云防火墙(原生版)
        产品介绍
        术语说明
      • 逻辑复制(pglogical)
        本小节主要介绍RDSPostgreSQL的pglogical插件使用方法。 操作场景 RDSPostgreSQL支持 pglogical插件,为PostgreSQL数据库提供了逻辑流复制发布和订阅的功能。 前提条件 请确保您的实例内核大版本满足,本插件所支持的内核版本,请参考支持的版本插件列表。 插件使用 安装插件 sql CREATE EXTENSION IF NOT EXISTS pglogical; 卸载插件 sql DROP EXTENSION IF EXISTS pglogical; 使用示例 1.在发布端创建发布节点(实例A) sql SELECT pglogical.createnode( nodename : 'provider', dsn : 'host127.0.0.1 port dbnametest userroot password密码' ); 2.配置复制集。将public中的所有表添加到default复制集(实例A) sql SELECT pglogical.replicationsetaddalltables('default', ARRAY['public']); 3.在订阅端创建订阅节点。 一旦设置了发布端节点,订阅者就可以订阅它。首先必须创建订阅者节点(实例B): sql SELECT pglogical.createnode( nodename : 'subscriber', dsn : 'host127.0.0.1 port dbnametest userroot password密码' ); 4.在订阅端创建订阅(实例B)。 sql SELECT pglogical.createsubscription( subscriptionname : 'subscription', providerdsn : 'host port dbnametest userroot password密码' ); 创建订阅后,将在后台启动同步和复制流程。 常见问题 此插件使用方法与开源方法一致,请详见pglogical开源社区。
        来自:
        帮助文档
        关系数据库PostgreSQL版
        用户指南
        插件管理
        逻辑复制(pglogical)
      • 细粒度权限
        本文为您介绍天翼云云搜索服务的细粒度权限能力及使用方法。 功能简介 天翼云云搜索服务中的OpenSearch和Elasticsearch都支持细粒度权限管控,包括文档级别和字段级别的权限控制,为企业级用户提供了精确的数据访问管理能力。这一功能使得管理员能够针对不同的用户或角色,灵活地配置他们对特定文档或字段的访问权限,确保敏感信息得到有效保护,同时实现数据的高效共享和管理。 核心原理 细粒度权限管控允许管理员在多个层次上定义用户访问权限。具体来说,文档级别的权限控制使得管理员能够基于文档的内容或属性,决定某个用户是否可以访问或查询该文档。字段级别的权限控制则进一步细化,允许管理员指定某些用户只能查看或操作文档中的特定字段,而隐藏其他字段内容。 例如,在一个包含敏感信息的客户数据库中,管理员可以配置权限,使得某些用户只能访问客户的联系方式,而不能查看财务信息或个人身份信息。通过这样的精细控制,搜索引擎能够确保数据的安全性和合规性,同时满足不同业务场景下的访问需求。 应用场景与优势 数据安全与隐私保护 通过文档级别和字段级别的权限控制,企业可以确保敏感信息仅对经过授权的用户可见。这在金融、医疗等对数据隐私有严格要求的行业中尤为重要,能够帮助企业满足合规性要求。
        来自:
        帮助文档
        云搜索服务
        用户指南
        增强特性
        细粒度权限
      • 选择表模型
        本章节主要介绍选择表模型的最佳实践。 在设计数据仓库模型的时候,最常见的有两种:星型模型与雪花模型。选择哪一种模型需要根据业务需求以及性能的多重考量来定。 星型模型由包含数据库核心数据的中央事实数据表和为事实数据表提供描述性属性信息的多个维度表组成。维度表通过主键关联事实表中的外键。如下图。 −所有的事实都必须保持同一个粒度。 −不同的维度之间没有任何关联。 星型模型 雪花模型是在基于星型模型之上拓展来的,每一个维度可以再扩散出更多的维度,根据维度的层级拆分成颗粒度不同的多张表。如下图。 −优点是减少维度表的数据量,各个维度表之间按需关联。 −缺点是需要额外维护维度表的数量。 雪花模型 本实践基于TPCDS的SS(Store Sales)模型做验证。该模型为雪花模型,下图显示了该数据模型的结构。 TPCDS Store Sales ERDiagram 有关该模型中事实表StoreSales及各维度表的信息,请查阅TPCDS官方文档。
        来自:
        帮助文档
        数据仓库服务
        最佳实践
        调优表实践
        选择表模型
      • 配置DLI连接
        参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dlilink 访问标识(AK) 密钥(SK) 访问DLI数据库时鉴权所需的AK和SK。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 1. 登录控制台,在用户名下拉列表中选择“我的凭证”。 2. 进入“我的凭证”页面,选择“访问密钥>新增访问密钥”,如下图所示:单击新增访问密钥 3.单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 说明 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 项目ID DLI服务所在区域的项目ID。 项目ID表示租户的资源,帐号ID对应当前帐号。用户可在对应页面下查看不同Region对应的项目ID和帐号ID。 1. 注册并登录管理控制台。 2. 在用户名的下拉列表中单击“我的凭证”。 3. 在“我的凭证”页面,查看帐号名和帐号ID,在项目列表中查看项目ID。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理连接
        配置DLI连接
      • 审批规则
        本章节介绍如果管理云堡垒机的工单审批规则。 工单功能是指运维用户在申请资源访问权限或命令使用权限时,可通过工单申请资源的范围,以及提交工单的方式。 新增工单审批规则 1. 使用管理员账号登录云堡垒机系统。 2. 在左侧导航栏选择“工单管理”>“审批规则”,进入“审批规则”页面。 3. 单击左上角的【新增】按钮,弹出“规则审批”配置窗口。 4. 在弹出的对话框中配置相关内容,具体见下表,配置完成后单击“提交”。 规则名称 输入您的审批规则名称。 工单类型 选择需要授权的工单类型,根据业务需求选择如下四种类型: 资产访问授权 字符命令授权 文件操作授权 数据库命令授权 数据导出授权 注意 字符授权工单默认开通所有命令的使用权限,若您需要限制高危命令的使用请在“字符命令授权”模块将对应用户纳管入相关授权规则当中。 审核人 选择该审批规则的具体审核人员,可多选。 用户(可选) 选择该条审批规则可以提交的相关用户,可多选。 用户组(可选) 选择该条审批规则可以提交的相关用户组,可多选。 后续管理 若需修改审批规则,可单击“操作”列的“编辑”按钮,在弹出的编辑窗口重新配置相关内容。 若不再需要某条审批规则 ,可在单击“操作”列的“删除”按钮。删除后的信息不能找回,请谨慎操作。
        来自:
        帮助文档
        云堡垒机(原生版)
        用户指南
        管理员手册
        工单管理
        审批规则
      • 功能特性
        本小节介绍服务器安全卫士的产品功能。 资产清点 资产清点致力于帮助用户从安全角度自动化构建细粒度资产信息,支持对业务层资产进行精准识别和动态感知,让保护对象清晰可见。资产清点功能提供12余类主机关键资产清点,800余类业务应用自动识别,并拥有良好的扩展能力。 风险发现 风险发现致力于帮助用户精准发现内部风险,帮助安全团队快速定位问题并有效解决安全风险,并提供详细的资产信息、风险信息以供分析和响应。 入侵检测 主机入侵检测系统,将视角从了解黑客的攻击方式,转化成对内在指标的持续监控和分析,无论多么高级的黑客其攻击行为都会触发内部指标的异常变化,从而被迅速发现并处理。 合规基线 合规基线构建了由国内信息安全等级保护要求和CIS(Center for Internet Security)组成的基准要求,涵盖多个版本的主流操作系统、Web应用、数据库等。结合这些基线内容,一方面,用户可快速进行企业内部风险自测,发现问题并及时修复,以满足监管部门要求的安全条件;另一方面,企业可自行定义基线标准,作为企业内部管理的安全基准。 病毒查杀 结合多个病毒检测引擎,能够实时、准确地发现主机上的病毒进程,并提供多角度的分析结果,和相应的病毒处理能力,对病毒能够快速、准确、高效地实现从检测分析到处理修复的安全工作闭环。
        来自:
        帮助文档
        服务器安全卫士
        产品介绍
        功能特性
      • 配置HDFS目的端参数
        参数名 说明 取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 /user/output 文件格式 写入后的文件格式,可选择以下文件格式: CSV格式:按CSV格式写入,适用于数据表到文件的迁移。 二进制格式:选择“二进制格式”时不解析文件内容直接传输,CDM会原样写入文件,不改变原始文件格式,适用于文件到文件的迁移。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,此处的“文件格式”只能选择与源端的文件格式一致。 CSV格式 重复文件处理方式 只有文件名和文件大小都相同才会判定为重复文件。写入时如果出现文件重复,可选择如下处理方式: 替换重复文件 跳过重复文件 停止任务 停止任务 压缩格式 写入文件后,选择对文件的压缩格式。支持以下压缩格式: NONE:不压缩。 DEFLATE:压缩为DEFLATE格式。 GZIP:压缩为GZIP格式。 BZIP2:压缩为BZIP2格式。 LZ4:压缩为LZ4格式。 SNAPPY:压缩为SNAPPY格式。 SNAPPY 换行符 文件中的换行符,默认自动识别“n”、“r”或“rn”。“文件格式”为“二进制格式”时该参数值无效。 n 字段分隔符 文件中的字段分隔符。“文件格式”为“二进制格式”时该参数值无效。 , 使用包围符 “文件格式”为“CSV格式”,才有该参数,用于将数据库的表迁移到文件系统的场景。 选择“是”时,如果源端数据表中的某一个字段内容包含字段分隔符或换行符,写入目的端时CDM会使用双引号(")作为包围符将该字段内容括起来,作为一个整体存储,避免其中的字段分隔符误将一个字段分隔成两个,或者换行符误将字段换行。例如:数据库中某字段为hello,world,使用包围符后,导出到CSV文件的时候数据为"hello,world"。 否 首行为标题行 在迁移表到CSV文件时,CDM默认是不迁移表的标题行,如果该参数选择“是”,CDM在才会将表的标题行数据写入文件。 否 写入到临时文件 将二进制文件先写入到临时文件(临时文件以“.tmp”作为后缀),迁移成功后,再进行rename或move操作,在目的端恢复文件。 否 作业成功标识文件 当作业执行成功时,会在写入目录下生成一个标识文件,文件名由用户指定。不指定时默认关闭该功能。 finish.txt 自定义目录层次 支持用户自定义文件的目录层次。例如:【表名】/【年】/【月】/【日】/【数据文件名】. csv 目录层次 指定文件的目录层次,支持时间宏(时间格式为yyyy/MM/dd)。不填默认为不带层次目录。例如:${dateformat(yyyy/MM/dd, 1, DAY)} 加密方式 “文件格式”选择“二进制格式”时,该参数才显示。 选择是否对写入的数据进行加密: 无:不加密,直接写入数据。 AES256GCM:使用长度为256byte的AES对称加密算法,目前加密算法只支持AES256GCM(NoPadding)。该参数在目的端为加密,在源端为解密。 AES256GCM 数据加密密钥 “加密方式”选择“AES256GCM”时显示该参数,密钥由长度64的十六进制数组成。 请您牢记这里配置的“数据加密密钥”,解密时的密钥与这里配置的必须一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 初始化向量 “加密方式”选择“AES256GCM”时显示该参数,初始化向量由长度32的十六进制数组成。 请您牢记这里配置的“初始化向量”,解密时的初始化向量与这里配置的必须一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业目的端参数
        配置HDFS目的端参数
      • 安全
        限制互联网访问 1. Linux服务器配置 创建自定义链: sudo iptables N ALLOWEDIPS 添加允许的IP(IP地址为示例,操作时需替换为实际IP地址): sudo iptables A ALLOWEDIPS s 192.168.1.100 j ACCEPT sudo iptables A ALLOWEDIPS s 10.0.0.5 j ACCEPT sudo iptables A ALLOWEDIPS s 172.24.57.160 j ACCEPT sudo iptables A ALLOWEDIPS j RETURN 应用到SSH端口: sudo iptables A INPUT p tcp dport 22 j ALLOWEDIPS sudo iptables A INPUT p tcp dport 17477 j ALLOWEDIPS 此外,可参考上述命令关闭以下端口互联网访问或设置IP地址白名单:Telnet(23)、Windows文件共享(135、137、138、139、445)、Windows远程桌面(3389)、远程桌面控制(59005910)、数据库类端口(3306、5432、6379、27017)。 2. VPN接入的情况下配置 将OpenClaw Gateway绑定127.0.0.1,切勿直接绑定到0.0.0.0。 关闭18789端口: sudo ufw deny 18789 远程访问时强制使用VPN并启用Gateway认证(在openclaw.json中设置gateway.auth.mode: "token"及强令牌)。 开启详细日志 开启日志记录: openclaw gateway loglevel debug >> /var/log/openclaw.log 2>&1 文件系统访问控制 在Docker部署配置文件(dockercompose.yml)中,利用volumes参数将系统关键目录挂载为:ro(只读)模式,仅保留特定的/workspace为可写状态。 在宿主机系统层,通过chmod 700指令对私密数据目录实施强制访问控制: sudo chmod 700 /path/to/your/workspace
        来自:
      • 安全(1)
        限制互联网访问 1. Linux服务器配置 创建自定义链: sudo iptables N ALLOWEDIPS 添加允许的IP(IP地址为示例,操作时需替换为实际IP地址): sudo iptables A ALLOWEDIPS s 192.168.1.100 j ACCEPT sudo iptables A ALLOWEDIPS s 10.0.0.5 j ACCEPT sudo iptables A ALLOWEDIPS s 172.24.57.160 j ACCEPT sudo iptables A ALLOWEDIPS j RETURN 应用到SSH端口: sudo iptables A INPUT p tcp dport 22 j ALLOWEDIPS sudo iptables A INPUT p tcp dport 17477 j ALLOWEDIPS 此外,可参考上述命令关闭以下端口互联网访问或设置IP地址白名单:Telnet(23)、Windows文件共享(135、137、138、139、445)、Windows远程桌面(3389)、远程桌面控制(59005910)、数据库类端口(3306、5432、6379、27017)。 2. VPN接入的情况下配置 将OpenClaw Gateway绑定127.0.0.1,切勿直接绑定到0.0.0.0。 关闭18789端口: sudo ufw deny 18789 远程访问时强制使用VPN并启用Gateway认证(在openclaw.json中设置gateway.auth.mode: "token"及强令牌)。 开启详细日志 开启日志记录: openclaw gateway loglevel debug >> /var/log/openclaw.log 2>&1 文件系统访问控制 在Docker部署配置文件(dockercompose.yml)中,利用volumes参数将系统关键目录挂载为:ro(只读)模式,仅保留特定的/workspace为可写状态。 在宿主机系统层,通过chmod 700指令对私密数据目录实施强制访问控制: sudo chmod 700 /path/to/your/workspace
        来自:
      • 安全
        限制互联网访问 1. Linux服务器配置 创建自定义链: sudo iptables N ALLOWEDIPS 添加允许的IP(IP地址为示例,操作时需替换为实际IP地址): sudo iptables A ALLOWEDIPS s 192.168.1.100 j ACCEPT sudo iptables A ALLOWEDIPS s 10.0.0.5 j ACCEPT sudo iptables A ALLOWEDIPS s 172.24.57.160 j ACCEPT sudo iptables A ALLOWEDIPS j RETURN 应用到SSH端口: sudo iptables A INPUT p tcp dport 22 j ALLOWEDIPS sudo iptables A INPUT p tcp dport 17477 j ALLOWEDIPS 此外,可参考上述命令关闭以下端口互联网访问或设置IP地址白名单:Telnet(23)、Windows文件共享(135、137、138、139、445)、Windows远程桌面(3389)、远程桌面控制(59005910)、数据库类端口(3306、5432、6379、27017)。 2. VPN接入的情况下配置 将OpenClaw Gateway绑定127.0.0.1,切勿直接绑定到0.0.0.0。 关闭18789端口: sudo ufw deny 18789 远程访问时强制使用VPN并启用Gateway认证(在openclaw.json中设置gateway.auth.mode: "token"及强令牌)。 开启详细日志 开启日志记录: openclaw gateway loglevel debug >> /var/log/openclaw.log 2>&1 文件系统访问控制 在Docker部署配置文件(dockercompose.yml)中,利用volumes参数将系统关键目录挂载为:ro(只读)模式,仅保留特定的/workspace为可写状态。 在宿主机系统层,通过chmod 700指令对私密数据目录实施强制访问控制: sudo chmod 700 /path/to/your/workspace
        来自:
        帮助文档
        天翼云电脑(公众版)
        OpenClaw云电脑FAQ
        安全
      • 产品咨询类
        一个弹性IP可以给几个弹性云主机使用? 一个弹性IP只能绑定一个弹性云主机使用。 弹性IP的分配策略是什么? 新申请的弹性IP默认是随机分配。 为防止误删除操作,EIP存在24小时缓存机制,对于已释放过弹性IP的用户,24小时内会优先分配之前使用过的EIP。 如需申请新的弹性IP地址,建议您先申请新的EIP后再释放旧的EIP。 弹性IP时,是否可以指定IP地址? 新申请的弹性IP默认是随机分配。对于已释放过弹性IP的用户,会优先分配之前使用过的EIP。 弹性IP是否会变化? 不会改变。 弹性云主机关机和开机不影响弹性IP地址。 切换计费模式不影响弹性IP的地址。 若因资源到期或欠费可能会导致EIP被释放。 如何查询弹性IP归属地? 如您需查询已购买EIP资源的归属地,可通过第三方网站进行查询,例如: 。 第三方网站可能会有IP地址数据库更新不及时的情况,会出现查询结果与实际区域不同的情况,请酌情选择。 如果其他第三方网站的查询结果和 。 带宽是否支持跨帐号使用? 带宽不支持跨帐号使用。每个用户只能使用并管理自己的EIP带宽(独享带宽)及共享带宽。
        来自:
        帮助文档
        弹性IP EIP
        常见问题
        产品咨询类
      • 1
      • ...
      • 241
      • 242
      • 243
      • 244
      • 245
      • ...
      • 291
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      天翼云新春焕新季

      云主机开年特惠28.8元/年,0元秒杀等你来抢!

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      出海产品促销专区

      爆款云主机低至2折,高性价比,不限新老速来抢购!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      弹性云主机 ECS

      物理机 DPS

      多活容灾服务

      GPU云主机

      弹性伸缩服务 AS

      训推服务

      AI Store

      模型推理服务

      科研助手

      推荐文档

      天翼云进阶之路④:多网卡绑定

      iPhone端

      登录

      基本信息

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 服务器安全卫士
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号