活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 青云志云端助力计划 NEW 一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 出海产品促销专区 NEW 爆款云主机低至2折,高性价比,不限新老速来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
  • MCP市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
模型推理服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V3.1
  • DeepSeek-R1-0528
  • DeepSeek-V3-0324
  • Qwen3-235B-A22B
  • Qwen3-32B
智算一体机
  • 智算一体机
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      翼学安在线督导_相关内容
      • 地区及省份列表
        省份/国家中文 省份/国家英文 省份/国家编码 省份/国家英文编码 安徽 AnHui 340000 CNanhui 浙江 ZheJiang 330000 CNzhejiang 上海 ShangHai 310000 CNshanghai 江苏 JiangSu 320000 CNjiangsu 福建 FuJian 350000 CNfujian 山东 ShanDong 370000 CNshandong 广东 GuangDong 440000 CNguangdong 广西 GuangXi 450000 CNguangxi 海南 HaiNan 460000 CNhainan 江西 JiangXi 360000 CNjiangxi 河南 HeNan 410000 CNhenan 湖南 HuNan 430000 CNhunan 湖北 HuBei 420000 CNhubei 辽宁 LiaoNing 210000 CNliaoning 吉林 JiLin 220000 CNjilin 黑龙江 HeiLongJiang 230000 CNheilongjiang 陕西 ShaanXi 610000 CNshaanxi 甘肃 GanSu 620000 CNgansu 青海 QingHai 630000 CNqinghai 宁夏 NingXia 640000 CNningxia 新疆 XinJiang 650000 CNxinjiang 北京 BeiJing 110000 CNbeijing 天津 TianJin 120000 CNtianjin 河北 HeBei 130000 CNhebei 山西 ShanXi 140000 CNshanxi 内蒙古 NeiMengGu 150000 CNneimenggu 重庆 ChongQing 500000 CNchongqing 四川 SiChuan 510000 CNsichuan 贵州 GuiZhou 520000 CNguizhou 云南 YunNan 530000 CNyunnan 西藏 XiZang 540000 CNxizang 香港 HongKong,China 810000 HK 澳门 Macao,China 820000 MO 台湾 Taiwan,China 710000 TW 中国其他 China 0 CNqita 中国 CN 中国东北其他省 CNdongbei 中国华北其他省 CNhuabei 中国华东其它省 CNhuadong 中国华南其它省 CNhuanan 中国华中其它省 CNhuazhong 中国西北其它省 CNxibei 中国西南其它省 CNxinan 文莱 Brunei 1000000 BN 日本 Japan 1000001 JP 泰国 Thailand 1000002 TH 约旦 Jordan 1000003 JO 越南 Vietnam 1000005 VN 阿曼 Oman 1000006 OM 韩国 South Korea 1000007 KR 叙利亚 Syria 1000008 SY 新加坡 Singapore 1000009 SG 阿富汗 Afghanistan 1000010 AF 阿联酋 United Arab Emirates 1000011 AE 塞浦路斯 Cyprus 1000012 CY 巴基斯坦 Pakistan 1000013 PK 尼泊尔 Nepal 1000014 NP 哈萨克斯坦 Kazakhstan 1000015 KZ 喀麦隆 Cameroon 1000016 CM 巴拿马 Panama 1000017 PA 几内亚 Guinea 1000019 GN 立陶宛 Lithuania 1000020 LT 科威特 Kuwait 1000021 KW 伊朗 Iran 1000022 IR 墨西哥 Mexico 1000023 MX 瑞士 Switzerland 1000024 CH 匈牙利 Hungary 1000025 HU 土耳其 Turkey 1000026 TR 奥地利 Austria 1000027 AT 意大利 Italy 1000028 IT 比利时 Belgium 1000029 BE 葡萄牙 Portugal 1000030 PT 西班牙 Spain 1000031 ES 库克群岛 Cook Islands 1000034 CK 萨摩亚 Samoa 1000035 WS 瑙鲁 Nauru 1000036 NR 汤加 Tonga 1000037 TO 瓦努阿图 Vanuatu 1000038 VU 格林纳达 Grenada 1000039 GD 科摩罗 Comoros 1000040 KM 毛里塔尼亚 Mauritania 1000041 MR 塞拉利昂 Sierra Leone 1000042 SL 坦桑尼亚 Tanzania 1000043 TZ 乍得 Chad 1000044 TD 斐济 Fiji 1000045 FJ 密克罗尼西亚联邦 Micronesia 1000046 FM 卡塔尔 Qatar 1000047 QA 卢森堡 Luxembourg 1000048 LU 智利 Chile 1000049 CL 秘鲁 Peru 1000050 PE 哥伦比亚 Colombia 1000051 CO 保加利亚 Bulgaria 1000052 BG 白俄罗斯 Belarus 1000053 BY 罗马尼亚 Romania 1000054 RO 加纳 Ghana 1000055 GH 加蓬 Gabon 1000056 GA 南非 South Africa 1000057 ZA 埃及 Egypt 1000058 EG 苏丹 Sudan 1000059 SD 贝宁 Benin 1000060 BJ 利比亚 Libya 1000061 LY 吉布提 Djibouti 1000062 DJ 安哥拉 Angola 1000063 AO 摩洛哥 Morocco 1000064 MA 尼日利亚 Nigeria 1000066 NG 毛里求斯 Mauritius 1000067 MU 亚美尼亚 Armenia 1000068 AM 加拿大 Canada 1000069 CA 多米尼加 Dominican Republic 1000071 DM 乌拉圭 Uruguay 1000072 UY 厄瓜多尔 Ecuador 1000073 EC 阿尔及利亚 Algeria 1000074 DZ 刚果(布) Congo 1000075 CG 肯尼亚 Kenya 1000076 KE 伊拉克 Iraq 1000077 IQ 埃塞俄比亚 Ethiopia 1000078 ET 斯里兰卡 Sri Lanka 1000079 LK 印度尼西亚 Indonesia 1000081 ID 沙特阿拉伯 Saudi Arabia 1000084 SA 丹麦 Denmark 1000086 DK 德国 Germany 1000087 DE 挪威 Norway 1000088 NO 法国 France 1000089 FR 委内瑞拉 Venezuela 1000091 VE 朝鲜 North Korea 1000092 KP 老挝 Laos 1000093 LA 菲律宾 Philippines 1000094 PH 澳大利亚 Australia 1000095 AU 塔吉克斯坦 Tajikistan 1000096 TJ 土库曼斯坦 Turkmenistan 1000097 TM 巴巴多斯 Barbados 1000099 BB 波兰 Poland 1000101 PL 瑞典 Sweden 1000102 SE 多米尼克 Dominica 1000103 苏里南 Suriname 1000104 SR 圣卢西亚 Saint Lucia 1000105 LC 特立尼达和多巴哥 Trinidad and Tobago 1000106 TT 牙买加 Jamaica 1000107 JM 巴哈马 Bahamas 1000108 BS 博茨瓦纳 Botswana 1000109 BW 布基纳法索 Burkina Faso 1000110 BF 赤道几内亚 Equatorial Guinea 1000111 GQ 多哥 Togo 1000112 TG 厄立特里亚 Eritrea 1000113 ER 冈比亚 Gambia 1000115 GM 刚果(金) DR Congo 1000116 CD 几内亚比绍 GuineaBissau 1000117 GW 科特迪瓦 Cote d’Ivoire 1000118 CI 莱索托 Lesotho 1000119 LS 卢旺达 Rwanda 1000120 RW 马达加斯加 Madagascar 1000121 MG 马里 Mali 1000122 ML 尼日尔 Niger 1000123 NE 塞舌尔 Seychelles 1000124 SC 安道尔 Andorra 1000125 AD 阿尔巴尼亚 Albania 1000126 AL 爱沙尼亚 Estonia 1000127 EE 克罗地亚 Croatia 1000129 HR 拉脱维亚 Latvia 1000130 LV 列支敦士登 Liechtenstein 1000131 LI 北马其顿 North Macedonia 1000132 MK 马耳他 Malta 1000133 MT 摩纳哥 Monaco 1000134 MC 摩尔多瓦 Moldova 1000135 MD 斯洛文尼亚 Slovenia 1000137 SI 巴勒斯坦 Palestine 1000138 PS 巴林 Bahrain 1000139 BH 不丹 Bhutan 1000140 BT 吉尔吉斯斯坦 Kyrgyzstan 1000142 KG 黎巴嫩 Lebanon 1000143 LB 马尔代夫 Maldives 1000144 MV 马来西亚 Malaysia 1000145 MY 缅甸 Myanmar 1000146 MM 印度 India 1000147 IN 巴布亚新几内亚 Papua New Guinea 1000148 PG 巴西 Brazil 1000149 BR 阿根廷 Argentina 1000150 AR 新西兰 New Zealand 1000151 NZ 阿塞拜疆 Azerbaijan 1000152 AZ 蒙古 Mongolia 1000153 MN 圭亚那 Guyana 1000155 GY 洪都拉斯 Honduras 1000156 HN 美国 United States 1000157 US 荷兰 Netherlands 1000158 NL 乌克兰 Ukraine 1000159 UA 关岛 Guam 1000160 GU 危地马拉 Guatemala 1000161 GT 格恩西或根西岛 Guernsey 1000162 海地 Haiti 1000163 HT 马恩岛 Isle of Man 1000164 IM 泽西 Jersey 1000165 基里巴斯 Kiribati 1000166 KI 马拉维 Malawi 1000167 MW 马绍尔群岛 Marshall Islands 1000168 MH 马提尼克 Martinique 1000169 MQ 马约特 Mayotte 1000170 YT 黑山 Montenegro 1000171 ME 蒙特塞拉特 Montserrat 1000172 MS 新喀里多尼亚 New Caledonia 1000174 NC 纽埃 Niue 1000175 NU 帕劳 Palau 1000176 PW 巴拉圭 Paraguay 1000178 PY 皮特凯恩 Pitcairn 1000179 PN 波多黎各 Puerto Rico 1000180 PR 圣赫勒拿 Saint Helena 1000181 圣皮埃尔和密克隆 Saint Pierre and Miquelon 1000182 PM 圣文森特和格林纳丁斯 Saint Vincent and the Grenadines 1000183 VC 索马里 Somalia 1000184 SO 南乔治亚岛和南桑德韦奇岛 South Georgia and the South Sandwich Islands 1000185 GS 斯瓦尔巴群岛和扬马延岛 Svalbard and Jan Mayen Islands 1000186 SJ 斯威士兰 Eswatini 1000187 SZ 东帝汶 TimorLeste 1000188 TL 特克斯和凯科斯群岛 Turks and Caicos Islands 1000189 TC 英属维尔京群岛 British Virgin Islands 1000190 VG 圣多美和普林西比 Sao Tome and Principe 1000191 ST 塞尔维亚 Serbia 1000192 RS 斯洛伐克 Slovakia 1000193 SK 所罗门群岛 Solomon Islands 1000194 SB 美属萨摩亚 American Samoa 1000195 AS 安圭拉 Anguilla 1000196 AI 阿鲁巴 Aruba 1000197 AW 伯利兹 Belize 1000198 BZ 百慕大 Bermuda 1000199 BM 波黑 Bosnia and Herzegovina 1000200 BA 开曼群岛 Cayman Islands 1000201 KY 中非 Central African Republic 1000202 CF 哥斯达黎加 Costa Rica 1000203 CR 萨尔瓦多 El Salvador 1000204 SV 福克兰群岛(马尔维纳斯) Falkland Islands 1000205 FK 法罗群岛 Faroe Islands 1000206 FO 法属圭亚那 French Guiana 1000207 GF 法属波利尼西亚 French Polynesia 1000208 PF 直布罗陀 Gibraltar 1000209 GI 格陵兰 Greenland 1000210 GL 瓜德罗普 Guadeloupe 1000211 GP 美属维尔京群岛 United States Virgin Islands 1000212 VI 西撒哈拉 Western Sahara 1000213 EH 捷克 Czechia 1000214 CZ 英国 United Kingdom 1000215 GB 梵蒂冈 Holy See 1000216 VA 诺福克岛 Norfolk Island 1000217 NF 圣基茨和尼维斯 Saint Kitts and Nevis 1000218 KN 突尼斯 Tunisia 1000219 TN 利比里亚 Liberia 1000220 LR 图瓦卢 Tuvalu 1000221 TV 古巴 Cuba 1000222 CU 安提瓜和巴布达 Antigua and Barbuda 1000223 AG 圣诞岛 Christmas Island 1000224 CX 莫桑比克 Mozambique 1000226 MZ 冰岛 Iceland 1000227 IS 圣马力诺 San Marino 1000228 SM 孟加拉 Bangladesh 1000229 BD 南极洲 Antarctica 1000230 AQ 芬兰 Finland 1000231 FI 爱尔兰 Ireland 1000232 IE 俄罗斯 Russia 1000233 RU 希腊 Greece 1000235 GR 乌兹别克斯坦 Uzbekistan 1000236 UZ 尼加拉瓜 Nicaragua 1000237 NI 玻利维亚 Bolivia 1000238 BO 格鲁吉亚 Georgia 1000239 GE 赞比亚 Zambia 1000241 ZM 南苏丹 South Sudan 1000242 SS 以色列 Israel 1000243 IL 乌干达 Uganda 1000244 UG 塞内加尔 Senegal 1000245 SN 布隆迪 Burundi 1000246 BI 津巴布韦 Zimbabwe 1000247 ZW 纳米比亚 Namibia 1000248 NA 留尼汪 Reunion 1000249 RE 佛得角 Cabo Verde 1000250 CV 也门 Yemen 1000251 YE 柬埔寨 Cambodia 1000252 KH 英属印度洋领土 British Indian Ocean Territory 1000258 IO 奥兰群岛 Aland Islands 1000261 AX 布维岛 Bouvet Island 1000262 BV 欧盟 European Union 1000263 EU 科索沃 Kosovo 1000264 XK 法属南方领地 French Southern Territories 1000265 博纳尔,圣俄斯塔休斯和萨巴 Bonaire, Sint Eustatius and Saba 1000266 库拉索 Curaçao 1000267 CW 圣巴泰勒米 Saint Barthelemy 1000268 BL 圣马丁(法属) Saint Martin (French Part) 1000269 MF 圣马丁(荷属) Sint Maarten (Dutch part) 1000270 SX 美国本土外小岛屿 United States Minor Outlying Islands 1000271 科科斯(基林)群岛 Cocos (Keeling) Islands 1000272 CC 赫德岛和麦克唐纳岛 Heard Island and McDonald Islands 1000273 HM 北马里亚纳群岛 Northern Mariana Islands 1000274 MP 托克劳 Tokelau 1000275 TK 瓦利斯群岛和富图纳群岛 Wallis and Futuna Islands 1000276 WF 未知国家 unknown 1000277 XX 海外其他 1 海外 2
        来自:
        帮助文档
        CDN加速
        API参考
        API概览
        地区及省份列表
      • 地区及省份列表
        省份/国家中文 省份/国家英文 省份/国家编码 省份/国家英文编码 安徽 AnHui 340000 CNanhui 浙江 ZheJiang 330000 CNzhejiang 上海 ShangHai 310000 CNshanghai 江苏 JiangSu 320000 CNjiangsu 福建 FuJian 350000 CNfujian 山东 ShanDong 370000 CNshandong 广东 GuangDong 440000 CNguangdong 广西 GuangXi 450000 CNguangxi 海南 HaiNan 460000 CNhainan 江西 JiangXi 360000 CNjiangxi 河南 HeNan 410000 CNhenan 湖南 HuNan 430000 CNhunan 湖北 HuBei 420000 CNhubei 辽宁 LiaoNing 210000 CNliaoning 吉林 JiLin 220000 CNjilin 黑龙江 HeiLongJiang 230000 CNheilongjiang 陕西 ShaanXi 610000 CNshaanxi 甘肃 GanSu 620000 CNgansu 青海 QingHai 630000 CNqinghai 宁夏 NingXia 640000 CNningxia 新疆 XinJiang 650000 CNxinjiang 北京 BeiJing 110000 CNbeijing 天津 TianJin 120000 CNtianjin 河北 HeBei 130000 CNhebei 山西 ShanXi 140000 CNshanxi 内蒙古 NeiMengGu 150000 CNneimenggu 重庆 ChongQing 500000 CNchongqing 四川 SiChuan 510000 CNsichuan 贵州 GuiZhou 520000 CNguizhou 云南 YunNan 530000 CNyunnan 西藏 XiZang 540000 CNxizang 香港 HongKong,China 810000 HK 澳门 Macao,China 820000 MO 台湾 Taiwan,China 710000 TW 中国其他 China 0 CNqita 中国 CN 中国东北其他省 CNdongbei 中国华北其他省 CNhuabei 中国华东其它省 CNhuadong 中国华南其它省 CNhuanan 中国华中其它省 CNhuazhong 中国西北其它省 CNxibei 中国西南其它省 CNxinan 文莱 Brunei 1000000 BN 日本 Japan 1000001 JP 泰国 Thailand 1000002 TH 约旦 Jordan 1000003 JO 越南 Vietnam 1000005 VN 阿曼 Oman 1000006 OM 韩国 South Korea 1000007 KR 叙利亚 Syria 1000008 SY 新加坡 Singapore 1000009 SG 阿富汗 Afghanistan 1000010 AF 阿联酋 United Arab Emirates 1000011 AE 塞浦路斯 Cyprus 1000012 CY 巴基斯坦 Pakistan 1000013 PK 尼泊尔 Nepal 1000014 NP 哈萨克斯坦 Kazakhstan 1000015 KZ 喀麦隆 Cameroon 1000016 CM 巴拿马 Panama 1000017 PA 几内亚 Guinea 1000019 GN 立陶宛 Lithuania 1000020 LT 科威特 Kuwait 1000021 KW 伊朗 Iran 1000022 IR 墨西哥 Mexico 1000023 MX 瑞士 Switzerland 1000024 CH 匈牙利 Hungary 1000025 HU 土耳其 Turkey 1000026 TR 奥地利 Austria 1000027 AT 意大利 Italy 1000028 IT 比利时 Belgium 1000029 BE 葡萄牙 Portugal 1000030 PT 西班牙 Spain 1000031 ES 库克群岛 Cook Islands 1000034 CK 萨摩亚 Samoa 1000035 WS 瑙鲁 Nauru 1000036 NR 汤加 Tonga 1000037 TO 瓦努阿图 Vanuatu 1000038 VU 格林纳达 Grenada 1000039 GD 科摩罗 Comoros 1000040 KM 毛里塔尼亚 Mauritania 1000041 MR 塞拉利昂 Sierra Leone 1000042 SL 坦桑尼亚 Tanzania 1000043 TZ 乍得 Chad 1000044 TD 斐济 Fiji 1000045 FJ 密克罗尼西亚联邦 Micronesia 1000046 FM 卡塔尔 Qatar 1000047 QA 卢森堡 Luxembourg 1000048 LU 智利 Chile 1000049 CL 秘鲁 Peru 1000050 PE 哥伦比亚 Colombia 1000051 CO 保加利亚 Bulgaria 1000052 BG 白俄罗斯 Belarus 1000053 BY 罗马尼亚 Romania 1000054 RO 加纳 Ghana 1000055 GH 加蓬 Gabon 1000056 GA 南非 South Africa 1000057 ZA 埃及 Egypt 1000058 EG 苏丹 Sudan 1000059 SD 贝宁 Benin 1000060 BJ 利比亚 Libya 1000061 LY 吉布提 Djibouti 1000062 DJ 安哥拉 Angola 1000063 AO 摩洛哥 Morocco 1000064 MA 尼日利亚 Nigeria 1000066 NG 毛里求斯 Mauritius 1000067 MU 亚美尼亚 Armenia 1000068 AM 加拿大 Canada 1000069 CA 多米尼加 Dominican Republic 1000071 DM 乌拉圭 Uruguay 1000072 UY 厄瓜多尔 Ecuador 1000073 EC 阿尔及利亚 Algeria 1000074 DZ 刚果(布) Congo 1000075 CG 肯尼亚 Kenya 1000076 KE 伊拉克 Iraq 1000077 IQ 埃塞俄比亚 Ethiopia 1000078 ET 斯里兰卡 Sri Lanka 1000079 LK 印度尼西亚 Indonesia 1000081 ID 沙特阿拉伯 Saudi Arabia 1000084 SA 丹麦 Denmark 1000086 DK 德国 Germany 1000087 DE 挪威 Norway 1000088 NO 法国 France 1000089 FR 委内瑞拉 Venezuela 1000091 VE 朝鲜 North Korea 1000092 KP 老挝 Laos 1000093 LA 菲律宾 Philippines 1000094 PH 澳大利亚 Australia 1000095 AU 塔吉克斯坦 Tajikistan 1000096 TJ 土库曼斯坦 Turkmenistan 1000097 TM 巴巴多斯 Barbados 1000099 BB 波兰 Poland 1000101 PL 瑞典 Sweden 1000102 SE 多米尼克 Dominica 1000103 苏里南 Suriname 1000104 SR 圣卢西亚 Saint Lucia 1000105 LC 特立尼达和多巴哥 Trinidad and Tobago 1000106 TT 牙买加 Jamaica 1000107 JM 巴哈马 Bahamas 1000108 BS 博茨瓦纳 Botswana 1000109 BW 布基纳法索 Burkina Faso 1000110 BF 赤道几内亚 Equatorial Guinea 1000111 GQ 多哥 Togo 1000112 TG 厄立特里亚 Eritrea 1000113 ER 冈比亚 Gambia 1000115 GM 刚果(金) DR Congo 1000116 CD 几内亚比绍 GuineaBissau 1000117 GW 科特迪瓦 Cote d’Ivoire 1000118 CI 莱索托 Lesotho 1000119 LS 卢旺达 Rwanda 1000120 RW 马达加斯加 Madagascar 1000121 MG 马里 Mali 1000122 ML 尼日尔 Niger 1000123 NE 塞舌尔 Seychelles 1000124 SC 安道尔 Andorra 1000125 AD 阿尔巴尼亚 Albania 1000126 AL 爱沙尼亚 Estonia 1000127 EE 克罗地亚 Croatia 1000129 HR 拉脱维亚 Latvia 1000130 LV 列支敦士登 Liechtenstein 1000131 LI 北马其顿 North Macedonia 1000132 MK 马耳他 Malta 1000133 MT 摩纳哥 Monaco 1000134 MC 摩尔多瓦 Moldova 1000135 MD 斯洛文尼亚 Slovenia 1000137 SI 巴勒斯坦 Palestine 1000138 PS 巴林 Bahrain 1000139 BH 不丹 Bhutan 1000140 BT 吉尔吉斯斯坦 Kyrgyzstan 1000142 KG 黎巴嫩 Lebanon 1000143 LB 马尔代夫 Maldives 1000144 MV 马来西亚 Malaysia 1000145 MY 缅甸 Myanmar 1000146 MM 印度 India 1000147 IN 巴布亚新几内亚 Papua New Guinea 1000148 PG 巴西 Brazil 1000149 BR 阿根廷 Argentina 1000150 AR 新西兰 New Zealand 1000151 NZ 阿塞拜疆 Azerbaijan 1000152 AZ 蒙古 Mongolia 1000153 MN 圭亚那 Guyana 1000155 GY 洪都拉斯 Honduras 1000156 HN 美国 United States 1000157 US 荷兰 Netherlands 1000158 NL 乌克兰 Ukraine 1000159 UA 关岛 Guam 1000160 GU 危地马拉 Guatemala 1000161 GT 格恩西或根西岛 Guernsey 1000162 海地 Haiti 1000163 HT 马恩岛 Isle of Man 1000164 IM 泽西 Jersey 1000165 基里巴斯 Kiribati 1000166 KI 马拉维 Malawi 1000167 MW 马绍尔群岛 Marshall Islands 1000168 MH 马提尼克 Martinique 1000169 MQ 马约特 Mayotte 1000170 YT 黑山 Montenegro 1000171 ME 蒙特塞拉特 Montserrat 1000172 MS 新喀里多尼亚 New Caledonia 1000174 NC 纽埃 Niue 1000175 NU 帕劳 Palau 1000176 PW 巴拉圭 Paraguay 1000178 PY 皮特凯恩 Pitcairn 1000179 PN 波多黎各 Puerto Rico 1000180 PR 圣赫勒拿 Saint Helena 1000181 圣皮埃尔和密克隆 Saint Pierre and Miquelon 1000182 PM 圣文森特和格林纳丁斯 Saint Vincent and the Grenadines 1000183 VC 索马里 Somalia 1000184 SO 南乔治亚岛和南桑德韦奇岛 South Georgia and the South Sandwich Islands 1000185 GS 斯瓦尔巴群岛和扬马延岛 Svalbard and Jan Mayen Islands 1000186 SJ 斯威士兰 Eswatini 1000187 SZ 东帝汶 TimorLeste 1000188 TL 特克斯和凯科斯群岛 Turks and Caicos Islands 1000189 TC 英属维尔京群岛 British Virgin Islands 1000190 VG 圣多美和普林西比 Sao Tome and Principe 1000191 ST 塞尔维亚 Serbia 1000192 RS 斯洛伐克 Slovakia 1000193 SK 所罗门群岛 Solomon Islands 1000194 SB 美属萨摩亚 American Samoa 1000195 AS 安圭拉 Anguilla 1000196 AI 阿鲁巴 Aruba 1000197 AW 伯利兹 Belize 1000198 BZ 百慕大 Bermuda 1000199 BM 波黑 Bosnia and Herzegovina 1000200 BA 开曼群岛 Cayman Islands 1000201 KY 中非 Central African Republic 1000202 CF 哥斯达黎加 Costa Rica 1000203 CR 萨尔瓦多 El Salvador 1000204 SV 福克兰群岛(马尔维纳斯) Falkland Islands 1000205 FK 法罗群岛 Faroe Islands 1000206 FO 法属圭亚那 French Guiana 1000207 GF 法属波利尼西亚 French Polynesia 1000208 PF 直布罗陀 Gibraltar 1000209 GI 格陵兰 Greenland 1000210 GL 瓜德罗普 Guadeloupe 1000211 GP 美属维尔京群岛 United States Virgin Islands 1000212 VI 西撒哈拉 Western Sahara 1000213 EH 捷克 Czechia 1000214 CZ 英国 United Kingdom 1000215 GB 梵蒂冈 Holy See 1000216 VA 诺福克岛 Norfolk Island 1000217 NF 圣基茨和尼维斯 Saint Kitts and Nevis 1000218 KN 突尼斯 Tunisia 1000219 TN 利比里亚 Liberia 1000220 LR 图瓦卢 Tuvalu 1000221 TV 古巴 Cuba 1000222 CU 安提瓜和巴布达 Antigua and Barbuda 1000223 AG 圣诞岛 Christmas Island 1000224 CX 莫桑比克 Mozambique 1000226 MZ 冰岛 Iceland 1000227 IS 圣马力诺 San Marino 1000228 SM 孟加拉 Bangladesh 1000229 BD 南极洲 Antarctica 1000230 AQ 芬兰 Finland 1000231 FI 爱尔兰 Ireland 1000232 IE 俄罗斯 Russia 1000233 RU 希腊 Greece 1000235 GR 乌兹别克斯坦 Uzbekistan 1000236 UZ 尼加拉瓜 Nicaragua 1000237 NI 玻利维亚 Bolivia 1000238 BO 格鲁吉亚 Georgia 1000239 GE 赞比亚 Zambia 1000241 ZM 南苏丹 South Sudan 1000242 SS 以色列 Israel 1000243 IL 乌干达 Uganda 1000244 UG 塞内加尔 Senegal 1000245 SN 布隆迪 Burundi 1000246 BI 津巴布韦 Zimbabwe 1000247 ZW 纳米比亚 Namibia 1000248 NA 留尼汪 Reunion 1000249 RE 佛得角 Cabo Verde 1000250 CV 也门 Yemen 1000251 YE 柬埔寨 Cambodia 1000252 KH 英属印度洋领土 British Indian Ocean Territory 1000258 IO 奥兰群岛 Aland Islands 1000261 AX 布维岛 Bouvet Island 1000262 BV 欧盟 European Union 1000263 EU 科索沃 Kosovo 1000264 XK 法属南方领地 French Southern Territories 1000265 博纳尔,圣俄斯塔休斯和萨巴 Bonaire, Sint Eustatius and Saba 1000266 库拉索 Curaçao 1000267 CW 圣巴泰勒米 Saint Barthelemy 1000268 BL 圣马丁(法属) Saint Martin (French Part) 1000269 MF 圣马丁(荷属) Sint Maarten (Dutch part) 1000270 SX 美国本土外小岛屿 United States Minor Outlying Islands 1000271 科科斯(基林)群岛 Cocos (Keeling) Islands 1000272 CC 赫德岛和麦克唐纳岛 Heard Island and McDonald Islands 1000273 HM 北马里亚纳群岛 Northern Mariana Islands 1000274 MP 托克劳 Tokelau 1000275 TK 瓦利斯群岛和富图纳群岛 Wallis and Futuna Islands 1000276 WF 未知国家 unknown 1000277 XX 海外其他 1 海外 2
        来自:
        帮助文档
        全站加速
        API参考
        API概览
        地区及省份列表
      • 文件比较与同步(对象存储到对象存储)
        本文为您介绍文件比较与同步的相关内容。 概要 应用场景: 支持对象存储到对象存储之间的数据比较与同步,并且生成比较报告供一致性检查。此场景支持两种数据捕获方式: 方式1:调用对象存储接口对源、备存储同步路径下的所有对象进行扫描、比对,获得增量对象(新增/差异),并将增量对象同步到目标端对应路径下;在海量对象场景下扫描/比对的对象太多,导致这种方式同步增量数据效率过低; 方式2:通过某些方式获取到增量对象信息(如:对象存储自行监控、通过应用数据库表获取等),并将增量对象的信息以某种类型文件存放;DTO通过读取文件内容来获取增量对象信息,并直接将源端对应的增量对象直接同步到目标端;此方式避免了扫描、比对海量对象的时间,提高海量对象场景的增量数据同步效率。 要求:要有应用/组件(一般是对象存储)负责实现监控增量对象并将增量对象以固定格式导出成文件的一系列动作。 前置条件 文件比较与同步的环境要求如下: 1. DTO主机需要安装dto安装包。详见安装DTO。 2. 在MDR控制台中添加对象存储。详见资源管理·对象存储。 3. 在MDR控制台中添加DTO主机并处于在线状态。详见资源管理·DTO主机。 4. MDR控制台需具备有dto的许可,并且该dto许可剩余允许传输量不为0。 新建文件比较与同步 1. 点击左侧菜单栏“资源同步管理”“对象存储数据灾备”“文件比较和同步”,进入文件比较和同步列表页,点击“新建”按钮,进入新建页面。 2. 通用配置页面各配置项如下: 名称:任意指定,便于管理即可。 同步主机:下拉框中会列出已注册至MDR控制台的DTO同步主机供选用; 规则类型:包含三类规则:仅比较/文件比较与同步 / 文件清单同步,下文会分别介绍各类规则的作用和使用场景; 同步策略类型:“手动同步”“定期同步”和“间隔同步”。 手动同步:需手动启动规则。此选项为默认选项。 定期同步:可指定每个月的某几天或者每个星期的某几天中的某几个时间点开始同步,规则会在设置的时间自动开始运行。 间隔同步:指的是从上一次规则完成到下一次规则启动之间的间隔,最小间隔时间单位为秒。 定期同步策略:用户自行添加定期同步策略。可以设定多个不重叠的定时同步策略,彼此独立。 间隔同步策略:用户自行添加时间间隔同步策略。选择此规则开始时间,并设置间隔时间(单位为秒)。 源存储:用户自行选择要源端的存储数据用来做对比。 目标存储:用户自行选择对象存储数据作为目标存储对比。 同步路径映射:用户自行配置需要同步的数据路径。同步路径支持手动输入路径。 排除路径:用户自行选择将同步数据路径中的某些子路径设置为排除路径,排除路径中的数据不进行传输。 文件后缀名过滤:以后缀名为过滤条件,格式为“文件扩展名”,若多个过滤条件则用逗号隔开,如:“.txt”,“.doc”,“.rtf”。 排除:不同步源路径中该过滤项中定义的文件类型。 包含:只同步源路径中该过滤项中定义的文件类型。 文件日期过滤:通过正则表达式对同步路径下文件的日期进行筛选,文件日期符合正则表达式要求的文件被过滤出来。 排除:不同步源路径中符合筛选条件的文件。 包含:只同步源路径中符合筛选条件的文件。 3. 比较设置页面各配置项如下: 比较类型:重镜像时的校验方式。 文件大小:通过源、目标文件的大小进行比较。 对象智能比对:提交规则时会判断备端存储是否支持自定义META,不支持则不允许规则提交。智能比对即:通过比文件当前的修改时间戳,和上一次同步时文件的修改时间戳(记录在自定义属性META中)来判断文件是否一致(如果修改时间戳一致则认为文件相同,如果修改时间戳不同,则继续对比文件的MD5)。 MD5校验:通过源、目标文件的MD5值进行比较(本地需计算md5,对象存储直接采用Etag,对象存储将收到文件的MD5值放在返回结果的ETag中)。 说明:对象存储返回分片上传文件的MD5有可能为空或是最后一个分片的MD5,因此对象存储的MD5并不完全可靠。“文件大小”比对最快;当文件较大时“对象智能比对”比“MD5校验”快(大文件本地计算md5很慢);当文件较小时“MD5校验”比“对象智能比对”快(对象存储的文件修改时间需从META中获取,一个文件就是一次请求)。 忽略目标端存在文件:DTO不再扫描目标端存储,直接拿源端拆解过后的目录进行传输,传输之前check目标端文件是否存在,如果不存在,就同步,否则跳过该文件;这种类型,可以支持对象存储单一目录上千万的文件。 传输线程数量:可以指定线程个数。一个线程处理一个目录。此选项用于提高数据复制的速度,默认为“10”,数值越高,可用于数据复制的线程越多,但会消耗更多的CPU和内存资源,请根据用户环境适当选择。 对象存储扫描线程数量:可根据需要指定110个线程数。 备端扫描:默认开启,开启后支持孤儿文件处理。 孤儿文件处理方式: 不处理:不删除孤儿文件,存在在目标端。 确认后删除:将孤儿文件计入孤儿文件列表,可通过规则管理界面的“更多·孤儿文件”按钮来查看,以及选择是否要将目标端的孤儿文件删除。 直接删除:将孤儿文件自动从目标端删除。 说明:定期同步或间隔同步策略时不允许配置“确认后删除”;选择“忽略目标端存在的文件”比较类型时,或者开启归档时不允许配置“直接删除”和“确认后删除”。 对象文件路径名: 和源端保持不变:区分大小写,和源端大小写保持一致。 全部为大写(传输时转换):在传输时,将源路径下的所有目录名、子目录名、文件名、文件后缀名全部转换为大写存储在目标路径下。 全部为小写(传输时转换):在传输时,将源路径下的所有目录名、子目录名、文件名、文件后缀名全部转换为小写存储在目标路径下。 备端文件压缩:指的是在本地将文件进行压缩,压缩完后传输到对象存储。仅限于本地到对象存储的规则才支持压缩,压缩传输后,目标端文件名会被修改为:原文件名.i2.zip。 备端文件加密:将同步到目标端数据加密存储。 标准加密:通过设置的加密密钥对源端文件加密后存放到目标端。 加密密钥:填写加密密钥,密钥要求:32字节的字符串作为密钥,支持数字、字母、字符的组合,不支持中文。 COS服务端加密:通过对接COS对象存储API接口,上传到该对象存储桶的文件都自动加密,需额外选择加密密钥类型: 加密密钥类型:支持两种加密密钥类型: SSECOS:使用SSECOS加密密钥类型进行加密,无需额外配置; SSEC:使用SSEC加密密钥类型进行加密,需要额外填写加密密钥; 加密密钥:填写加密密钥,密钥要求:32字节的字符串作为密钥,支持数字、字母、字符的组合,不支持中文。 保留结果数量:设置“文件比较与同步→报告”中保留的记录条数。 记录流水:默认关闭,开启后会将规则同步的所有文件相关信息(大小、MD5/etag、传输耗时、修改/更新时间)记录在同步主机/usr/drbksoft/dto/data/db/ .db文件中(默认路径),可供审计查看。 4. 带宽设置页面各配置项如下: 全选:开启后,将会选择一周内的所有时间。此选项默认关闭。 时间范围:用户自行勾选具体的生效日。 选择带宽:根据用户需求选择需要执行限速的时间段,可以设定多个不重叠的限速规则,彼此独立,如果带宽设定为0,表示禁止传输。 5. 归档设置页面各配置项如下: 启用归档:不勾选的话不启用归档功能。 文件名转换:归档文件的名称转换,支持两种转换方式: 保持不变:归档文件名与原文件名保持一致。 增加时间后缀:在归档文件名后自动添加归档时间后缀。 归档条件: 时间归档:按照填入文件时间类型的时间点与执行本地到对象存储时的时间点的差值(单位天)。这里的时间选项有两个:文件创建时间、文件修改时间,这两种类型可以只选择某一个,也可以多选,并可以选择几种类型间的关系是与还是或。 命名特征:使用正则表达式进行针对文件名的过滤。 文件类型:通过填入文件类型的后缀名进行对文件类型的过滤(如.txt等),可以匹配多个文件类型,文件后缀名与后缀名之间用“逗号隔开”(如.txt,.exe,.zip)。 归档策略: 同步所有文件,并删除本地符合条件的文件:将源目录下的所有文件全部同步到目标存储的目标目录中,并删除本地符合归档条件的文件。 只同步并删除符合条件的文件:只同步源目录中符合归档条件的文件到目标存储的目标目录中去,并删除本地符合归档条件的文件。 只同步但不删除符合条件的文件:只同步源目录中符合归档条件的文件到目标存储的目标目录中去,并且不删除源端本地符合归档条件的文件。
        来自:
        帮助文档
        多活容灾服务
        用户指南
        资源同步管理
        对象存储数据灾备
        文件比较与同步(对象存储到对象存储)
      • 将Oracle同步到PostgreSQL
        使用须知 在创建同步任务前,请务必阅读以下使用须知。 说明 建议创建单独用于DRS任务连接的数据库帐号,避免因为数据库帐号密码修改,导致的任务连接失败。 连接源或目标数据库的帐号密码修改后,请尽快 修改连接信息,避免任务连接失败后自动重试,导致数据库帐号被锁定影响使用。 表使用须知 类型名称 使用和操作限制 数据库权限设置 l源数据库端: − 全量同步:需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECTto drsUser;)权限。 − 全量+增量同步: 12c及以上版本CDB数据库同步时,需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECTto drsUser;),EXECUTECATALOGROLE,SELECT ANY TRANSACTION,LOGMINING,SELECT ON SYS.COL$,SELECT ON SYS.OBJ$,SET CONTAINER(GRANT SET CONTAINER TOCONTAINERALL;)权限。 12c及以上版本PDB数据库同步时,除了需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECTto drsUser;),EXECUTECATALOGROLE,SELECT ANY TRANSACTION,LOGMINING,SELECT ON SYS.COL$,SELECT ON SYS.OBJ$权限,还需要具有CDB的CREATE SESSION,SELECT ANY DICTIONARY,EXECUTECATALOGROLE,SELECT ANY TRANSACTION,LOGMINING,SET CONTAINER(GRANT SET CONTAINER TOCONTAINERALL;)权限。 11g及以下版本数据库同步时,需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECTto drsUser;),EXECUTECATALOGROLE,SELECT ANY TRANSACTION,SELECT ON SYS.COL$,SELECT ON SYS.OBJ$。 − 增量同步时,源库Oracle需要开启日志归档模式和最小补充日志,所需同步表必须开启PK/UI或以ALL级别的补充日志,不限制库级或表级补充日志方式,若只开启表级补充日志,重建或者RENAME表后需要重新设置;请确保以上配置在同步过程中始终保持开启状态。 − 12c及以上版本不支持使用ORACLEMAINTAINEDY的用户帐号进行增量同步(system/sys除外),因为该属性的帐号无日志解析权限。 l目标数据库帐号必须具有每张表的如下权限:INSERT、SELECT、UPDATE、DELETE、CONNECT、CREATE、REFERENCES。 同步对象约束 l支持表、索引、约束(主键、空、非空)的同步,不支持视图、外键、存储过程、触发器、函数、事件、虚拟列的同步。 l全量阶段不支持bfile,xml、sdogeometry、urowid、interval(精度大于6位)和自定义类型。 l增量阶段不支持bfile,xml、interval、sdogeometry、urowid、timestamp(精度大于6位)和自定义类型。 l增量阶段源库为Oracle物理备库(PHYSICAL STANDBY)时不支持解析lob类型数据(无法生成数据字典),如果增量同步的表中出现lob类型会导致增量同步异常。 l对于TIMESTAMP WITH TIME ZONE类型,根据目标库时区做转换后不得大于“99991231 23:59:59.999999”。 l源库支持todate和sysguid函数做默认值。将其他函数作为default值时,需要目标库也有相同功能的函数。对于目标库不存在对应函数的情况,可能会出现以下结果: − 默认值函数可能会被置空。 − 创建表失败,导致对象对比不一致或者任务失败。 l如果表中只有LOB字段,可能出现数据不一致性情况。 l如果Oracle中使用LOB类型各自的empty函数写入数据时,通过JDBC查询出来的值是空字符串,写入到目标库后是空字符串还是NULL取决于目标库对空字符串值的处理。 l针对无主键且无索引的表,非大字段的列必须大于3列,否则会因为无法全列匹配导致增量异常。 l不支持默认值含有表达式的函数的表的同步。 l不支持同步源库中的临时表。 l选择手动创建表结构时,目标库中的时间类型是否带有时区需要与源库中保持一致,否则可能会因为时区转换导致时间数据不一致。 源数据库要求 l库名、表名不支持的字符有:非ASCII字符、“. ”、 “>”、 “<”、 “”、 “”、 “”、 “,”、 “? ”、 “! ”、 “"”和 “'”。 l不支持选择源数据库的空库进行同步。 l目前仅支持同步如下字符集:ZHS16GBK、AL32UTF8、UTF8、US7ASCII、WE8MSWIN1252、WE8ISO8859P1、WE8ISO8859P2、WE8ISO8859P4、WE8ISO8859P5、WE8ISO8859P7、WE8ISO8859P9、WE8ISO8859P13、WE8ISO8859P15。 目标数据库要求 l目标数据库实例的运行状态必须正常。 l目标数据库实例必须有足够的磁盘空间。 l同步的表要禁用外键,因为DRS并行回放会使得不同表之间的写入顺序和源库不一致,可能会触发外键约束限制,造成同步失败。 l支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。 − 目标端多的列要求非空且没有默认值,源端insert数据,同步到目标端后多的列为null,不符合目标端要求。 − 目标端多的列设置固定默认值,且有唯一约束。源端insert多条数据后,同步到目标端后多的列为固定默认值,不符合目标端要求。 操作须知 l相互关联的数据对象要确保同时同步,避免因关联对象缺失,导致同步失败。 l表等对象名同步到目标库后会转换成小写,如ABC会转换为abc。因此增量同步阶段,选择的源库的表中不能存在仅大小写不同的表,可能会导致同步失败。 l如有特殊字符,业务连接Oracle数据库使用的编码需和Oracle数据库服务端编码一致,否则目标库可能会出现乱码。 l不使用DRS同步表结构(自建表结构)的场景下,无主键表如果因表结构问题导致任务失败,修复表结构后续传无法恢复,需要重置任务。 l同步表结构时,如果目标库存在与源库同名约束会导致建表失败。 l使用DRS同步表结构的场景下,同一个schema中,同步的表中,表、约束、索引等不能有忽略大小写后的同名对象,比如表"A"中有索引名"inx1", 表B中有索引名"a",表A和索引"a"忽略大小写重名了,会导致结构同步失败。多个schema映射到一个schema的场景,源库的多个schema中也不能包含同名但字母大小写不同的表、约束和索引。 l当Oracle字符集是WE8MSWIN1252时,CLOB列同步到目标库可能出现乱码,建议先修改源库字符集为AL32UTF8再同步数据。 lOracle中表结构长度(所有列长字节数之和,char、varchar2等类型字节长度和编码有关)超过65535时,可能导致同步失败。 lOracle归档日志文件大小必须大于单条数据最大值,避免单条数据日志跨文件(超过2个日志文件)导致的增量数据解析异常。 l对于Oracle RAC集群,建议使用SCAN IP+ SERVICENAMES方式创建任务,SCAN IP具有更强的容错性,更好的负载能力,更快的同步体验。 l源库为Oracle RAC时,如果需要使用SCAN IP配置DRS任务,需要保证SCAN IP、DRS节点的IP同时能与源库的所有VIP互通(Oracle内部机制),否则无法通过连通性检查。若不使用SCAN IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。 l若源库为RAC,增量同步首次启动时所有RAC节点必须正常在线,否则增量启动会出现异常。 l若源库为RAC,增量同步时,不支持增加、减少节点数量,避免导致增量同步异常(为保证数据的强一致性)。 l同步过程中,不允许删除连接源和目标数据库的用户的用户名、密码、权限,或修改目标数据库的端口号。 l同步过程中,禁止对Oracle源库做resetlogs操作,否则会导致数据无法同步且任务无法恢复。 l同步过程中,不支持LOB类型的rollback操作,否则会导致同步任务失败。 lDRS全量同步表结构时,源库中的char、varchar2类型长度在目标库会按照字节长自动扩大(因为目标库为字节长),至少扩大1.5倍。扩大倍数和源库目标库的字符集有关,例如同为UTF8的情况下,默认扩大3倍,同为GBK的情况下,默认扩大2倍。 l全量同步分区表的结构时会将该对象转为非分区的普通表,增量同步时,源库跟分区表相关的操作,在目标库执行可能会失败。 l索引同步只同步普通索引,主键等约束在表结构中进行同步。 l增量同步时,BLOB末尾的0x00、CLOB末尾的空格会被截断。 l增量同步过程中,支持部分DDL操作。 − 表级同步支持alter table add column、alter table drop column、alter table rename column、alter table modify column以及truncate table的基本DDL,不支持默认值等的修改。 l表级映射不区分大小写,例如映射为abc与映射为ABC,同步到目标库后均为abc。 l任务再编辑增加新表时,请确保新增的表的事务都已提交,否则未提交的事务可能无法同步到目标库。建议在业务低峰期做增加表的操作。 l全量同步过程中,DRS会向目标库PostgreSQL写入大量数据,会导致PostgreSQL的wal日志量急剧增长,PostgreSQL的磁盘有被写满的风险。可以通过在全量同步前关闭PostgreSQL的日志备份功能,减少wal日志的生产,同步完成后再将其打开的方式进行规避。 注意 关闭日志备份会影响数据库的灾备恢复,请根据实际情况谨慎选择。
        来自:
        帮助文档
        数据库复制
        用户指南
        实时同步
        入云
        将Oracle同步到PostgreSQL
      • 部署规划
        您需要在部署天翼云TeleDB数据库之前,规划相关的硬件、网络及基础环境。 1. 先准备好介质独立部署,为方便快速部署,TelePG从1.5.3版本开始支持独立部署功能。前期准备好介质,部署好zk,部署好mysql,借助TelePG控制台进行部署。 2. 通过集团云翼平台直接订购开通部署。 3. 流复制是 PostgreSQL 9.0 之后提供的新的传递 WAL 日志的方法。通过流复制,备库不断的从主库同步相应的数据,并在备库应用每个 WAL 文件 。主备模式推荐采用同步及潜在同步至少三节点的方式。 4. 暂不支持自动建立database,需用户手动建立database;支持自动建schema,用户可不用手动建立schema。 内存分配 shared buffer pool,共享内存区域:供 PostgreSQL 服务器的所有进程使用。查看 sharedbuffers 参数可以得到其设置值,建议设为内存的四分之一。 WAL buffer,预写日志缓冲区:WAL 数据在写入持久存储之前的缓冲区,实例初始化时自动计算。 commit log,提交日志:所有事务的状态日志,每个事务占用 2bit,最大512MB。 tempbuffers,临时表缓冲区。 workmem,工作内存:执行器在执行 sort、distinct 使用该区域对元组做排序,以及存储 merge join、hash join 多表连接的数据,受最大连接数 maxconnections 参数影响,建议用户 session 级别进行设置,不要全局设置。 maintenanceworkmem,维护内存:某些类型的维护操作使用该区域(如vacuum、reindex)。 注意 按照小系统上云oltp应用保守设置,如果是大数据、数据仓库,需要再此基础按照测试重新优化调整较大参数值。 最大内存估算可参考如下表: 项目 值(MB) 备注 maxconnections 100 默认值为100 workmem 4 默认值为4,最小值64KB tempbuffers 8 默认值为8,最小值800KB sharedbuffers 128 默认值为8,最小值128KB autovacuummaxworkers 3 默认值为3 maintenanceworkmem 64 默认值为64MB,最小值为1MB。 commit log 48 每个事务2bits,autovacuumfreezemaxage,默认为2亿。 maxconnectionsworkmem+maxconnectionstempbuffers+sharedbuffers+(autovacuummaxworkersmaintenanceworkmem)+clog 1568 wal buffers1 autovacuumworkmem1 操作系统配置规范: 关闭CPU 的节能模式。 关闭NUMA。 建议使用UTF8。 设置时间时区,建议主机工程师设置时间同步服务。 关闭其他服务: systemctl stop tuned.service ktune.service systemctl stop firewalld.service systemctl stop postfix.service systemctl stop avahidaemon.socket systemctl stop avahidaemon.service systemctl stop atd.service systemctl stop bluetooth.service systemctl stop wpasupplicant.service systemctl stop accountsdaemon.service systemctl stop atd.service cups.service systemctl stop postfix.service systemctl stop ModemManager.service systemctl stop debugshell.service systemctl stop rtkitdaemon.service systemctl stop rpcbind.service systemctl stop rngd.service systemctl stop upower.service systemctl stop rhsmcertd.service systemctl stop rtkitdaemon.service systemctl stop ModemManager.service systemctl stop mcelog.service systemctl stop colord.service systemctl stop gdm.service systemctl stop libstoragemgmt.service systemctl stop ksmtuned.service systemctl stop brltty.service systemctl stop avahidnsconfd.service 数据库高可用telePG 数据库高可用telePG组件服务器,bios层需要关闭numa,关闭电源保护模式设置CPU为最大性能模式,让其不降频,cat /proc/cpuinfo grep E "model nameMHz"CPU型号、频率一致。 参数类型 配置项 说明 操作系统内核参数配置 sysctl vm.swappiness5 5~10可选,但不可能阻止使用swap空间 操作系统内核参数配置 vm.minfreekbytes1024000 保证系统空闲内存维持在一定水平,同时保障内存管理low和min水位之间有足够间隔 操作系统内核参数配置 fs.aiomaxnr40960000 aiomaxnr no of process per DB no of databases 4096 操作系统内核参数配置 vm.dirtyratio20 vm.dirtybackgroundratio5 vm.dirtywritebackcentisecs100 vm.dirtyexpirecentisecs500 可选,这个参数指定了当文件系统缓存脏页数量达到系统内存百分之多少时(如5%)就会触发pdflush/flush/kdmflush等后台回写进程运行,将一定缓存的脏页异步地刷入外存 操作系统内核参数配置 vm.vfscachepressure150 vm.swappiness10 vm.minfreekbytes524288">> /etc/sysctl.d/99sysctl.conf && sysctl system 可选,该参数表示内核回收用于directory和inode cache内存的倾向。缺省值100表示内核将根据pagecache和swapcache,把directory和inode cache保持在一个合理的百分比;降低该值低于100,将导致内核倾向于保留directory和inode cache;增加该值超过100,将导致内核倾向于回收directory和inode cache 操作系统内核参数配置 fs.filemax 76724200 该参数表示文件句柄的最大数量。文件句柄设置表示在linux系统中可以打开的文件数量 操作系统内核参数配置 net.core.rmemmax 4194304 最大的TCP数据接收缓冲 操作系统内核参数配置 net.core.wmemmax 2097152 最大的TCP数据发送缓冲 操作系统内核参数配置 net.core.wmemdefault 262144 表示接收套接字缓冲区大小的缺省值(以字节为单位) 操作系统内核参数配置 net.core.rmemdefault 262144 表示发送套接字缓冲区大小的缺省值(以字节为单位) 操作系统内核参数配置 net.ipv4.tcpsyncookies 1 当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击,默认为0,表示关闭。 操作系统内核参数配置 net.ipv4.tcptwreuse 1 允许将TIMEWAIT sockets重新用于新的TCP连接,默认为0,表示关闭 操作系统内核参数配置 net.ipv4.tcptwrecycle 1 TCP连接中TIMEWAIT sockets的快速回收,默认为0,表示关闭,注意如果是natnat网络,并与net.ipv4.tcptimestamps 1组合使用,则会出现时断时续的情况 操作系统内核参数配置 net.ipv4.tcpfintimeout 30 修改系統默认的TIMEOUT 时间,避免服务器被大量的TIMEWAIT拖死 操作系统内核参数配置 net.ipv4.iplocalportrange 9000 65000 如果连接数本身就很多,可以再优化一下TCP的可使用端口范围,进一步提升服务器的并发能力,默认值是32768到61000 操作系统内核参数配置 net.ipv4.tcpmaxsynbacklog 8192 SYN队列的长度,默认为1024,加大队列长度为8192,可以容纳更多等待连接的网络连接数 操作系统内核参数配置 net.ipv4.tcpmaxtwbuckets 5000 系统同时保持TIMEWAIT的最大数量,如果超过这个数字,TIMEWAIT将立刻被清除并打印警告信息,默认为180000 操作系统内核参数配置 net.ipv4.conf.all.rpfilter 0 net.ipv4.conf.all.arpfilter 0 net.ipv4.conf.default.rpfilter 0 net.ipv4.conf.default.arpfilter 0 net.ipv4.conf.lo.rpfilter 0 net.ipv4.conf.lo.arpfilter 0 net.ipv4.conf.em1.rpfilter 0 net.ipv4.conf.em1.arpfilter 0 net.ipv4.conf.em2.rpfilter 0 net.ipv4.conf.em2.arpfilter 0 网卡的设置 操作系统内核参数配置 kernel.shmmni 4096 这个内核参数用于设置系统范围内共享内存段的最大数量。该参数的默认值是4096 。通常不需要更改kernel.sem 250 32000 100 142 操作系统内核参数配置 kernel.shmall 1073741824 该参数表示系统一次可以使用的共享内存总量(以页为单位)。缺省值是2097152,可根据kernel.shmmax大小进行调整(kernel.shmmax/41024或者kernel.shmmax/81024) 操作系统内核参数配置 kernel.shmmax 4398046511104 该参数定义了共享内存段的最大尺寸(以字节为单位),此值默认为物理内存的一半 操作系统内核参数配置 kernel.sysrq 0 如无需调试系统排查问题,这个必须为0 telepg的 limits.conf配置 telepg soft nofile1048576 telepg的 limits.conf配置 telepg soft memlock 1 telepg的 limits.conf配置 telepg hard memlock 1 telepg的 limits.conf配置 telepg hard memlock 128849018880 telepg的 limits.conf配置 telepg soft memlock 128849018880 telepg的 limits.conf配置 telepg soft core6291456 telepg的 limits.conf配置 telepg hard core6291456 telepg的 limits.conf配置 telepg hard nproc131072 telepg的 limits.conf配置 telepg soft nproc131072 telepg的 limits.conf配置 telepg hard nofile 1048576 telepg的 limits.conf配置 telepg hard stack 32768 telepg的 limits.conf配置 telepg soft stack 10240 禁用透明大页 echo never> /sys/kernel/mm/transparenthugepage/enabled 禁用透明大页 echo never> /sys/kernel/mm/transparenthugepage/defrag 网络连通性 确保组件和集群内的网络联通。 确保与相关联组件的网络连通。 确保防火墙关闭。
        来自:
        帮助文档
        分布式融合数据库HTAP
        私有云产品历史版本
        V1.1.0版本产品文档
        安装部署手册
        安装前准备
        部署规划
      • 将Oracle同步到MySQL
        使用建议 注意 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。 − 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 − 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。 − DRS并发读取数据库,会占用大约610个session连接数,需要考虑该连接数对业务的影响。 − 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。 数据对比 建议您结合对比同步项的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。 使用须知 DRS全量+增量同步过程一般包含四个阶段:任务启动阶段、全量阶段、增量阶段、结束任务阶段(单全量任务则包含三个阶段)。为了确保同步各个阶段的平顺,在创建同步任务前,请务必阅读以下使用须知。 表使用须知 类型名称 使用和操作限制 任务启动前须知 l 源数据库参数要求: − 目前仅支持同步如下字符集:ZHS16GBK、AL32UTF8、UTF8、US7ASCII、WE8MSWIN1252、WE8ISO8859P1、WE8ISO8859P2、WE8ISO8859P4、WE8ISO8859P5、WE8ISO8859P7、WE8ISO8859P9、WE8ISO8859P13、WE8ISO8859P15。 l 源数据库对象要求: − 源数据库中的库名或映射后的名称不允许以iblogfile开头,也不能为ibbufferpool、ibdoublewrite、ibdata1、ibtmp1。 − 源数据库支持todate和sysguid函数做默认值。将其他函数作为default值时,需要目标库也有相同功能的函数。对于目标库不存在对应函数的情况,可能会出现以下结果: 默认值函数可能会被置空。 创建表失败,导致对象对比不一致或者任务失败。 − Oracle单行记录不能超过8K(lob、long类型除外,会自动转换成MySQL的text、blob类型),原因是MySQL innodb引擎限制单行大小不能超过8K(text、blob类型除外)。 − 不建议以字符串类型作为主键或唯一键,因为Oracle的字符串作为主键、唯一键时区分空格,而MySQL不区分,可能导致数据不一致和死锁问题。 − 对于Oracle的binaryfloat或者binarydouble类型,MySQL中不支持设置Nan、Inf、Inf三种值,DRS默认会将这三种值转为0保存。 − Oracle的check约束同步到MySQL会失效,原因是MySQL不支持check约束。 − Oracle中建议列名不要取名AUTOPKROWID,原因是这个列名在MySQL5.7中是保留列名,无法创建出来。 − Oracle中number(p, s)字段的精度不要超过p: [1, 38], s:[p65, min(p, 30)]的精度表示范围。其中,s取值依赖于p的取值变化,即下限为p65, 上限为p或30中取最小值。例如:当p1, s的取值范围是[64, 1]。当p38, s取值范围是[27, 30]。int字段的值不要超过(65,0)的精度表示范围。原因是MySQL数字的表示范围比Oracle小。 − Oracle归档日志文件大小必须大于单条数据最大值,避免单条数据日志跨文件(超过2个日志文件)导致的增量数据解析异常。 − 默认值不支持default user,MySQL没有对应的语法。 l 目标库参数要求: − DRS同步时会有大量数据写入目标库,目标库maxallowedpacket 参数过小会导致无法写入,建议将目标库maxallowedpacket参数值设置为大于100MB。 l 目标库对象要求: − 源库和目标库时区设置必须一致。 − 选择同步表结构时,目标数据库不能存在待同步数据库。 − 目标数据库需要有足够的磁盘空间,约为源库空间大小的1.5倍。 − 目标数据库版本小于5.7.7时,源库单个索引的全部列的长度不得超过767,反之则不得超过3072。 − 同步的表要禁用外键,因为DRS并行回放会使得不同表之间的写入顺序和源库不一致,可能会触发外键约束限制,造成同步失败。 − 支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。 目标端多的列要求非空且没有默认值,源端insert数据,同步到目标端后多的列为null,不符合目标端要求。 目标端多的列设置固定默认值,且有唯一约束。源端insert多条数据后,同步到目标端后多的列为固定默认值,不符合目标端要求。 l 其他使用须知 : − 数据类型不兼容时,可能引起同步失败。 − 由于无主键表缺乏行的唯一性标志,网络不稳定时涉及少量重试,表数据存在少量不一致的可能性。 − 如有特殊字符,业务连接Oracle数据库使用的编码需和Oracle数据库服务端编码一致,否则目标库会出现乱码。 − Oracle中表结构长度(所有列长字节数之和,char、varchar2等类型字节长度和编码有关)超过65535时,可能导致同步失败。 − Oracle中表结构同步到MySQL后表的字符集为UTF8MB4。 − 当Oracle字符集是WE8MSWIN1252时,CLOB列同步到目标库可能出现乱码,建议先修改源库字符集为AL32UTF8再同步数据。 − 对于Oracle RAC集群,建议使用SCAN IP+ SERVICENAMES方式创建任务,SCAN IP具有更强的容错性,更好的负载能力,更快的同步体验。 − 源库为Oracle RAC时,如果需要使用SCAN IP配置DRS任务,需要保证SCAN IP、DRS节点的IP同时能与源库的所有VIP互通(Oracle内部机制),否则无法通过连通性检查。若不使用SCAN IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。 − 由于Oracle与MySQL的部分语法有明显区别,结构同步无法完全保证支持全部语法的转换,包括但不限于函数,表达式,依赖的系统表等。所以在同步过程中,会有在Oracle上存在,在MySQL中没有直接对应的语法,或者MySQL中有对应的语法,但当前还未适配转换的情况,这样会导致结构同步失败。这时,需要手工在目标数据库创建表结构。 − DRS全量同步表结构时,源库中的char、varchar2类型长度在目标库会按照字节长自动扩大(因为目标库为字节长),至少扩大1.5倍。扩大倍数和源库目标库的字符集有关,例如同为UTF8的情况下,默认扩大3倍,同为GBK的情况下,默认扩大2倍。 − 全量同步分区表的结构时会将该对象转为非分区的普通表,增量同步时,源库跟分区表相关的操作,在目标库执行可能会失败。 − 增量同步时,BLOB末尾的0x00、CLOB末尾的空格会被截断。 全量同步阶段须知 l 任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 l 同步过程中,不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限,或修改源和目标数据库的端口号。 l 同步过程中,不允许对正在同步中的目标数据库进行修改操作(包括但不限于DDL、DML操作)。 l 同步过程中,不允许对Oracle源库做resetlogs操作,否则会导致数据无法同步且任务无法恢复。 l 同步过程中,不支持LOB类型的rollback操作,否则会导致同步任务失败。 增量同步阶段须知 l 同步过程中,不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限,或修改源和目标数据库的端口号。 l 同步过程中,不允许对正在同步中的目标数据库进行修改操作(包括但不限于DDL、DML操作)。 l 同步过程中,不允许对Oracle源库做resetlogs操作,否则会导致数据无法同步且任务无法恢复。 l 同步过程中,不支持LOB类型的rollback操作,否则会导致同步任务失败。 l 同步过程中,请勿修改源库或目标库表中的char类型字段为varchar,由于Oracle和MySQL表现不同,产生的空格可能会导致数据对比不一致。 l 同步过程中,支持部分DDL操作。 − 表级同步支持alter table add column、alter table drop column、alter table rename column、alter table modify column以及truncate table的基本DDL,不支持默认值等的修改。 − 库级同步支持create table(表内定义不能包含函数)。 − DDL中的对象不能是目标库的关键字,比如index,where等。目标库MySQL关键字可参考MySQL官网文档[]( " ")。 − 目标库为8.0以下版本时,不支持alter table rename column。 − 增量DDL不支持全角等特殊字符。 l 若源库为RAC,增量同步首次启动时所有RAC节点必须正常在线,否则增量启动会出现异常。 l 若源库为RAC,增量同步时,不支持增加、减少节点数量,避免导致增量同步异常(为保证数据的强一致性)。 l 表的对象名同步到目标库后会转换成小写,如ABC和abc。因此增量同步阶段,选择的源库的表中不能存在仅大小写不同的表,否则会导致同步失败。 l 任务再编辑增加新表时,请确保新增的表的事务都已提交,否则未提交的事务可能无法同步到目标库。建议在业务低峰期做增加表的操作。
        来自:
        帮助文档
        数据库复制
        用户指南
        实时同步
        入云
        将Oracle同步到MySQL
      • 半托管模式迁移任务的创建与管理
        本文为您介绍半托管模式迁移任务的创建与管理。 操作场景 通过对象存储迁移服务的控制台,创建半托管模式的迁移任务,并对半托管模式的迁移任务进行管理操作。 前提条件 您已经创建完成代理,并完成代理的部署,存在至少一个代理为“已连接”状态。 您的源端存在待迁移的数据,您已经在天翼云对象存储ZOS开通Bucket。 请确保您的业务处于空闲阶段或非高峰期,避免迁移执行时影响您的业务。 请确保您的源端数据已经解冻,并在迁移完成前保持解冻状态,避免因源端数据未解冻迁移失败。 创建半托管模式迁移任务 1. 进入“对象存储>对象存储迁移服务>迁移任务 ”控制台,选择“迁移任务列表”分页进入迁移任务列表页面,点击“创建迁移任务 ”。 注意 使用对象存储迁移服务会获取您的AK/SK等认证信息,为确保您一定知情,创建任务时会有使用提示弹窗,需要您阅读并手动勾选服务协议,进行确认。您有权不勾选服务协议,并不使用该服务,请您知悉。 2. 在创建迁移任务的页面,迁移任务模式选择“半托管迁移”,并选择执行任务的代理。填写其他任务相关参数后,点击“下一步:确认任务 ”即可。参数说明如下表: 参数 说明 任务信息 任务名称 输入自定义的任务名称。 说明: 命名规则:必须为大小写字母、数字、横线或下划线,长度在432个字符之间;自定义的任务名称不能与您已存在的任务名称重复。 迁移模式 迁移任务运行模式 选择创建迁移任务的模式,支持全托管模式和半托管模式。 说明: 全托管模式:迁移任务将在服务端执行,适合数据量在10TB以内,或对迁移耗时没有紧急诉求的客户。 半托管模式:迁移任务将运行在客户自己的设备上,客户可通过提供更高的网络带宽和更多的迁移设备,实现更高速的迁移,适合数据量在10TB以上,或对迁移耗时有明确诉求的客户。 注意: 半托管迁移模式依赖您已经部署完成代理,代理设备与迁移服务服务端连通,否则无法创建半托管模式的迁移任务。 迁移模式 选择执行本任务的代理设备 选择执行本任务的代理设备,迁移任务将会下发给指定的代理设备用于执行迁移。 说明: 仅能选择“已连接”状态的代理。 选择源端 源端 选择源端数据的服务提供方。 说明: 目前支持的源端: 支持阿里云(OSS)、华为云(OBS)、腾讯云(COS)迁移至ZOS。 支持天翼云对象存储(ZOS)、天翼云(OOS)迁移至ZOS。 支持AWS(S3)和其他遵循标准S3协议的对象存储服务迁移至ZOS。 选择源端 EndPoint Endpoint支持输入IP地址或域名。 若使用非默认端口,请输入端口号,格式为IP:Port。 注意: 腾讯云COS的Endpoint较为特殊,仅需填写region即可,例如:apbeijing、apshanghai。 选择源端 Access Key 输入您源端的Access Key。 选择源端 Secret Key 输入您源端的Secret Key。 选择源端 存储桶 输入您源端的对象存储桶名称。 选择源端 迁移方式 选择源端数据的迁移方式,支持:指定存储桶、指定文件夹、指定对象、指定前缀。 说明: 指定存储桶 :选择“指定存储桶”时,将会迁移存储桶内的全部对象。 指定文件夹 :选择“指定文件夹”时,将会迁移选中文件夹下的所有对象。仅支持单个文件夹。 指定对象 :选择“指定对象”时,将会迁移选中的对象。最大支持指定100个对象。 指定前缀 :选择“指定前缀”时,将会迁移桶中所有以该前缀开头的对象。仅支持单个前缀。 选择源端 迁移晚于起始时间的对象 选择该选项时,用户可配置“起始时间 ”,任务将仅迁移最后修改时间晚于该“起始时间 ”的对象。 选择源端 迁移早于终止时间的对象 选择该选项时,用户可配置“终止时间 ”,任务将仅迁移最后修改时间早于该“终止时间 ”的对象。 注意: 若您同时设定“起始时间 ”和“终止时间 ”,限制“终止时间 ”需晚于(不包含等于)“起始时间 ”。 选择目的端 目的端 指定为天翼云对象存储ZOS。 选择目的端 EndPoint Endpoint支持输入IP地址或域名。 若使用非默认端口,请输入端口号,格式为IP:Port。 说明: 目的端为ZOS,您可在对象存储ZOS的bucket“概览域名信息”中找到终端节点(Endpoint)信息。 选择目的端 Access Key 输入您目的端的Access Key。 选择目的端 Secret Key 输入您目的端的Secret Key。 选择目的端 存储桶 输入您目的端的对象存储桶名称。 选择目的端 目的端指定前缀 是否在目的端指定前缀: 关闭 目的端指定前缀,则会将源端数据按原有目录结构迁移至目的端存储桶。 开启 目的端指定前缀,可为迁移至目的端的对象(或文件夹)增加指定的前缀,可分为“增加前缀”和“增加前缀目录”。 说明: 增加前缀 :若您输入的前缀不为目录,则为迁移的对象(或文件夹)增加该部分前缀。例如:指定源端桶 bucketA 的文件夹 bucketA/a/folder1 进行迁移,目的端桶为 bucketB,目的端指定前缀为 Test,则迁移至目的端后为 bucketB/Testa/folder1 。 增加前缀目录 :若您输入的前缀为目录,则为迁移的对象(或文件夹)增加该部分前缀目录,实现将对象迁移至指定的目录下的效果。例如:指定源端桶bucketA的对象 bucketA/a/fileA.png 和 bucketA/b/fileB.png 进行迁移,目的端桶为 bucketB,目的端指定前缀为 Test/,则迁移至目的端后为 bucketB/Test/a/fileA.png 和 bucketB/Test/b/fileB.png 。 选择目的端 存储类型 选择迁移数据在目的端的存储类型,支持:匹配源端、标准存储、低频存储、归档存储。 说明: 匹配源端 :会自动匹配源端存储类型,与源端存储类型保持一致。但仅能自动匹配源端的“标准”和“低频”类型,匹配源端的“归档”或“深度归档”类型,请您务必提前对源端归档数据进行手动解冻,并确保迁移任务完成前数据保持解冻状态,否则该部分数据会迁移失败。 标准存储 :将会存储为标准类型。 低频存储 :将会存储为低频类型。 归档存储 :将会存储为归档类型。 不同地域的对象存储ZOS bucket所支持的存储类型不一致,若您此处选择的存储类型,在您的目的端bucket所在地域并不支持,则迁移会失败。您可参考对象存储ZOS产品能力地图,以便确定您的目的端对不同存储类型的支持情况。 选择目的端 ACL配置 选择迁移数据在目的端的ACL配置,支持:匹配源端、私有、公共读。 说明: 匹配源端 :会自动匹配源端的ACL配置,与源端保持一致。 私有 :会将目的端ACL配置为私有。 公共读 :会将目的端ACL配置为公共读。 高级选项 同名文件是否覆盖 选择迁移的同名文件处理策略,支持:同名文件不覆盖、同名文件全覆盖、按最后修改时间判断。 说明: 不覆盖 :对同名文件,不进行任何判断,一律执行跳过。 全覆盖 :对于同名文件,不进行任何判断,一律执行覆盖。 按最后修改时间 :对于同名文件,优先判断二者的Lastmodified(即最后修改时间),仅当源端文件相较目的端修改时间更新时,进行覆盖。若源端与目的端文件最后修改时间一致,则判断两者的文件大小,大小一致则执行跳过,大小不一致则执行覆盖。 注意: 选择“全覆盖 ”将会覆盖您目的端的同名文件,被覆盖的文件无法被恢复,请您配置时慎重评估是否全覆盖,避免不必要的损失。 注意 创建迁移任务的参数涉及您源端存储数据的相关信息,需要您自行在源端获取,部分信息涉及您的隐私,请注意保密。 3. 在确认任务页面,您可以再次检查填写的任务参数,确定无误后,点击“创建任务 ”,这里需要您进行二次确认,确认后即可创建任务。回到迁移任务列表页面,该任务会在列表中展示。 说明 针对半托管模式的迁移任务,创建任务后,迁移服务依赖您的代理对源端进行连通性检查,存在一定的等待时间,若创建任务失败,任务状态会变为“创建失败 请重新创建任务 ”,您可选择该状态后方的问号图标,鼠标悬停查看创建失败的具体错误信息,以帮助您检查配置参数是否有误。 4. 若迁移任务参数校验均通过,则会自动启动任务并变为“启动中 ”状态,启动成功的任务会变为“排队中 ”状态,排队等待您的代理执行任务,无需您再手动执行任务。 注意 若自动启动任务失败,您的任务会变为“已创建”状态,您依旧可以手动开始该任务。
        来自:
        帮助文档
        对象存储 ZOS
        控制台指南
        对象存储迁移服务
        如何使用半托管模式进行迁移
        半托管模式迁移任务的创建与管理
      • 部署规划
        您需要在部署天翼云TeleDB数据库之前,规划相关的硬件、网络及基础环境。 1. 先准备好介质独立部署,为方便快速部署,TelePG从1.5.3版本开始支持独立部署功能。前期准备好介质,部署好zk,部署好mysql,借助TelePG控制台进行部署。 2. 通过集团云翼平台直接订购开通部署。 3. 流复制是PostgreSQL 9.0 之后提供的新的传递 WAL 日志的方法。通过流复制,备库不断的从主库同步相应的数据,并在备库应用每个 WAL 文件 。主备模式推荐采用同步及潜在同步至少三节点的方式。 4. 暂不支持自动建立database,需用户手动建立database;支持自动建schema,用户可不用手动建立schema。 内存分配 1.shared buffer pool,共享内存区域:供 PostgreSQL 服务器的所有进程使用。查看 sharedbuffers 参数可以得到其设置值,建议设为内存的四分之一。 2.WAL buffer,预写日志缓冲区:WAL 数据在写入持久存储之前的缓冲区,实例初始化时自动计算。 3.commit log,提交日志:所有事务的状态日志,每个事务占用 2bit,最大512MB。 4.tempbuffers,临时表缓冲区。 5.workmem,工作内存:执行器在执行 sort、distinct 使用该区域对元组做排序,以及存储 merge join、hash join 多表连接的数据,受最大连接数 maxconnections 参数影响,建议用户 session 级别进行设置,不要全局设置。 6.maintenanceworkmem,维护内存:某些类型的维护操作使用该区域(如vacuum、reindex)。 注意 按照小系统上云oltp应用保守设置,如果是大数据、数据仓库,需要再此基础按照测试重新优化调整较大参数值。 最大内存估算可参考如下表: 项目 值(MB) 备注 maxconnections 100 默认值为100 workmem 4 默认值为4,最小值64KB tempbuffers 8 默认值为8,最小值800KB sharedbuffers 128 默认值为8,最小值128KB autovacuummaxworkers 3 默认值为3 maintenanceworkmem 64 默认值为64MB,最小值为1MB。 commit log 48 每个事务2bits,autovacuumfreezemaxage,默认为2亿。 maxconnectionsworkmem+maxconnectionstempbuffers+sharedbuffers+(autovacuummaxworkersmaintenanceworkmem)+clog 1568 wal buffers1 autovacuumworkmem1 操作系统配置规范: 关闭 CPU 的节能模式。 关闭 NUMA。 建议使用 UTF8。 设置时间时区,建议主机工程师设置时间同步服务。 关闭其他服务: systemctl stop tuned.service ktune.service systemctl stop firewalld.service systemctl stop postfix.service systemctl stop avahidaemon.socket systemctl stop avahidaemon.service systemctl stop atd.service systemctl stop bluetooth.service systemctl stop wpasupplicant.service systemctl stop accountsdaemon.service systemctl stop atd.service cups.service systemctl stop postfix.service systemctl stop ModemManager.service systemctl stop debugshell.service systemctl stop rtkitdaemon.service systemctl stop rpcbind.service systemctl stop rngd.service systemctl stop upower.service systemctl stop rhsmcertd.service systemctl stop rtkitdaemon.service systemctl stop ModemManager.service systemctl stop mcelog.service systemctl stop colord.service systemctl stop gdm.service systemctl stop libstoragemgmt.service systemctl stop ksmtuned.service systemctl stop brltty.service systemctl stop avahidnsconfd.service 数据库高可用telePG 数据库高可用telePG组件服务器,bios层需要关闭numa,关闭电源保护模式设置CPU为最大性能模式,让其不降频,cat /proc/cpuinfo grep E "model nameMHz"CPU型号、频率一致。 参数类型 配置项 说明 操作系统内核参数配置 sysctl vm.swappiness5 5~10可选,但不可能阻止使用swap空间 操作系统内核参数配置 vm.minfreekbytes1024000 保证系统空闲内存维持在一定水平,同时保障内存管理low和min水位之间有足够间隔 操作系统内核参数配置 fs.aiomaxnr40960000 aiomaxnr no of process per DB no of databases 4096 操作系统内核参数配置 vm.dirtyratio20 vm.dirtybackgroundratio5 vm.dirtywritebackcentisecs100 vm.dirtyexpirecentisecs500 可选,这个参数指定了当文件系统缓存脏页数量达到系统内存百分之多少时(如5%)就会触发pdflush/flush/kdmflush等后台回写进程运行,将一定缓存的脏页异步地刷入外存 操作系统内核参数配置 vm.vfscachepressure150 vm.swappiness10 vm.minfreekbytes524288">> /etc/sysctl.d/99sysctl.conf && sysctl system 可选,该参数表示内核回收用于directory和inode cache内存的倾向。缺省值100表示内核将根据pagecache和swapcache,把directory和inode cache保持在一个合理的百分比;降低该值低于100,将导致内核倾向于保留directory和inode cache;增加该值超过100,将导致内核倾向于回收directory和inode cache 操作系统内核参数配置 fs.filemax 76724200 该参数表示文件句柄的最大数量。文件句柄设置表示在linux系统中可以打开的文件数量 操作系统内核参数配置 net.core.rmemmax 4194304 最大的TCP数据接收缓冲 操作系统内核参数配置 net.core.wmemmax 2097152 最大的TCP数据发送缓冲 操作系统内核参数配置 net.core.wmemdefault 262144 表示接收套接字缓冲区大小的缺省值(以字节为单位) 操作系统内核参数配置 net.core.rmemdefault 262144 表示发送套接字缓冲区大小的缺省值(以字节为单位) 操作系统内核参数配置 net.ipv4.tcpsyncookies 1 当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击,默认为0,表示关闭。 操作系统内核参数配置 net.ipv4.tcptwreuse 1 允许将TIMEWAIT sockets重新用于新的TCP连接,默认为0,表示关闭 操作系统内核参数配置 net.ipv4.tcptwrecycle 1 TCP连接中TIMEWAIT sockets的快速回收,默认为0,表示关闭,注意如果是natnat网络,并与net.ipv4.tcptimestamps 1组合使用,则会出现时断时续的情况 操作系统内核参数配置 net.ipv4.tcpfintimeout 30 修改系統默认的TIMEOUT 时间,避免服务器被大量的TIMEWAIT拖死 操作系统内核参数配置 net.ipv4.iplocalportrange 9000 65000 如果连接数本身就很多,可以再优化一下TCP的可使用端口范围,进一步提升服务器的并发能力,默认值是32768到61000 操作系统内核参数配置 net.ipv4.tcpmaxsynbacklog 8192 SYN队列的长度,默认为1024,加大队列长度为8192,可以容纳更多等待连接的网络连接数 操作系统内核参数配置 net.ipv4.tcpmaxtwbuckets 5000 系统同时保持TIMEWAIT的最大数量,如果超过这个数字,TIMEWAIT将立刻被清除并打印警告信息,默认为180000 操作系统内核参数配置 net.ipv4.conf.all.rpfilter 0 net.ipv4.conf.all.arpfilter 0 net.ipv4.conf.default.rpfilter 0 net.ipv4.conf.default.arpfilter 0 net.ipv4.conf.lo.rpfilter 0 net.ipv4.conf.lo.arpfilter 0 net.ipv4.conf.em1.rpfilter 0 net.ipv4.conf.em1.arpfilter 0 net.ipv4.conf.em2.rpfilter 0 net.ipv4.conf.em2.arpfilter 0 网卡的设置 操作系统内核参数配置 kernel.shmmni 4096 这个内核参数用于设置系统范围内共享内存段的最大数量。该参数的默认值是4096 。通常不需要更改kernel.sem 250 32000 100 142 操作系统内核参数配置 kernel.shmall 1073741824 该参数表示系统一次可以使用的共享内存总量(以页为单位)。缺省值是2097152,可根据kernel.shmmax大小进行调整(kernel.shmmax/41024或者kernel.shmmax/81024) 操作系统内核参数配置 kernel.shmmax 4398046511104 该参数定义了共享内存段的最大尺寸(以字节为单位),此值默认为物理内存的一半 操作系统内核参数配置 kernel.sysrq 0 如无需调试系统排查问题,这个必须为0 telepg的 limits.conf配置 telepg soft nofile1048576 telepg的 limits.conf配置 telepg soft memlock 1 telepg的 limits.conf配置 telepg hard memlock 1 telepg的 limits.conf配置 telepg hard memlock 128849018880 telepg的 limits.conf配置 telepg soft memlock 128849018880 telepg的 limits.conf配置 telepg soft core6291456 telepg的 limits.conf配置 telepg hard core6291456 telepg的 limits.conf配置 telepg hard nproc131072 telepg的 limits.conf配置 telepg soft nproc131072 telepg的 limits.conf配置 telepg hard nofile 1048576 telepg的 limits.conf配置 telepg hard stack 32768 telepg的 limits.conf配置 telepg soft stack 10240 禁用透明大页 echo never> /sys/kernel/mm/transparenthugepage/enabled 禁用透明大页 echo never> /sys/kernel/mm/transparenthugepage/defrag 网络连通性 确保组件和集群内的网络联通。 确保与相关联组件的网络连通。 确保防火墙关闭。
        来自:
        帮助文档
        分布式融合数据库HTAP
        私有云产品历史版本
        V1.0.0版本产品文档
        安装部署手册
        安装前准备
        部署规划
      • 功能清单
        功能名称 功能描述 发布区域 当前云硬盘提供了三类API,分别为云硬盘API、云硬盘快照API、云硬盘自动快照API。 详细的提供了API的描述、语法、参数说明及示例等内容。 云硬盘API:全部 云硬盘快照API:华东1/华北2 云硬盘自动快照API:华东1/华北2 云硬盘支持多种配置规格,可挂载至云主机用作数据盘和系统盘,根据性能将其分为XSSD3、XSSD2、XSSD1、XSSD0、极速型SSD、超高IO、通用型SSD、高IO、普通IO几种规格。 您可以在实际使用中可以选择符合业务需求与成本预算的规格进行购买。 不同地域支持的磁盘类型不同,您可以通过 云硬盘的磁盘模式分为三种,分别是: VBD(Virtual Block Device):虚拟块存储设备。 SCSI (Small Computer System Interface):小型计算机系统接口。 FCSAN(Fibre Channel SAN):光纤通道协议的SAN网络。 VBD:全部 SCSI: HDD类型:拉萨3/北京9/西宁2/庆阳2/呼和浩特3 SSD类型:华北2/郑州5/上海36/西南1/西宁2/庆阳2/呼和浩特3/沈阳8/华东1 FCSAN:上海7 系统盘在创建云主机或物理机时自动添加,无需单独创建。数据盘可以在创建云主机或物理机时创建,由系统自动挂载给云主机或物理机,也可以在创建了云主机或物理机之后,单独创建云硬盘并挂载给云主机或物理机。 全部 创建云硬盘后,需要将云硬盘挂载给云主机或物理机,供云主机或物理机作为数据盘使用。 挂载云硬盘通常分为两种,一种是挂载非共享云硬盘,另一种为挂载共享云硬盘。 全部 当卸载数据盘时,支持离线卸载或在线卸载,即可在挂载该数据盘的云主机处于“运行中”或“关机”状态时进行卸载。 只有数据盘支持卸载操作,系统盘不支持卸载。 全部 一块新创建的数据盘在挂载至云主机后,还不能直接存储数据,您需要为这块数据盘创建分区、格式化等初始化操作后才可以正常使用。 全部 当云硬盘空间不足时,您可以扩大云硬盘的容量,也就是云硬盘扩容。云硬盘扩容可以有如下两种处理方式: 申请一块新的云硬盘,并挂载给云主机。 扩容原有云硬盘空间。系统盘和数据盘均支持扩容。 全部 当您不再使用包年/包月的云硬盘时,可以退订云硬盘以释放存储空间资源。退订云硬盘后,将停止对云硬盘收取费用。 当云硬盘被退订后,云硬盘的数据将无法被访问。同时,该云硬盘对应的物理存储空间会被回收,对应的数据会被覆盖。在数据被覆盖之前,该存储空间不会被再次分配。 全部 当您不再使用按量付费的云硬盘时,可以删除云硬盘以释放存储空间资源。 删除云硬盘后,将停止对云硬盘收取费用。当云硬盘被删除后,云硬盘的数据将无法被访问。同时,该云硬盘对应的物理存储空间会被回收,对应的数据会被覆盖。在数据被覆盖之前,该存储空间不会被再次分配。 全部 云硬盘快照是云硬盘数据在特定时间点的完整副本或镜像。作为一种主要的灾难恢复方法,您可以使用快照将数据完全恢复到创建快照时的时间点。 您可以通过管理控制台或者API接口创建云硬盘快照。 华东1/华北2 天翼云云硬盘支持自动快照功能,您可以通过自动快照策略周期性地为云硬盘创建快照,可同时适用于系统盘和数据盘。 自动快照服务便于您灵活设置快照创建任务,提高数据安全和操作容错率。 华东1/华北2 天翼云云硬盘回收站支持将删除的云硬盘资源保存至回收站中,是一种数据保护的方式。在一定时间内,您可以在回收站内恢复云硬盘数据,以防止误删除导致的云硬盘数据丢失。 回收站功能默认为关闭状态,如需使用,需要您手动开启,保留时间最多为7天。 华东1/南宁23/上海36/青岛20/武汉41/华北2/长沙42/西南1/南昌5/西安7/太原4/郑州5/西南2贵州/华南2/杭州7/庆阳2/呼和浩特3/佛山7 云硬盘备份是指将云硬盘中的数据备份到其他存储介质或位置的操作。 云硬盘备份是一种数据保护措施,旨在应对数据损坏、误删除、恶意操作或主存储系统故障等风险,以确保数据的可靠性和可恢复性。 芜湖4/合肥2/芜湖2/北京5/重庆2/厦门3/福州3/福州4/福州25/兰州2/庆阳2/佛山3/广州6/南宁23/南宁2/贵州3/海口2/石家庄20/郑州5/华北2/华东1/华南2/武汉3/武汉4/武汉41/郴州2/长沙3/长沙42/南京2/南京4/南京3/南京5/九江/南昌5/沈阳8/辽阳1/呼和浩特3/内蒙6/中卫5/中卫2/西宁2/西安7/西安4/西安5/西安3/青岛20/上海15/上海7/上海36/太原4/晋中/成都4/西南1/西南2贵州/乌鲁木齐7/乌鲁木齐27/拉萨3/昆明2/杭州7/杭州2 当您的业务因为等保合规或安全要求等原因,需要对存储在云硬盘上的数据进行加密保护时,您可以在创建云硬盘时勾选加密选项,即可对新创建的云硬盘进行加密。 南宁23/华东1/南昌5/华南2/西安7/太原4/华北2/郑州5/西南2贵州/杭州7/庆阳2/呼和浩特3/长沙42/芜湖4/西南1/上海36/上海15/北京9/上海17/佛山7/长春3/宁波2 共享云硬盘允许多个云主机并发访问同一个云硬盘,实现多个实例之间的数据共享和协作。对云硬盘的共享访问通常应用于数据集群应用系统、分布式文件系统和高可用性架构等场景。 一块共享云硬盘支持同时挂载到最多16台云主机,其中云主机包括弹性云主机和物理机两种,目前共享云硬盘只支持共享数据盘,不支持共享系统盘。 重庆2/南宁2/成都4/芜湖2/九江/西宁2/拉萨3/海口2/佛山3/贵州3/福州3/上海7/杭州2/北京5/南京3/南京4/西安4/内蒙6/晋中/郴州2/武汉4/福州4/昆明2/西安5/南京5/华东1/南宁23/上海36/石家庄20/辽阳1/青岛20/武汉41/福州25/乌鲁木齐27/华北2/西南1/长沙42/中卫5/南昌5/华南2/西安7/太原4/郑州5/西南2贵州/杭州7/西安3/庆阳2/乌鲁木齐7/中卫2/厦门3/乌鲁木齐4/上海15/芜湖4/北京9/上海17/呼和浩特3/沈阳8/上海20/佛山7/广州9/长春3/宁波2 当您开通云硬盘服务后,即可通过云监控来查看云硬盘的性能指标。 云硬盘支持的监控指标包括:磁盘读速率、磁盘写速率、磁盘读请求速率、磁盘写请求速率、平均写操作大小、平均读操作大小、平均写操作耗时、平均读操作耗时 。 全部 包年包月采用包周期预付费的计费模式,按订单的购买周期计费,适用于可预估资源使用周期的场景。 如果您需要更灵活的计费方式,按照云硬盘的实际使用时长计费,您可以将云硬盘的计费方式转为按需付费。 全部 天翼云提供多种云硬盘类型,满足不同场景的存储性能和价格需求,您可以根据业务需求变更云硬盘的类型。 例如,创建云硬盘时选择了通用型SSD,但后期需要更高的IOPS,则可以将该盘变配为超高IO型云硬盘。 普通IO、高IO、通用型SSD、超高IO:南宁23/上海36/青岛20/武汉41/华北2/西南1/南昌5/西安7/太原4/华南2/郑州5/西南2贵州/杭州7/庆阳2/呼和浩特3/长沙42/乌鲁木齐7/华东1/上海15/佛山7 X系列:已上线的地域, 除华北2均支持修改磁盘类型,已上线区域请参见 针对按需计费云硬盘,您可以手动释放云硬盘,也可以设置随实例释放云硬盘(如果云硬盘开启了随实例释放,则在释放云主机实例时云硬盘会自动一起释放)。 云硬盘的快照默认不随云硬盘自动释放,如果您不再需要某些云硬盘快照,可以将其手动释放。您还可以通过设置云硬盘释放策略,选择在释放云硬盘的同时释放该盘的全部快照。 随实例释放按需计费云硬盘:华东1/华北2 随云硬盘释放快照:华东1/华北2
        来自:
        帮助文档
        云硬盘 EVS
        产品介绍
        功能清单
      • 自定义服务配置
        本章节主要介绍自定义服务配置的使用方法。 操作场景 HDFS、YARN、Hive等服务含有大量配置项,为便于服务使用,您可使用自定义服务配置功能,在创建集群或新增服务前修改或添加配置项。 前提条件 当前支持用户对HDFS、Hive、Spark、HBase、YARN、Kyuubi的部分文件进行修改与添加配置项。其他组件服务暂不支持使用自定义服务配置功能。 操作步骤 1、支持用户在订购环节对所选服务进行配置修改与添加。 1)在翼MR订购页软件配置环节选择所需组件服务。 2)在软件配置环节,开启自定义服务配置开关。 3)在输入框中添加JSON 格式的配置信息。 2、支持用户在新增集群服务环节对所选服务的配置进行修改与添加。 1)在翼MR控制台集群服务管理页面选择需要新增部署的组件服务。 2)在弹窗中开启自定义服务配置开关。 3)在输入框中添加JSON 格式的配置信息。 配置说明 在创建集群或新增集群服务过程中,可通过自定义服务配置功能,添加JSON格式的配置文件,覆盖或添加集群服务的默认参数。JSON文件的内容示例如下: plaintext [ { "applicationName":"YARN", "configFileName":"mapredsite.xml", "configItemKey":"mapreduce.task.timeout", "configItemValue":"200000" }, { "applicationName":"HDFS", "configFileName":"hdfssite.xml", "configItemKey":"dfs.replication", "configItemValue":"2" } ] 参数含义说明: 参数名称 说明 applicationName 服务的名称。 configFileName 配置文件的名称。 configItemKey 配置项的名称。 configItemValue 该配置需要设置的具体内容。 针对不同文件自定义服务配置的修改方式有所不同 1、全文修改 部分配置文件只能进行全文覆盖。用户需要使用CONFCONTENT作为configItemKey,在configItemValue中输入转义后的配置文件内容,输入的配置文件内容会在部署后自动覆盖到服务对应的配置上。文件内容的字符串需要用户对常见字符进行转义,如双引号、单引号、换行符、反斜杠等。需要通过全文覆盖方式进行配置修改的文件如下: 服务名称 配置文件 HBase hbaseenv.sh HBase log4j.properties HDFS hadoopenv.sh YARN mapredenv.sh YARN yarnenv.sh Hive hiveenv.sh Hive hivelog4j2.properties Kyuubi kyuubienv.sh 2、按配置项修改 部分配置文件支持按配置项进行修改,支持修改的配置项如下: 说明 1)Kerberos的krb5.conf文件,只支持使用kerberosRealm作为configItemKey来配realm,暂不支持配置其它配置项。 2)Spark的sparkenv.sh文件中,customsparkenv配置项需要对参照上文全文修改的方式,对文件内容进行转义。 服务名称 配置文件 配置项 HBase hbasesite.xml hbase.cluster.distributed HBase hbasesite.xml hbase.coprocessor.abortonerror HBase hbasesite.xml hbase.coprocessor.master.classes HBase hbasesite.xml hbase.coprocessor.region.classes HBase hbasesite.xml hbase.master.kerberos.principal HBase hbasesite.xml hbase.master.keytab.file HBase hbasesite.xml hbase.master.loadbalancer.class HBase hbasesite.xml hbase.quota.enabled HBase hbasesite.xml hbase.quota.refresh.period HBase hbasesite.xml hbase.regionserver.kerberos.principal HBase hbasesite.xml hbase.regionserver.keytab.file HBase hbasesite.xml hbase.rest.authentication.kerberos.keytab HBase hbasesite.xml hbase.rest.authentication.kerberos.principal HBase hbasesite.xml hbase.rest.kerberos.principal HBase hbasesite.xml hbase.rootdir HBase hbasesite.xml hbase.security.authentication HBase hbasesite.xml hbase.security.authorization HBase hbasesite.xml hbase.superuser HBase hbasesite.xml hbase.thrift.kerberos.principal HBase hbasesite.xml hbase.thrift.keytab.file HBase hbasesite.xml hbase.tmp.dir HBase hbasesite.xml hbase.unsafe.stream.capability.enforce HBase hbasesite.xml hbase.wal.provider HBase hbasesite.xml hbase.zookeeper.property.clientPort HBase hbasesite.xml hbase.zookeeper.quorum HBase hbasesite.xml zookeeper.znode.parent HDFS coresite.xml dfs.datanode.cacheddfsused.check.interval.ms HDFS coresite.xml fs.AbstractFileSystem.jfs.impl HDFS coresite.xml fs.defaultFS HDFS coresite.xml fs.du.interval HDFS coresite.xml fs.getspaceused.jitterMillis HDFS coresite.xml fs.jfs.impl HDFS coresite.xml fs.permissions.umaskmode HDFS coresite.xml fs.trash.checkpoint.interval HDFS coresite.xml fs.trash.interval HDFS coresite.xml ha.failovercontroller.newactive.rpctimeout.m HDFS coresite.xml ha.failovercontroller.newactive.rpctimeout.ms HDFS coresite.xml ha.healthmonitor.rpctimeout.ms HDFS coresite.xml ha.zookeeper.quorum HDFS coresite.xml ha.zookeeper.sessiontimeout.ms HDFS coresite.xml hadoop.caller.context.enabled HDFS coresite.xml hadoop.kerberos.kinit.command HDFS coresite.xml hadoop.proxyuser.hdfs.groups HDFS coresite.xml hadoop.proxyuser.hdfs.hosts HDFS coresite.xml hadoop.proxyuser.hive.groups HDFS coresite.xml hadoop.proxyuser.hive.hosts HDFS coresite.xml hadoop.proxyuser.HTTP.groups HDFS coresite.xml hadoop.proxyuser.HTTP.hosts HDFS coresite.xml hadoop.proxyuser.httpfs.groups HDFS coresite.xml hadoop.proxyuser.httpfs.hosts HDFS coresite.xml hadoop.proxyuser.yarn.groups HDFS coresite.xml hadoop.proxyuser.yarn.hosts HDFS coresite.xml hadoop.rpc.protection HDFS coresite.xml hadoop.security.authtolocal HDFS coresite.xml hadoop.security.authentication HDFS coresite.xml hadoop.security.authorization HDFS coresite.xml hadoop.security.group.mapping HDFS coresite.xml hadoop.security.group.mapping.ldap.base HDFS coresite.xml hadoop.security.group.mapping.ldap.bind.password.file HDFS coresite.xml hadoop.security.group.mapping.ldap.bind.user HDFS coresite.xml hadoop.security.group.mapping.ldap.num.attempts HDFS coresite.xml hadoop.security.group.mapping.ldap.num.attempts.before.failover HDFS coresite.xml hadoop.security.group.mapping.ldap.posix.attr.uid.name HDFS coresite.xml hadoop.security.group.mapping.ldap.search.attr.group.name HDFS coresite.xml hadoop.security.group.mapping.ldap.search.attr.member HDFS coresite.xml hadoop.security.group.mapping.ldap.search.filter.group HDFS coresite.xml hadoop.security.group.mapping.ldap.search.filter.user HDFS coresite.xml hadoop.security.group.mapping.provider.ldap4users HDFS coresite.xml hadoop.security.group.mapping.provider.ldap4users.ldap.url HDFS coresite.xml hadoop.security.group.mapping.provider.shell4services HDFS coresite.xml hadoop.security.group.mapping.providers HDFS coresite.xml hadoop.security.group.mapping.providers.combined HDFS coresite.xml httpfs.proxyuser.mapred.groups HDFS coresite.xml httpfs.proxyuser.mapred.hosts HDFS coresite.xml io.compression.codec.lzo.class HDFS coresite.xml io.file.buffer.size HDFS coresite.xml ipc.client.connection.maxidletime HDFS coresite.xml ipc.server.listen.queue.size HDFS coresite.xml ipc.server.log.slow.rpc HDFS coresite.xml jeekefs.cachedir HDFS coresite.xml jeekefs.cachesize HDFS coresite.xml jeekefs.discovernodesurl HDFS coresite.xml jeekefs.meta HDFS coresite.xml jeekefs.serverprincipal HDFS coresite.xml topology.script.file.name HDFS hdfssite.xml dfs.block.access.token.enable HDFS hdfssite.xml dfs.blockreport.incremental.intervalMsec HDFS hdfssite.xml dfs.blockreport.initialDelay HDFS hdfssite.xml dfs.blockreport.intervalMsec HDFS hdfssite.xml dfs.blockreport.split.threshold HDFS hdfssite.xml dfs.blocksize HDFS hdfssite.xml dfs.client.failover.proxy.provider.ctyunns HDFS hdfssite.xml dfs.client.read.shortcircuit HDFS hdfssite.xml dfs.client.sockettimeout HDFS hdfssite.xml dfs.cluster.administrators HDFS hdfssite.xml dfs.datanode.address HDFS hdfssite.xml dfs.datanode.cacheddfsused.check.interval.ms HDFS hdfssite.xml dfs.datanode.data.dir HDFS hdfssite.xml dfs.datanode.data.dir.perm HDFS hdfssite.xml dfs.datanode.directoryscan.threads HDFS hdfssite.xml dfs.datanode.du.reserved.calculator HDFS hdfssite.xml dfs.datanode.du.reserved.pct HDFS hdfssite.xml dfs.datanode.failed.volumes.tolerated HDFS hdfssite.xml dfs.datanode.fileio.profiling.sampling.percentage HDFS hdfssite.xml dfs.datanode.handler.count HDFS hdfssite.xml dfs.datanode.http.address HDFS hdfssite.xml dfs.datanode.kerberos.principal HDFS hdfssite.xml dfs.datanode.keytab.file HDFS hdfssite.xml dfs.datanode.max.transfer.threads HDFS hdfssite.xml dfs.datanode.max.xcievers HDFS hdfssite.xml dfs.datanode.peer.stats.enabled HDFS hdfssite.xml dfs.domain.socket.path HDFS hdfssite.xml dfs.encrypt.data.transfer.cipher.suites HDFS hdfssite.xml dfs.ha.automaticfailover.enabled HDFS hdfssite.xml dfs.ha.fencing.methods HDFS hdfssite.xml dfs.ha.namenodes.ctyunns HDFS hdfssite.xml dfs.hosts.exclude HDFS hdfssite.xml dfs.image.transfer.bandwidthPerSec HDFS hdfssite.xml dfs.internal.nameservices HDFS hdfssite.xml dfs.journalnode.edits.dir.ctyunns HDFS hdfssite.xml dfs.journalnode.httpaddress HDFS hdfssite.xml dfs.journalnode.kerberos.internal.spnego.principal HDFS hdfssite.xml dfs.journalnode.kerberos.principal HDFS hdfssite.xml dfs.journalnode.keytab.file HDFS hdfssite.xml dfs.journalnode.rpcaddress HDFS hdfssite.xml dfs.namenode.accesstime.precision HDFS hdfssite.xml dfs.namenode.acls.enabled HDFS hdfssite.xml dfs.namenode.audit.log.async HDFS hdfssite.xml dfs.namenode.avoid.read.stale.datanode HDFS hdfssite.xml dfs.namenode.avoid.write.stale.datanode HDFS hdfssite.xml dfs.namenode.block.deletion.increment HDFS hdfssite.xml dfs.namenode.checkpoint.dir HDFS hdfssite.xml dfs.namenode.checkpoint.edits.dir HDFS hdfssite.xml dfs.namenode.checkpoint.period HDFS hdfssite.xml dfs.namenode.checkpoint.txns HDFS hdfssite.xml dfs.namenode.deletefiles.limit HDFS hdfssite.xml dfs.namenode.edit.log.autoroll.multiplier.threshold HDFS hdfssite.xml dfs.namenode.fslimits.maxdirectoryitems HDFS hdfssite.xml dfs.namenode.fslock.fair HDFS hdfssite.xml dfs.namenode.handler.count HDFS hdfssite.xml dfs.namenode.httpaddress.ctyunns.nn1 HDFS hdfssite.xml dfs.namenode.httpaddress.ctyunns.nn2 HDFS hdfssite.xml dfs.namenode.kerberos.internal.spnego.principal HDFS hdfssite.xml dfs.namenode.kerberos.principal HDFS hdfssite.xml dfs.namenode.keytab.file HDFS hdfssite.xml dfs.namenode.lock.detailedmetrics.enabled HDFS hdfssite.xml dfs.namenode.name.dir HDFS hdfssite.xml dfs.namenode.name.dir.restore HDFS hdfssite.xml dfs.namenode.quota.initthreads HDFS hdfssite.xml dfs.namenode.rpcaddress.ctyunns.nn1 HDFS hdfssite.xml dfs.namenode.rpcaddress.ctyunns.nn2 HDFS hdfssite.xml dfs.namenode.safemode.thresholdpct HDFS hdfssite.xml dfs.namenode.service.handler.count HDFS hdfssite.xml dfs.namenode.servicerpcaddress.ctyunns.nn1 HDFS hdfssite.xml dfs.namenode.servicerpcaddress.ctyunns.nn2 HDFS hdfssite.xml dfs.namenode.shared.edits.dir.ctyunns HDFS hdfssite.xml dfs.namenode.stale.datanode.interval HDFS hdfssite.xml dfs.namenode.startup.delay.block.deletion.sec HDFS hdfssite.xml dfs.namenode.support.allow.format HDFS hdfssite.xml dfs.namenode.write.stale.datanode.ratio HDFS hdfssite.xml dfs.nameservices HDFS hdfssite.xml dfs.permissions.superusergroup HDFS hdfssite.xml dfs.qjournal.selectinputstreams.timeout.ms HDFS hdfssite.xml dfs.qjournal.startsegment.timeout.ms HDFS hdfssite.xml dfs.qjournal.writetxns.timeout.ms HDFS hdfssite.xml dfs.replication HDFS hdfssite.xml dfs.replication.max HDFS hdfssite.xml dfs.web.authentication.kerberos.keytab HDFS hdfssite.xml dfs.web.authentication.kerberos.principal HDFS hdfssite.xml dfs.webhdfs.enabled HDFS hdfssite.xml hadoop.caller.context.enabled HDFS hdfssite.xml rpc.metrics.percentiles.intervals HDFS hdfssite.xml rpc.metrics.quantile.enable Hive hivesite.xml hive.auto.convert.join Hive hivesite.xml hive.auto.convert.sortmerge.join Hive hivesite.xml hive.auto.convert.sortmerge.join.to.mapjoin Hive hivesite.xml hive.compactor.initiator.on Hive hivesite.xml hive.default.fileformat Hive hivesite.xml hive.default.fileformat.managed Hive hivesite.xml hive.exec.compress.output Hive hivesite.xml hive.exec.dynamic.partition Hive hivesite.xml hive.exec.stagingdir Hive hivesite.xml hive.execution.engine Hive hivesite.xml hive.hook.proto.basedirectory Hive hivesite.xml hive.insert.into.multilevel.dirs Hive hivesite.xml hive.limit.optimize.enable Hive hivesite.xml hive.mapred.reduce.tasks.speculative.execution Hive hivesite.xml hive.merge.mapredfiles Hive hivesite.xml hive.metastore.authorization.storage.checks Hive hivesite.xml hive.metastore.warehouse.dir Hive hivesite.xml hive.metastore.warehouse.external.dir Hive hivesite.xml hive.optimize.bucketmapjoin Hive hivesite.xml hive.optimize.dynamic.partition.hashjoin Hive hivesite.xml hive.optimize.index.filter Hive hivesite.xml hive.optimize.metadataonly Hive hivesite.xml hive.optimize.remove.identity.project Hive hivesite.xml hive.server2.proxy.user Hive hivesite.xml hive.stats.fetch.column.stats Hive hivesite.xml hive.txn.strict.locking.mode Hive hivesite.xml hive.update.last.access.time.interval Hive hivesite.xml hive.user.install.directory Hive hivesite.xml hive.vectorized.execution.mapjoin.minmax.enabled Hive hivesite.xml hive.vectorized.execution.mapjoin.native.fast.hashtable.enabled Hive hivesite.xml hive.vectorized.groupby.checkinterval Hive hivesite.xml metastore.expression.proxy Kyuubi kyuubidefaults.conf kyuubi.backend.server.event.json.log.path Kyuubi kyuubidefaults.conf kyuubi.backend.server.event.loggers Kyuubi kyuubidefaults.conf kyuubi.delegation.token.renew.interval Kyuubi kyuubidefaults.conf kyuubi.ha.namespace Kyuubi kyuubidefaults.conf kyuubi.metrics.reporters Kyuubi kyuubidefaults.conf kyuubi.operation.getTables.ignoreTableProperties Kyuubi kyuubidefaults.conf kyuubi.session.engine.idle.timeout Kyuubi kyuubidefaults.conf kyuubi.session.idle.timeout Kyuubi kyuubidefaults.conf spark.master Kyuubi kyuubidefaults.conf spark.submit.deployMode Kyuubi kyuubidefaults.conf spark.yarn.queue Spark sparkdefaults.conf spark.driver.cores Spark sparkdefaults.conf spark.driver.extraJavaOptions Spark sparkdefaults.conf spark.driver.extraLibraryPath Spark sparkdefaults.conf spark.driver.maxResultSize Spark sparkdefaults.conf spark.driver.memory Spark sparkdefaults.conf spark.dynamicAllocation.enabled Spark sparkdefaults.conf spark.dynamicAllocation.initialExecutors Spark sparkdefaults.conf spark.dynamicAllocation.maxExecutors Spark sparkdefaults.conf spark.dynamicAllocation.minExecutors Spark sparkdefaults.conf spark.eventLog.dir Spark sparkdefaults.conf spark.executor.cores Spark sparkdefaults.conf spark.executor.extraJavaOptions Spark sparkdefaults.conf spark.executor.extraLibraryPath Spark sparkdefaults.conf spark.executor.heartbeatInterval Spark sparkdefaults.conf spark.executor.memory Spark sparkdefaults.conf spark.executorEnv.JAVAHOME Spark sparkdefaults.conf spark.files.openCostInBytes Spark sparkdefaults.conf spark.hadoop.mapreduce.output.fileoutputformat.compress Spark sparkdefaults.conf spark.hadoop.mapreduce.output.fileoutputformat.compress.codec Spark sparkdefaults.conf spark.hadoop.yarn.timelineservice.enabled Spark sparkdefaults.conf spark.history.fs.cleaner.enabled Spark sparkdefaults.conf spark.history.fs.cleaner.interval Spark sparkdefaults.conf spark.history.fs.cleaner.maxAge Spark sparkdefaults.conf spark.history.fs.logDirectory Spark sparkdefaults.conf spark.history.kerberos.enabled Spark sparkdefaults.conf spark.history.kerberos.keytab Spark sparkdefaults.conf spark.history.store.maxDiskUsage Spark sparkdefaults.conf spark.history.ui.maxApplications Spark sparkdefaults.conf spark.history.ui.port Spark sparkdefaults.conf spark.io.compression.lz4.blockSize Spark sparkdefaults.conf spark.kryo.unsafe Spark sparkdefaults.conf spark.kryoserializer.buffer.max Spark sparkdefaults.conf spark.locality.wait Spark sparkdefaults.conf spark.master Spark sparkdefaults.conf spark.memory.offHeap.enabled Spark sparkdefaults.conf spark.memory.offHeap.size Spark sparkdefaults.conf spark.network.timeout Spark sparkdefaults.conf spark.port.maxRetries Spark sparkdefaults.conf spark.rdd.parallelListingThreshold Spark sparkdefaults.conf spark.reducer.maxSizeInFlight Spark sparkdefaults.conf spark.resultGetter.threads Spark sparkdefaults.conf spark.rpc.io.backLog Spark sparkdefaults.conf spark.scheduler.maxReqisteredResourcesWaitingTime Spark sparkdefaults.conf spark.shuffle.accurateBlockThreshold Spark sparkdefaults.conf spark.shuffle.file.buffer Spark sparkdefaults.conf spark.shuffle.io.connectionTimeout Spark sparkdefaults.conf spark.shuffle.manager Spark sparkdefaults.conf spark.shuffle.mapOutput.dispatcher.numThreads Spark sparkdefaults.conf spark.shuffle.memoryFraction Spark sparkdefaults.conf spark.shuffle.push.enabled Spark sparkdefaults.conf spark.shuffle.push.maxBlockSizeToPush Spark sparkdefaults.conf spark.shuffle.push.merge.finalizeThreads Spark sparkdefaults.conf spark.shuffle.push.mergersMinStaticThreshold Spark sparkdefaults.conf spark.shuffle.readHostLocalDisk Spark sparkdefaults.conf spark.shuffle.service.enabled Spark sparkdefaults.conf spark.shuffle.unsafe.file.output.buffer Spark sparkdefaults.conf spark.speculation Spark sparkdefaults.conf spark.speculation.interval Spark sparkdefaults.conf spark.speculation.minTaskRuntime Spark sparkdefaults.conf spark.speculation.multiplier Spark sparkdefaults.conf spark.speculation.quantile Spark sparkdefaults.conf spark.sql.adaptive.coalescePartitions.initialPartitionNum Spark sparkdefaults.conf spark.sql.adaptive.coalescePartitions.minPartitionNum Spark sparkdefaults.conf spark.sql.adaptive.enabled Spark sparkdefaults.conf spark.sql.adaptive.forceApply Spark sparkdefaults.conf spark.sql.adaptive.forceOptimizeSkewedJoin Spark sparkdefaults.conf spark.sql.adaptive.shuffle.targetPostShuffleInputSize Spark sparkdefaults.conf spark.sql.autoBroadcastJoinThreshold Spark sparkdefaults.conf spark.sql.catalog.sparkcatalog Spark sparkdefaults.conf spark.sql.catalog.sparkcatalog.type Spark sparkdefaults.conf spark.sql.cbo.joinReorder.enabled Spark sparkdefaults.conf spark.sql.extensions Spark sparkdefaults.conf spark.sql.files.maxPartitionBytes Spark sparkdefaults.conf spark.sql.files.openCostInBytes Spark sparkdefaults.conf spark.sql.finalStage.adaptive.advisoryPartitionSizeInBytes Spark sparkdefaults.conf spark.sql.finalStage.adaptive.coalescePartitions.minPartitionNum Spark sparkdefaults.conf spark.sql.finalStage.adaptive.skewJoin.skewedPartitionFactor Spark sparkdefaults.conf spark.sql.finalStage.adaptive.skewJoin.skewedPartitionThresholdInBytes Spark sparkdefaults.conf spark.sql.hive.convertMetastoreOrc Spark sparkdefaults.conf spark.sql.hive.dropPartitionByName.enabled Spark sparkdefaults.conf spark.sql.inMemoryColumnarStorage.batchSize Spark sparkdefaults.conf spark.sql.join.preferSortMergeJoin Spark sparkdefaults.conf spark.sql.legacy.charVarcharAsString Spark sparkdefaults.conf spark.sql.legacy.timeParserPolicy Spark sparkdefaults.conf spark.sql.optimizer.finalStageConfigIsolation.enabled Spark sparkdefaults.conf spark.sql.optimizer.inferRebalanceAndSortOrders.enabled Spark sparkdefaults.conf spark.sql.optimizer.insertRepartitionBeforeWriteIfNoShuffle.enabled Spark sparkdefaults.conf spark.sql.optimizer.inSetConversionThreshold Spark sparkdefaults.conf spark.sql.optimizer.runtime.bloomFilter.creationSideThreshold Spark sparkdefaults.conf spark.sql.optimizer.runtime.bloomFilter.enabled Spark sparkdefaults.conf spark.sql.optimizer.runtimeFilter.number.threshold Spark sparkdefaults.conf spark.sql.optimizer.runtimeFilter.semiJoinReduction.enabled Spark sparkdefaults.conf spark.sql.orc.aggregatePushdown Spark sparkdefaults.conf spark.sql.orc.columnarReaderBatchSize Spark sparkdefaults.conf spark.sql.orc.enableNestedColumnVectorizedReader Spark sparkdefaults.conf spark.sql.parquet.aggregatePushdown Spark sparkdefaults.conf spark.sql.parquet.columnarReaderBatchSize Spark sparkdefaults.conf spark.sql.parquet.enableNestedColumnVectorizedReader Spark sparkdefaults.conf spark.sql.parquet.pushdown.inFilterThreshold Spark sparkdefaults.conf spark.sql.query.table.file.max.count Spark sparkdefaults.conf spark.sql.query.table.file.max.length Spark sparkdefaults.conf spark.sql.query.table.partition.max.count Spark sparkdefaults.conf spark.sql.sessionWindow.buffer.in.memory.threshold Spark sparkdefaults.conf spark.sql.shuffle.partitions Spark sparkdefaults.conf spark.sql.sources.parallelPartitionDiscovery.parallelism Spark sparkdefaults.conf spark.sql.sources.parallelPartitionDiscovery.threshold Spark sparkdefaults.conf spark.sql.statistics.fallBackToHdfs Spark sparkdefaults.conf spark.sql.storeAssignmentPolicy Spark sparkdefaults.conf spark.sql.subquery.maxThreadThreshold Spark sparkdefaults.conf spark.sql.support.block.inferior.sql Spark sparkdefaults.conf spark.storage.decommission.shuffleBlocks.maxThreads Spark sparkdefaults.conf spark.task.reaper.enabled Spark sparkdefaults.conf spark.unsafe.sorter.spill.reader.buffer.size Spark sparkdefaults.conf spark.yarn.appMasterEnv.JAVAHOME Spark sparkdefaults.conf spark.yarn.containerLauncherMaxThreads Spark sparkdefaults.conf spark.yarn.scheduler.heartbeat.intervalms Spark sparkdefaults.conf spark.yarn.scheduler.initialallocation.interval Spark sparkenv.sh customsparkenv Spark sparkenv.sh sparkengine YARN mapredsite.xml mapreduce.application.classpath YARN mapredsite.xml mapreduce.cluster.acls.enabled YARN mapredsite.xml mapreduce.framework.name YARN mapredsite.xml mapreduce.job.aclmodifyjob YARN mapredsite.xml mapreduce.job.counters.counter.name.max YARN mapredsite.xml mapreduce.job.counters.group.name.max YARN mapredsite.xml mapreduce.job.counters.groups.max YARN mapredsite.xml mapreduce.job.counters.max YARN mapredsite.xml mapreduce.jobhistory.admin.acl YARN mapredsite.xml mapreduce.jobhistory.bindhost YARN mapredsite.xml mapreduce.jobhistory.donedir YARN mapredsite.xml mapreduce.jobhistory.http.policy YARN mapredsite.xml mapreduce.jobhistory.intermediatedonedir YARN mapredsite.xml mapreduce.jobhistory.recovery.enable YARN mapredsite.xml mapreduce.jobhistory.recovery.store.leveldb.path YARN mapredsite.xml mapreduce.map.env YARN mapredsite.xml mapreduce.map.java.opts YARN mapredsite.xml mapreduce.map.log.level YARN mapredsite.xml mapreduce.map.memory.mb YARN mapredsite.xml mapreduce.map.output.compress YARN mapredsite.xml mapreduce.map.output.compress.codec YARN mapredsite.xml mapreduce.map.sort.spill.percent YARN mapredsite.xml mapreduce.map.speculative YARN mapredsite.xml mapreduce.output.fileoutputformat.compress YARN mapredsite.xml mapreduce.output.fileoutputformat.compress.codec YARN mapredsite.xml mapreduce.reduce.env YARN mapredsite.xml mapreduce.reduce.input.buffer.percent YARN mapredsite.xml mapreduce.reduce.java.opts YARN mapredsite.xml mapreduce.reduce.log.level YARN mapredsite.xml mapreduce.reduce.memory.mb YARN mapredsite.xml mapreduce.reduce.shuffle.fetch.retry.enabled YARN mapredsite.xml mapreduce.reduce.shuffle.fetch.retry.intervalms YARN mapredsite.xml mapreduce.reduce.shuffle.fetch.retry.timeoutms YARN mapredsite.xml mapreduce.reduce.shuffle.input.buffer.percent YARN mapredsite.xml mapreduce.reduce.shuffle.merge.percent YARN mapredsite.xml mapreduce.reduce.shuffle.parallelcopies YARN mapredsite.xml mapreduce.reduce.speculative YARN mapredsite.xml mapreduce.shuffle.port YARN mapredsite.xml mapreduce.task.io.sort.factor YARN mapredsite.xml mapreduce.task.io.sort.mb YARN mapredsite.xml mapreduce.task.timeout YARN mapredsite.xml yarn.app.mapreduce.am.env YARN mapredsite.xml yarn.app.mapreduce.am.log.level YARN mapredsite.xml yarn.app.mapreduce.am.resource.mb YARN mapredsite.xml yarn.app.mapreduce.am.stagingdir YARN yarnsite.xml hadoop.http.authentication.simple.anonymous.allowed YARN yarnsite.xml hadoop.http.filter.initializers YARN yarnsite.xml hadoop.registry.client.auth YARN yarnsite.xml yarn.acl.enable YARN yarnsite.xml yarn.logaggregation.retainseconds YARN yarnsite.xml yarn.logaggregationenable YARN yarnsite.xml yarn.nodelabels.enabled YARN yarnsite.xml yarn.nodelabels.fsstore.rootdir YARN yarnsite.xml yarn.nodemanager.address YARN yarnsite.xml yarn.nodemanager.containerexecutor.class YARN yarnsite.xml yarn.nodemanager.diskhealthchecker.maxdiskutilizationperdiskpercentage YARN yarnsite.xml yarn.nodemanager.localizer.cache.targetsizemb YARN yarnsite.xml yarn.nodemanager.localizer.client.threadcount YARN yarnsite.xml yarn.nodemanager.localizer.fetch.threadcount YARN yarnsite.xml yarn.nodemanager.log.retainseconds YARN yarnsite.xml yarn.nodemanager.logaggregation.compressiontype YARN yarnsite.xml yarn.nodemanager.logaggregation.debugenabled YARN yarnsite.xml yarn.nodemanager.logaggregation.numlogfilesperapp YARN yarnsite.xml yarn.nodemanager.logaggregation.rollmonitoringintervalseconds YARN yarnsite.xml yarn.nodemanager.recovery.dir YARN yarnsite.xml yarn.nodemanager.recovery.enabled YARN yarnsite.xml yarn.nodemanager.recovery.supervised YARN yarnsite.xml yarn.nodemanager.remoteapplogdir YARN yarnsite.xml yarn.nodemanager.remoteapplogdirsuffix YARN yarnsite.xml yarn.nodemanager.resource.cpuvcores YARN yarnsite.xml yarn.nodemanager.resource.memorymb YARN yarnsite.xml yarn.nodemanager.resource.percentagephysicalcpulimit YARN yarnsite.xml yarn.nodemanager.resourcemanager.connect.wait.secs YARN yarnsite.xml yarn.nodemanager.vmemcheckenabled YARN yarnsite.xml yarn.nodemanager.vmempmemratio YARN yarnsite.xml yarn.nodemanager.webapp.crossorigin.enabled YARN yarnsite.xml yarn.resourcemanager.clusterid YARN yarnsite.xml yarn.resourcemanager.fusing.enable YARN yarnsite.xml yarn.resourcemanager.fusingmaxapigetjobs YARN yarnsite.xml yarn.resourcemanager.ha.rmids YARN yarnsite.xml yarn.resourcemanager.hostname.rm1 YARN yarnsite.xml yarn.resourcemanager.hostname.rm2 YARN yarnsite.xml yarn.resourcemanager.maxcompletedapplications YARN yarnsite.xml yarn.resourcemanager.recovery.enabled YARN yarnsite.xml yarn.resourcemanager.scheduler.autocorrect.container.allocation YARN yarnsite.xml yarn.resourcemanager.scheduler.class YARN yarnsite.xml yarn.resourcemanager.scheduler.monitor.enable YARN yarnsite.xml yarn.resourcemanager.store.class YARN yarnsite.xml yarn.resourcemanager.webapp.address.rm1 YARN yarnsite.xml yarn.resourcemanager.webapp.address.rm2 YARN yarnsite.xml yarn.resourcemanager.webapp.crossorigin.enabled YARN yarnsite.xml yarn.scheduler.maximumallocationmb YARN yarnsite.xml yarn.scheduler.maximumallocationvcores YARN yarnsite.xml yarn.scheduler.minimumallocationmb YARN yarnsite.xml yarn.scheduler.minimumallocationvcores YARN yarnsite.xml yarn.timelineservice.client.besteffort YARN yarnsite.xml yarn.timelineservice.client.maxretries YARN yarnsite.xml yarn.timelineservice.enabled YARN yarnsite.xml yarn.timelineservice.httpcrossorigin.enabled YARN yarnsite.xml yarn.webapp.ui2.enable
        来自:
        帮助文档
        翼MapReduce
        用户指南
        服务配置修改建议
        自定义服务配置
      • 权限管理
        本节主要介绍云数据库GeminiDB的权限管理。 如果您需要对购买的云数据库 GeminiDB资源,给企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制天翼云资源的访问。 通过IAM,您可以在天翼云账号中给员工创建IAM用户,并授权控制他们对天翼云资源的访问范围。例如您的员工中有负责软件开发的人员,您希望他们拥有云数据库 GeminiDB的使用权限,但是不希望他们拥有删除云数据库 GeminiDB等高危操作的权限,那么您可以使用IAM为开发人员创建用户,通过授予仅能使用云数据库 GeminiDB,但是不允许删除云数据库 GeminiDB的权限策略,控制他们对云数据库 GeminiDB资源的使用范围。 如果天翼云账号已经能满足您的要求,不需要创建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用云数据库 GeminiDB服务的其它功能。 IAM是天翼云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。 关于IAM的详细介绍,请参见《IAM产品介绍》。 云数据库 GeminiDB权限 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 云数据库 GeminiDB部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区域级项目”,然后在指定区域(如广州4)对应的项目(cngdgz1)中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问云数据库 GeminiDB时,需要先切换至授权区域。 根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于天翼云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对ECS服务,管理员能够控制IAM用户仅能对某一类云主机资源进行指定的管理操作。 如表1所示,包括了云数据库 GeminiDB的所有系统权限。 表1 云数据库 GeminiDB系统权限 策略名称/系统角色 描述 类别 依赖关系 GeminiDB FullAccess 云数据库 GeminiDB服务所有权限。 系统策略 创建包周期实例需要配置CBC权限: bss:balance:view bss:balance:update bss:order:view bss:order:pay bss:order:update bss:renewal:view bss:renewal:update 退订包周期实例需要配置CBC权限: bss:unsubscribe:update GeminiDB ReadOnlyAccess 云数据库 GeminiDB服务只读权限。 系统策略 无 表2列出了云数据库 GeminiDB常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。 表2 常用操作与系统权限的关系 操作 GeminiDB FullAccess GeminiDB ReadOnlyAccess 创建实例 √ x 查询实例列表 √ √ 查询实例详情 √ √ 查询任务列表 √ √ 删除实例 √ x 重启实例 √ x 重置密码 √ x 变更实例安全组 √ x 修改数据库端口 √ x 绑定/解绑公网IP √ x 磁盘扩容 √ x 规格变更 √ x 节点扩容 √ x 节点缩容 √ x 修改备份策略 √ x 重命名实例 √ x 创建手动备份 √ x 查询备份列表 √ √ 恢复到新实例 √ x 删除备份 √ x 创建参数模板 √ x 查询参数模板列表 √ √ 修改参数模板 √ x 删除参数模板 √ x 查询企业项目配额管理列表 √ √ 修改企业项目配额 √ x 切换SSL开关 √ x 停止备份 √ x 表3列出了云数据库 GeminiDB常用操作以及对应的授权项,您可以参照该表自定义配置权限策略。 表3 常用操作与对应的授权项 操作 授权项 授权范围 备注 实例创建页 vpc:vpcs:list vpc:subnets:get vpc:securityGroups:get 支持: IAM项目(Project) 企业项目(Enterprise Project) 创建页需要查询对应的VPC、子网、安全组。 创建实例 nosql:instance:create vpc:vpcs:list vpc:vpcs:get vpc:subnets:get vpc:securityGroups:get vpc:ports:get 支持: IAM项目(Project) 企业项目(Enterprise Project) 界面使用默认VPC、子网、安全组需对应配置vpc::create权限, 创建加密实例需要在项目上配置KMS Administrator权限。 查询实例列表 nosql:instance:list 支持: IAM项目(Project) 企业项目(Enterprise Project) 查询实例详情 nosql:instance:list 支持: IAM项目(Project) 企业项目(Enterprise Project) 如果实例详情界面需要展示VPC、子网、安全组,请增加vpc::get和vpc::list授权项。 查询任务列表 nosql:task:list 支持: IAM项目(Project) 企业项目(Enterprise Project) 删除实例 nosql:instance:delete 支持: IAM项目(Project) 企业项目(Enterprise Project) 删除实例需要同时删除数据侧IP地址。 重启实例 nosql:instance:restart 支持: IAM项目(Project) 企业项目(Enterprise Project) 重置密码 nosql:instance:modifyPasswd 支持: IAM项目(Project) 企业项目(Enterprise Project) 变更实例安全组 nosql:instance:modifySecurityGroup 支持: IAM项目(Project) 企业项目(Enterprise Project) 修改数据库端口 nosql:instance:modifyPort 支持: IAM项目(Project) 企业项目(Enterprise Project) 绑定公网IP nosql:instance:bindPublicIp 支持: IAM项目(Project) 绑定公网IP时,需要查询已经创建好的公网IP。 不支持企业项目 不支持细粒度 解绑公网IP nosql:instance:unbindPublicIp 支持: IAM项目(Project) 不支持企业项目 不支持细粒度 磁盘扩容 nosql:instance:modifyStorageSize 支持: IAM项目(Project) 企业项目(Enterprise Project) 规格变更 nosql:instance:modifySpecification 支持: IAM项目(Project) 企业项目(Enterprise Project) 节点扩容 nosql:instance:extendNode vpc:vpcs:list vpc:vpcs:get vpc:subnets:get vpc:securityGroups:get vpc:ports:get 支持: IAM项目(Project) 企业项目(Enterprise Project) 节点缩容 nosql:instance:reduceNode 支持: IAM项目(Project) 企业项目(Enterprise Project) 删除集群节点。 修改备份策略 nosql:instance:modifyBackupPolicy 支持: IAM项目(Project) 企业项目(Enterprise Project) 重命名实例 nosql:instance:rename 支持: IAM项目(Project) 企业项目(Enterprise Project) 创建手动备份 nosql:backup:create 支持: IAM项目(Project) 企业项目(Enterprise Project) 查询备份列表 nosql:backup:list 支持: IAM项目(Project) 企业项目(Enterprise Project) 下载备份文件 nosql:backup:download 支持: IAM项目(Project) 企业项目(Enterprise Project) 恢复到新实例 nosql:backup:restoreToNewInstance vpc:vpcs:list vpc:vpcs:get vpc:subnets:get vpc:securityGroups:get vpc:ports:get 支持: IAM项目(Project) 企业项目(Enterprise Project) 加密实例需要在项目上配置KMS Administrator权限。 备份恢复到已有实例 nosql:backup:restoreToExistInstance 支持: IAM项目(Project) 企业项目(Enterprise Project) 删除备份 nosql:backup:delete 支持: IAM项目(Project) 企业项目(Enterprise Project) 创建参数模板 nosql:param:create 支持: IAM项目(Project) 企业项目(Enterprise Project) 查询参数模板列表 nosql:param:list 支持: IAM项目(Project) 企业项目(Enterprise Project) 修改参数模板中的参数值 nosql:param:modify 支持: IAM项目(Project) 企业项目(Enterprise Project) 变更实例下节点的参数配置 nosql:instance:modifyParameter 支持: IAM项目(Project) 企业项目(Enterprise Project) 删除参数模板 nosql:param:delete 支持: IAM项目(Project) 企业项目(Enterprise Project) 标签操作 nosql:instance:tag tms:resourceTags:list 支持: IAM项目(Project) 企业项目(Enterprise Project) 标签列表 nosql:tag:list tms:resourceTags:list 支持: IAM项目(Project) 企业项目(Enterprise Project) 查询企业项目配额管理列表 nosql:quota:list 支持: IAM项目(Project) 企业项目(Enterprise Project) 修改企业项目配额 nosql:quota:modify 支持: IAM项目(Project) 企业项目(Enterprise Project) 切换审计日志开关 nosql:instance:switchAuditLog 支持: IAM项目(Project) 企业项目(Enterprise Project) 下载审计日志 nosql:instance:downloadAuditLog 支持: IAM项目(Project) 企业项目(Enterprise Project) 删除审计日志 nosql:instance:deleteAuditLog 支持: IAM项目(Project) 企业项目(Enterprise Project) 更新慢日志明文开关 nosql:instance:modifySlowLogPlaintextSwitch 支持: IAM项目(Project) 企业项目(Enterprise Project) 切换SSL开关 nosql:instance:switchSSL 支持: IAM项目(Project) 企业项目(Enterprise Project) 修改内网IP nosql:instance:modifyPrivateIp 支持: IAM项目(Project) 企业项目(Enterprise Project) 切换主备节点 nosql:instance:switchover 支持: IAM项目(Project) 企业项目(Enterprise Project) 数据库补丁升级 nosql:instance:upgradeDatabaseVersion 支持: IAM项目(Project) 企业项目(Enterprise Project) 停止备份 nosql:backup:stop 支持: IAM项目(Project) 企业项目(Enterprise Project) 查询日志配置组 lts:groups:get 支持: IAM项目(Project) 企业项目(Enterprise Project) 查询日志配置流 lts:topics:get 支持: IAM项目(Project) 企业项目(Enterprise Project)
        来自:
        帮助文档
        云数据库GeminiDB
        产品简介
        权限管理
      • 将Oracle同步到DRDS
        使用须知 在创建同步任务前,请务必阅读以下使用须知。 说明 建议创建单独用于DRS任务连接的数据库帐号,避免因为数据库帐号密码修改,导致的任务连接失败。 连接源或目标数据库的帐号密码修改后,请尽快修改连接信息,避免任务连接失败后自动重试,导致数据库帐号被锁定影响使用。 表使用须知 类型名称 使用和操作限制 数据库权限设置 l源数据库端: − 全量同步:需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECTto drsUser;)权限。 − 全量+增量同步: 12c及以上版本CDB数据库同步时,需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECTto drsUser;),EXECUTECATALOGROLE,SELECT ANY TRANSACTION,LOGMINING,SELECT ON SYS.COL$,SELECT ON SYS.OBJ$,SET CONTAINER(GRANT SET CONTAINER TOCONTAINERALL;)权限。 12c及以上版本PDB数据库同步时,除了需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECTto drsUser;),EXECUTECATALOGROLE,SELECT ANY TRANSACTION,LOGMINING,SELECT ON SYS.COL$,SELECT ON SYS.OBJ$权限,还需要具有CDB的CREATE SESSION,SELECT ANY DICTIONARY,EXECUTECATALOGROLE,SELECT ANY TRANSACTION,LOGMINING,SET CONTAINER(GRANT SET CONTAINER TOCONTAINERALL;)权限。 11g及以下版本数据库同步时,需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECTto drsUser;),EXECUTECATALOGROLE,SELECT ANY TRANSACTION,SELECT ON SYS.COL$,SELECT ON SYS.OBJ$。 − 增量同步时,源库Oracle需要开启日志归档模式和最小补充日志,所需同步表必须开启PK/UI或以ALL级别的补充日志,不限制库级或表级补充日志方式,若只开启表级补充日志,重建或者RENAME表后需要重新设置;请确保以上配置在同步过程中始终保持开启状态。 − 12c及以上版本不支持使用ORACLEMAINTAINEDY的用户帐号进行增量同步(system/sys除外),因为该属性的帐号无日志解析权限。 l目标数据库端:提供的目标数据库帐号必须拥有如下权限:SELECT、CREATE、DROP、DELETE、INSERT、UPDATE、ALTER、INDEX、EVENT、RELOAD、CREATE VIEW。 同步对象约束 l增量同步不支持DDL的同步。 l全量阶段不支持bfile,xml、sdogeometry、urowid、interval(精度大于6位)和自定义类型。 l增量阶段不支持bfile,xml、interval、sdogeometry、urowid、timestamp(精度大于6位)和自定义类型。 l增量阶段源库为Oracle物理备库(PHYSICAL STANDBY)时不支持解析lob类型数据(无法生成数据字典),如果增量同步的表中出现lob类型会导致增量同步异常。 l目前只支持同步源库的数据,不支持同步源库表结构及其他数据库对象。 l用户需要在目标库根据源端逻辑库的表结构,自行在目标库创建对应的表结构及索引。未在目标库创建的对象,视为用户不选择这个对象进行同步。 l同步时需要在目标库创建表结构,目标库表结构要包含源库所有列,且主键要一致。 l源库支持todate和sysguid函数做默认值。将其他函数作为default值时,需要目标库也有相同功能的函数。对于目标库不存在对应函数的情况,可能会出现以下结果: − 默认值函数可能会被置空。 − 创建表失败,导致对象对比不一致或者任务失败。 l如果表中只有LOB字段,可能出现数据不一致性情况。 l如果Oracle中使用LOB类型各自的empty函数写入数据时,通过JDBC查询出来的值是空字符串,写入到目标库后是空字符串还是NULL取决于目标库对空字符串值的处理。 l针对无主键且无索引的表,非大字段的列必须大于3列,否则会因为无法全列匹配导致增量异常。 l不支持默认值含有表达式的函数的表的同步。 l不支持同步源库中的临时表。 源数据库要求 lOracle单行记录不能超过8K(lob、long类型除外,会自动转换成MySQL的text、blob类型),原因是MySQL innodb引擎限制单行大小不能超过8K(text、blob类型除外)。 l不建议以字符串类型作为主键或唯一键,因为Oracle的字符串作为主键、唯一键时区分空格,而MySQL不区分,可能导致数据不一致和死锁问题。 l对于Oracle的binaryfloat或者binarydouble类型,MySQL中不支持设置Nan、Inf、Inf三种值,DRS默认会将这三种值转为0保存。 lOracle中建议列名不要取名AUTOPKROWID,原因是这个列名在MySQL5.7中是保留列名,无法创建出来。 lOracle中number(p, s)字段的精度不要超过p: [1, 38], s:[p65, min(p, 30)]的精度表示范围。其中,s取值依赖于p的取值变化,即下限为p65, 上限为p或30中取最小值。例如:当p1, s的取值范围是[64, 1]。当p38, s取值范围是[27, 30]。 int字段的值不要超过(65,0)的精度表示范围。原因是MySQL数字的表示范围比Oracle小。 l不支持表名包含除下划线外的其他特殊字符的表的同步。 l源数据库中的库名或映射后的名称不允许以iblogfile开头,也不能为ibbufferpool、ibdoublewrite、ibdata1、ibtmp1。 l不支持选择源数据库的空库进行同步。 l目前仅支持同步如下字符集:ZHS16GBK、AL32UTF8、UTF8、US7ASCII、WE8MSWIN1252、WE8ISO8859P1、WE8ISO8859P2、WE8ISO8859P4、WE8ISO8859P5、WE8ISO8859P7、WE8ISO8859P9、WE8ISO8859P13、WE8ISO8859P15。 目标数据库要求 l同步前,目标数据库必须存在待同步数据库及表,且库名,表名,列名,索引名、约束名等必须为对应的小写名称。 lDRS同步时会有大量数据写入目标库,目标库maxallowedpacket 参数过小会导致无法写入,建议将目标库maxallowedpacket参数值设置为大于100MB。 l同步的表要禁用外键,因为DRS并行回放会使得不同表之间的写入顺序和源库不一致,可能会触发外键约束限制,造成同步失败。 l支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。 − 目标端多的列要求非空且没有默认值,源端insert数据,同步到目标端后多的列为null,不符合目标端要求。 − 目标端多的列设置固定默认值,且有唯一约束。源端insert多条数据后,同步到目标端后多的列为固定默认值,不符合目标端要求。 操作限制 l表对象名同步到目标库后会转换成小写,如ABC和abc。因此增量同步阶段,选择的源库表中不能存在表名称字母相同但大小写不同的表,否则,会导致同步失败。 l由于无主键表缺乏行的唯一性标志,网络不稳定时涉及少量重试,表数据存在少量不一致的可能性。 l如有特殊字符,业务连接Oracle数据库使用的编码需和Oracle数据库服务端编码一致,否则目标库会出现乱码。 lOracle中表结构同步到DRDS后表的字符集为utf8mb4。 lOracle中表结构长度(所有列长字节数之和,char、varchar2等类型字节长度和编码有关)超过65535时,可能导致同步失败。 lOracle归档日志文件大小必须大于单条数据最大值,避免单条数据日志跨文件(超过2个日志文件)导致的增量数据解析异常。 l对于Oracle RAC集群,建议使用SCAN IP+ SERVICENAMES方式创建任务,SCAN IP具有更强的容错性,更好的负载能力,更快的同步体验。 l源库为Oracle RAC时,如果需要使用SCAN IP配置DRS任务,需要保证SCAN IP、DRS节点的IP同时能与源库的所有VIP互通(Oracle内部机制),否则无法通过连通性检查。若不使用SCAN IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。 l若源库为RAC,增量同步首次启动时所有RAC节点必须正常在线,否则增量启动会出现异常。 l若源库为RAC,增量同步时,不支持增加、减少节点数量,避免导致增量同步异常(为保证数据的强一致性)。 l数据类型不兼容时,可能引起同步失败。 l当Oracle字符集是WE8MSWIN1252时,CLOB列同步到目标库可能出现乱码,建议先修改源库字符集为AL32UTF8再同步数据。 l同步过程中,不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限,或修改源和目标数据库的端口号。 l同步过程中,源库不能做DDL变更。 l同步过程中,禁止对Oracle源库做resetlogs操作,否则会导致数据无法同步且任务无法恢复。 l同步过程中,不支持LOB类型的rollback操作,否则会导致同步任务失败。 l对于同步中的数据库对象,在同步期间,目标库不能进行写入操作,否则会导致数据不一致。 lDRS全量同步表结构时,源库中的char、varchar2类型长度在目标库会按照字节长自动扩大(因为目标库为字节长),至少扩大1.5倍。扩大倍数和源库目标库的字符集有关,例如同为UTF8的情况下,默认扩大3倍,同为GBK的情况下,默认扩大2倍。 l全量同步分区表的结构时会将该对象转为非分区的普通表,增量同步时,源库跟分区表相关的操作,在目标库执行可能会失败。 l增量同步时,BLOB末尾的0x00、CLOB末尾的空格会被截断。 l选择表级对象同步时,增量同步过程中不建议对表进行重命名操作。 l源库的用户对应目标库的数据库。 l源库用户、表结构信息同步至目标库后全部转换为小写。如表Ab及表AB同步至目标库为ab。 l不支持索引组织表的同步。 l同步任务全量阶段开始前,如有长时间未提交的事务,有可能丢失数据。 l任务再编辑增加新表时,请确保新增的表的事务都已提交,否则未提交的事务可能无法同步到目标库。建议在业务低峰期做增加表的操作。
        来自:
        帮助文档
        数据库复制
        用户指南
        实时同步
        入云
        将Oracle同步到DRDS
      • 功能概览
        本文介绍全站加速产品的功能概览。 天翼云全站加速功能如下表所示: 功能分类 功能名称 功能描述 相关文档 域名管理 批量配置域名 客户往往会存在多个域名需要配置,而配置又是相同的情况,这时我们提供批量配置域名的方式可以使客户快速、便捷的接入域名。 []( 域名管理 域名操作工单 域名操作工单,指的是全站加速域名管理中的工单,是用于跟踪和记录由客户操作发起的域名新增及域名配置变更任务的状态和执行结果,方便跟进变更的进度以及追溯变更历史,辅助管理客户业务。 []( 标签管理 创建/删除标签和标签组 客户控制台上提供了一种域名分类管理工具——标签和标签组,使用标签可以对具有相同属性的域名进行分类管理,使用标签组可以对具有相同归类属性的标签进行分类管理。客户可自助在控制台上创建/删除标签和标签组。 []( 标签管理 域名绑定标签 标签为域名分类管理工具,通过给域名绑定标签功能,用户可以对具有相同属性的域名进行分类管理。 []( 标签管理 域名解绑标签 标签为域名分类管理工具,通过标签功能对具有相同属性的域名进行分类管理。如果标签已不再适用于您当前某个或多个域名的用途,您可以解绑域名标签。 []( 标签管理 使用标签管理域名 在完成域名绑定标签后,您在日常运营时,就可以使用标签快速筛选对应的域名,进行分组管理。 []( 标签管理 使用标签筛选数据 在完成域名绑定标签后,在日常运营时,如果您需要查询某一属性的域名的数据,就可以基于标签筛选相关域名,查询对应的数据。 []( 基础配置 加速类型 天翼云客户控制台,提供CDN加速、全站加速等多款产品的加速类型配置,您可以根据域名的业务类型选择合适的加速类型。 []( 基础配置 域名类型 天翼云全站加速产品提供三种业务类型的加速:全站加速、上传加速、websocket加速,您可以在添加域名时选择不同的域名类型来对不同的业务进行加速。 1.当您的域名以下行分发为主,且无websocket协议时,请选择“全站加速”域名类型。 2.当您的域名有上传业务时,请选择“全站加速上传加速”域名类型。 3.当您的域名有websocket协议时,请选择“全站加速websocket加速”域名类型。 []( 基础配置 加速区域 天翼云全站加速支持“中国内地”、“全球加速(不含中国内地)”、“全球加速”三种加速区域的选择。 []( 基础配置 IPv6配置 天翼云全站加速产品已经支持接收IPv6协议的请求,开启IPv6后,当您的用户处于IPv6环境时,客户端可以通过IPv6协议访问天翼云全站加速节点。 []( 回源配置 源站配置 回源配置模块支持客户自定义源站。支持IP或域名,支持配置多个源站地址,多源站场景下,支持设置源站的主备优先级和权重,实现负载均衡。 []( 回源配置 动态回源策略 在介绍动态回源策略之前,我们先介绍如何区分动态请求和静态请求。天翼云全站加速产品根据您配置的缓存规则来区分动静态请求,有配置缓存规则的被当作静态请求处理,其他请求将被当作动态请求处理。 如果您的加速域名有多个源站,可以配置合适的回源策略来实现不同的效果。动态回源策略支持择优回源、按权重回源、保持登录三种回源方式;静态回源策略默认轮询回源,无需配置。 1.择优回源:顾名思义,即根据全站加速节点探测源站的结果,选择最快的源站回源。 2.按权重回源:根据每个源站配置的不同权重,轮询回源。 3.保持登录:基于客户端IP进行哈希,保证相同客户端IP的多次请求始终访问到相同的源站。 []( 回源配置 回源协议 回源协议指全站加速节点回源站请求资源时使用的协议。配置该功能后,全站加速节点将根据指定的协议回源。全站加速支持HTTP回源协议,HTTPS回源协议、跟随客户端请求使用的协议回源三种回源协议。 []( 回源配置 回源加密算法 回源协议为HTTPS协议时,全站加速默认使用国际标准加密算法回源,也可以选择使用国密加密算法回源或者跟随客户端加密算法回源;未选择默认使用国际加密算法回源。 回源加密算法 回源配置 回源端口 回源端口,是指源站接收用户请求时所用的端口,一般http协议和https协议使用不同的源站端口。 []( 回源配置 默认回源HOST 当您的源站的同一个IP地址上绑定多个域名或站点时配置回源HOST,全站加速在回源时根据HOST信息去对应站点获取资源。 []( 回源配置 回源HOST带端口 当源站绑定了多个域名,且源站服务运行在非80/443端口(比如8080)时,开启回源HOST带端口功能,全站加速回源时可以在回源HOST中带上具体的端口(如test.ctyun.cn:8080),精准找到源站服务。 回源HOST带端口 回源配置 回源SNI 如果您的源站IP绑定了多个域名,且全站加速回源协议为HTTPS时,需配置回源SNI,在回源SNI内指明所请求的具体域名,并使服务器根据该域名正确地返回对应的SSL证书。 []( 回源配置 回源URI改写 回源URI改写可以实现在用户请求需要回源时进行URI改写, 全站加速节点向源站发送回源请求的时候使用改写后的URI。 []( 回源配置 回源参数改写 回源参数改写,改写的是回源请求URL的查询参数,即问号后的参数值。可支持参数的新增、删除、修改,以及保留或忽略所有参数。 []( 回源配置 Common Name白名单 开启Common Name白名单功能后,全站加速节点以HTTPS协议与源站建连时,将会对请求的SNI和源站返回证书的Common Name进行校验。 []( Name白名单 回源配置 回源302/301跟随 配置302/301跟随回源功能后,全站加速节点会代替用户去处理源站响应的302/301状态码内容,即全站加速节点会直接跳转到源站302/301响应中的Location地址去请求对应资源,不会把源站响应的302/301跳转地址直接返回给用户,让用户自己去请求跳转地址的资源。 []( 回源配置 Range回源 Range回源,是指节点收到用户请求后,会在回源时携带Range请求头,源站在收到Range请求后,会返回对应范围的内容数据给全站加速。Range回源功能开启后,全站加速节点可以以分片的形式缓存文件,对于Range请求而言,可以有效提高文件分发效率,降低首包时延,同时提高缓存利用率,减少不必要的回源。 []( 回源配置 回源超时时间设置(新) 回源超时时间包括回源连接超时时间跟回源请求超时时间: 回源连接超时时间指回源节点与源站服务器建立连接的超时时间。回源请求超时时间指回源节点与源站服务器建连成功后,向源站服务器发送请求的超时时间。 回源超时时间设置(新) 回源配置 分区域分运营商回源 如果您的域名有多个源站,且希望通过全站加速实现多个源站之间负载均衡,您可以按照区域或者运营商划分源站,让不同区域或者运营商的客户端IP回不同的源,从而实现同运营商回源,或者就近回源。 []( 回源配置 区分ipv4/ipv6协议回源 如果您的域名既有ipv4源站,又有ipv6源站,可以配置区分ipv4/ipv6协议回源,可实现ipv4协议的客户端回ipv4的源站,ipv6协议的客户端回ipv6的源站。同时也可基于客户实际需求,设置V4和V6用户按指定权重回对应V4和V6源站。 []( 回源配置 指定源站回源HOST 当您的加速域名配置了多个回源站点,且回源站点与加速域名不同时,您可以使用指定源站回源HOST功能,为不同的源站配置不同的回源HOST,天翼云全站加速产品在回源时会根据配置的回源HOST信息去访问不同站点的资源。 []( 回源配置 高级回源 当客户希望全站基于某些特殊场景回不同源站时,例如需要根据请求的不同文件后缀名、不同目录回不同的源站时,可以使用天翼云高级回源功能。 []( 回源配置 私有Bucket回源 回源地址使用天翼云媒体存储【即对象存储(融合版)】并且Bucket为私有模式的场景。 私有Bucket回源 证书管理 在全站加速控制台上可以新增/查看/删除https证书,也可以替换已过期的证书。 []( HTTPS相关配置 HTTPS配置 在全站加速控制台上可以启用/停用域名的https开关,上传https证书。 []( HTTPS相关配置 国密HTTPS 天翼云全站加速产品支持SM2(椭圆曲线公钥密码算法)和SM3(杂凑算法)标准,提供更加安全的HTTPS传输协议(即国密HTTPS加密能力)。 []( HTTPS相关配置 HTTP2.0配置 HTTP/2也被称为HTTP 2.0,相对于HTTP 1.1新增了多路复用、压缩HTTP头、划分请求优先级和服务端推送等特性,解决了在HTTP 1.1中一直存在的问题,优化了请求性能,同时兼容了HTTP 1.1的语义。 []( HTTPS相关配置 强制跳转 通过配置强制跳转功能,将客户端到边缘节点的原请求方式强制重定向为HTTP或者HTTPS请求。天翼云全站加速产品支持配置HTTP和HTTPS强制跳转,适用场景: 1、已经配置了HTTPS证书的加速域名,可配置强制跳转,通过301或302重定向方式,将客户端到全站加速节点的HTTP请求强制跳转为HTTPS请求,HTTPS请求更安全。 2、对于安全性要求不高的业务应用,对应的加速域名可配置强制跳转,通过301或302重定向方式,将客户端到全站加速节点的HTTPS请求强制跳转为HTTP请求。 []( HTTPS相关配置 OCSP Stapling 启用OCSP Stapling功能后,OCSP信息查询的工作将由全站加速的服务器完成。全站加速服务器通过低频次查询,将查询结果缓存到服务器中(默认缓存时间60分钟)。当客户端向服务器发起TLS握手请求时,全站加速服务器将证书的OCSP信息和证书一起发送到客户端,供用户验证,无需用户向数字证书认证机构(CA)发送查询请求。极大地提高了TLS握手效率,节省了用户验证时间。 []( Stapling HTTPS相关配置 HSTS配置 开启了HSTS后,当您的域名在全站加速产品开启HTTPS安全加速时,在浏览器输入HTTP协议开头的URL链接,用户请求访问到全站加速节点上的时候,在配置了HTTP协议跳转HTTPS协议的情况,全站加速节点会将该HTTP请求301或302重定向到HTTPS,此时全站加速节点会响应一个强制HSTS的头给客户端,告诉客户端只能使用HTTPS协议访问全站加速节点,此后浏览器将直接使用HTTPS协议访问全站加速节点,不再需要HTTP协议强制跳转HTTPS协议了。 []( HTTPS相关配置 TLS协议版本 天翼云全站加速产品提供TLS协议版本控制功能,您可以按需对不同加速域名配置不同的TLS协议版本,低版本的TLS协议将提供对老版本浏览器的支持,但是协议的安全性相对更差一些,高版本的TLS协议将提供更高的安全性,但是对老版本浏览器的兼容性相对差一些。天翼云全站加速产品支持的TLS协议版本包括TLSv1.0、TLSv1.1、TLSv1.2、TLSv1.3。 []( HTTPS相关配置 HTTPS无私钥驻留加速 通常情况下,HTTPS协议的域名,如果需要在全站加速平台配置加速服务,需要将HTTPS公钥和私钥部署到全站加速平台。使用HTTPS无私钥驻留加速方案后,您只需要将公钥部署到全站加速平台,私钥可以由源站唯一保有,即可实现HTTPS业务的加速。 []( HTTPS相关配置 批量HTTPS证书配置 天翼云全站加速产品支持HTTPS加速服务,您可以通过控制台上传证书,并批量关联域名启用HTTPS加速服务,实现全网数据加密传输。 []( HTTPS相关配置 加密套件 介绍天翼云全站加速支持的加密套件及对应套件支持的最低版本的SSL/TLS协议。 加密套件 HTTPS相关配置 双向认证 双向认证,顾名思义,即客户端与服务器双方均需认证对方的身份,在确认对方身份后才可以建立HTTPS连接。在标准的HTTPS中,通常采用单向认证的方式,即服务器向客户端证明自己的身份以建立一个安全加密的通信连接;双向认证在服务器向客户端证明身份的基础上,还需要客户端也提供客户端证书,供服务器验证客户端的身份,客户端与服务器双方都验证通过对方的身份后,才建立HTTPS连接。 双向认证 缓存配置 缓存过期时间 缓存过期时间指源站资源在全站加速节点缓存的时长,达到预设时间,资源将会被全站加速节点标记为失效资源。如果客户端向全站加速节点请求的资源已经失效,全站加速节点会回源站获取最新资源并缓存到全站加速节点上,供其他请求使用。 全站加速产品支持按后缀名、目录、首页、全部文件、全路径文件类型进行缓存。您可以根据业务需求,按指定路径或文件名后缀配置静态资源的缓存过期时间。 []( 缓存配置 状态码过期时间 全站加速节点从源站获取资源时,源站会返回响应状态码,您可以在客户控制台上配置状态码过期时间,当客户端再次请求相同资源时,由全站加速节点直接响应状态码,不会触发回源,减轻源站压力。当状态码在全站加速节点上的存储时长超过设置的过期时间,缓存的状态码会失效,此时针对同一资源的请求需要回源。配置状态码过期时间主要适用于源站响应了异常状态码的情况下,例如4xx、5xx。正常情况下全站加速节点成功从源站获取到所请求的资源,即源站响应了2xx状态码时,会按照天翼云全站加速缓存规则及优先级进行缓存。如果源站无法迅速响应所有状态码(例如非2xx状态码),且不希望所有请求全部由源站响应,那么可以配置状态码过期时间,由全站加速节点直接响应状态码,减轻源站压力。 []( 缓存配置 状态码过期时间(源站优先) 如您希望在源站响应特殊状态码并携带相关缓存头的情况下,源站相关缓存头优先级更高,无相关缓存头时才按全站加速设置的过期时间生效,则可以配置状态码过期时间(源站优先)功能。 []( 缓存配置 缓存key设置 通过自定义缓存key,可以将原始URL形式不同但实际指向同一个文件的请求,缓存为同一份,从而提升缓存命中率,降低回源量。 []( 缓存配置 跨域资源共享 跨域资源共享,允许Web应用服务器进行跨域访问控制,实现跨域数据的安全传输。当客户的业务需要跨域共享或者访问资源时,客户可以通过自定义HTTP响应头来实现。 []( 头部修改 HTTP响应头 HTTP响应头是HTTP响应消息头的组成部分之一,可携带特定响应参数并传递给客户端。通过配置自定义HTTP响应头,当用户请求加速域名下的资源时,全站加速节点返回的响应消息会携带您配置的响应头,从而实现特定功能。常用场景包括:告知客户端全站加速节点响应文件的资源类型,例如添加响应头ContentType: text/html,告知客户端全站加速节点响应文件的格式是HTML格式。当用户请求全站加速节点上某个域名的资源时,可以在全站加速节点返回的响应消息中配置自定义响应头,以实现跨域访问。 []( 头部修改 回源HTTP请求头 当全站加速节点请求回源站拉取资源时,源站可获取到回源请求头中携带的信息。您可以通过该功能,改写用户回源请求中的HTTP Header信息,携带特定的参数信息给源站,实现特定业务需求。例如,通过XForwardFor头部携带真实客户端IP至源站。 []( 头部修改 回源HTTP响应头 如果您需要改写用户源站响应报文中的HTTP Header,可以通过配置回源HTTP响应头实现。可根据您的实际业务需求,选择添加、修改、删除回源HTTP响应头。 []( 文件处理 文件压缩 介绍Gzip和Brotli压缩算法及配置方式。 文件压缩 文件处理 图片处理 开通图片处理功能后,全站加速可以在回源节点上对客户原始图片做自适应WEBP、自动瘦身,或通过客户端携带的URL参数进行缩放、旋转、裁剪、格式转换等处理后进行分发,并缓存在全站加速节点,使得源站保留原图即可;免去源站对图片的各种处理,降低源站压力,节省源站存储空间,同时提升图片处理响应速度。 图片处理 高级配置 错误页面自定义 当页面访问出错时,客户端会显示默认错误页面,例如404 Not Found。默认的报错页面通常不美观,会带给用户不好的体验。为了帮助客户优化用户体验,全站加速节点支持当出现指定错误码的时候,能够让用户跳转到客户自定义页面的功能。 []( 高级配置 访问URL重定向 当客户源站的内容存放路径发生了变更,全站加速节点上的内容存放路径也发生了变更,但是用户请求URL里面包含的内容路径没有变更时,需要全站加速节点改写用户请求里面的内容路径。技术实现方式是通过响应302状态码重定向的方式,让客户端取302响应里面的Location的新URL,重新向全站加速节点发起访问,确保用户能获得正确的内容。 []( 访问控制 IP黑白名单 IP黑/白名单功能通过识别客户端IP来过滤用户请求,拦截特定IP的访问或者允许特定IP的访问,可以用来解决恶意IP盗刷、攻击等问题。 []( 访问控制 Referer防盗链 Referer防盗链,是基于HTTP请求头中Referer字段(例如,Referer黑白名单)来设置访问控制规则,实现对访客的身份识别和过滤,防止网站资源被非法盗用。配置Referer黑白名单后,全站加速会根据名单识别请求身份,允许或拒绝访问请求。允许访问请求,全站加速会返回资源链接;拒绝访问请求,全站加速会返回403响应码。 []( 访问控制 UA黑白名单 可以通过配置访问的UserAgent头部来对访客身份进行识别和过滤,拒绝非法访问。全站加速通过对用户 HTTP 请求头中的 UserAgent 进行规则判断,按需放行或拒绝用户访问。允许访问时,全站加速会返回资源链接;拒绝访问时,全站加速会返回403响应码。 []( 访问控制 URL黑白名单 URL黑白名单是网络安全管理中的一种重要机制,主要用于控制用户对特定资源的访问权限。 []( 访问控制 URL鉴权 为了防止站点资源被恶意下载或者非法盗用,避免产生不必要的带宽浪费,您可以在天翼云全站加速平台上配置URL鉴权功能。配置URL鉴权后,全站加速产品会对加密串及时间戳进行校验,从而有效地保护用户站点资源。 []( 访问控制 远程同步鉴权 可以通过配置远程同步鉴权功能,在全站加速节点收到用户请求后,将请求转发回提前设定的鉴权源站,在源站鉴权许可后,全站加速节点才给用户返回对应内容,从而实现用户鉴权规则由源站全权定义。 远程同步鉴权 访问控制 全网带宽控制 天翼云全网带宽控制功能可通过设置单个域名或多个域名的总带宽值来控制带宽总用量,避免因带宽突发带来更多的带宽费用。带宽控制功能支持全网边缘总带宽限制,支持分时段控制,您可以根据自身带宽需求选择对应的限制策略。带宽超出设置值后,可选择对请求进行限速、拒绝或者重定向操作。 []( 访问控制 有序回源 全站加速的有序回源功能是一种流量控制方法,用于大量请求并发回源时的排队管理。 []( 访问控制 单请求限速 单请求限速功能可以限制全站加速节点响应给用户的下行速率,从而减少域名的整体带宽,节省成本。 []( 访问控制 IP访问限频 IP访问限频功能可以限制单个用户IP在天翼云全站加速单台服务器上的请求频次,防御CC攻击,防止恶意用户盗刷。 []( 页面优化 html页面优化 置了页面优化功能后,全站加速产品会自动删除页面中的冗余内容,例如HTML页面、JavaScript和CSS中的注释内容和重复的空白符,从而达到缩小文件体积、提升文件分发效率。 []( 页面优化 html禁止操作 html禁止操作,支持在客户控制台自助进行html页面的禁止右键操作和禁止复制操作,以防止源站的源码泄露。 []( 视频相关 视频拖拉 视频点播网站或应用,通常都会提供视频拖拉能力,用户可以随意拖动播放器进度条到想要的位置。使用全站加速后,您可以通过配置视频拖拉功能,支持用户的视频拖拉请求。 视频拖拉 视频相关 视频试看 视频点播网站或应用,除免费视频外,通常还会有一些精品付费视频。为吸引用户观看,网站往往会允许用户免费试看一定时间的内容,例如60s或是更短时间。使用全站加速后,视频网站仍可通过全站加速节点来实现视频试看功能。 视频试看 视频相关 HLS标准加密改写 LS标准加密改写功能,是指全站加速节点回源获取到M3U8文件内容后,改写其中的
        来自:
        帮助文档
        全站加速
        产品介绍
        产品功能
        功能概览
      • 在线解密接口
        参数 参数类型 说明 示例 下级对象 statusCode String 返回码 取值范围:200 成功 200 error String 错误码 KMS0514 message String 调用结果信息 解密成功 returnObj Object 接口返回结果 returnObj
        来自:
        帮助文档
        密钥管理
        API参考
        API
        2022-11-03
        在线解密接口
      • 在线加密接口
        枚举参数 参数名 mode 枚举值 类型 说明 SM4/ECB/PKCS5Padding String 加密算法 SM4/ECB/PKCS7Padding String 加密算法 SM4/CBC/PKCS5Padding String 加密算法 SM4/CBC/PKCS7Padding String 加密算法 AES/ECB/PKCS7Padding String 加密算法 AES/ECB/PKCS5Padding String 加密算法 AES/CBC/PKCS5Padding String 加密算法 AES/CBC/PKCS7Padding String 加密算法 请求示例 请求url 无 请求头header { "regionId": "200000001852" } 请求体body { "cmkUuid": "6755f3bd9c9c40ff8b33b0a146234cbf", "plaintext": "U0dWc2JHOGdkMjl5MWVhOQ" } 响应示例 { "statusCode": "200", "error": null, "message": "加密数据成功", "returnObj": { "keyVersionId": "a40cb19092824221bc2bb929477fa059", "requestId": "f0c64b33d4664fd1b0bdac09471e73d8", "ciphertextBlob": "MDA2NE5qYzFOV1l6WW1RdE9XTTVZeTAwTUdabUxUaGlNek10WWpCaE1UUTJNak0wWTJKbUptRTBNR05pTVRrd0xUa3lPREl0TkRJeU1TMWlZekppTFdJNU1qazBOemRtWVRBMU9RPT1T0LaHfrsyJDttD1txwysZASIGX/Kzwz1mfb1yWmNprg", "cmkUuid": "6755f3bd9c9c40ff8b33b0a146234cbf", "iv": "bCSFYCOQJCNJwJh3K7kiOw" } }
        来自:
        帮助文档
        密钥管理
        API参考
        API
        2022-11-03
        在线加密接口
      • 在线加密接口(1)
        枚举值 类型 说明 SM4/ECB/PKCS5Padding String 加密算法 SM4/ECB/PKCS7Padding String 加密算法 SM4/CBC/PKCS5Padding String 加密算法 SM4/CBC/PKCS7Padding String 加密算法 AES/ECB/PKCS7Padding String 加密算法 AES/ECB/PKCS5Padding String 加密算法 AES/CBC/PKCS5Padding String 加密算法 AES/CBC/PKCS7Padding String 加密算法
        来自:
      • 在线加密
        接口功能介绍 密钥加密接口 接口约束 请保证账户余额大于0 URI POST /v1/keyCompute/encrypt 路径参数 无 Query参数 无 请求参数 请求头header参数 请参见请求消息头 请求体body参数 参数 是否必填 参数类型 说明 示例 下级对象 cmkUuid 是 String 密钥唯一标识id 474e569e8814474a948bdbcf6d853eff plaintext 是 String 待加密数据,且必须经过Base64编码后上传 U0dWc2JHOGdkMjl5MWVhOQ 响应参数 参数 参数类型 说明 示例 下级对象 code String 返回码,取值范围: 200:成功 400:参数缺失或错误 401:用户验证错误 404:操作目标不可用 500:系统内部错误 200 errorCode String 错误码 KMS.0514 msg String 调用结果信息 加密数据成功 data Object 接口返回结果 returnObj 表 returnObj 参数 参数类型 说明 示例 下级对象 cmkUuid String 密钥唯一标识id 474e569e8814474a948bdbcf6d853eff keyVersionId String 密钥版本id f2ffbff9940a41a4ba9afe1fd8f22792 ciphertextBlob String 加密结果,且经过Base64加密 DZhOWVmZDktM2QxNi00ODk0LWJkNGYtMWZjNDNmM2YyYWJmaaSl+TztSIMe43nbTH/Z1Wr4XfLftKhAciUmDQXuMRl4WTvKhxjMThjKy5nl
        来自:
        帮助文档
        密钥管理
        API参考(OpenAPI)
        API
        密钥管理接口
        密码运算
        在线加密
      • 推理应用概述
        推理框架 推理资源 推理任务 相关文档 vLLM GPU vLLM GPU单机推理 vLLM GPU vLLM GPU多机推理 vLLM GPU vLLM GPU单机PD分离 vLLM GPU vLLM GPU多机PD分离 vLLM NPU vLLM NPU单机推理 vLLM NPU vLLM NPU多机推理 vLLM NPU vLLM NPU单机PD分离 vLLM NPU vLLM NPU多机PD分离 MindIE NPU MindIE NPU单机推理 MindIE NPU MindIE NPU多机推理 MindIE NPU MindIE NPU单机PD分离 MindIE NPU MindIE NPU多机PD分离
        来自:
        帮助文档
        智算套件
        用户指南
        应用管理
        在线推理
        推理应用概述
      • 中国电信天翼云对象存储服务协议
        本节主要介绍OBS服务协议。 自2021年11月11日起,新版对象存储服务协议生效,详情请参见这里。 中国电信天翼对象存储系统服务协议 历史版本(2012年11月10日)
        来自:
        帮助文档
        对象存储 OBS
        相关协议
        中国电信天翼云对象存储服务协议
      • 创建集群
        响应示例 请求成功示例: { "statusCode": 200, "message": "success", "returnObj": { "orderNo": "20221018153152727265" } } 验签失败示例: { "statusCode": 500, "error": "EMR401000", "message": "OpenAPI认证失败", "returnObj": {} } 实名认证失败示例: { "statusCode": 500, "error": "EMR401009", "message": "账号未进行实名认证", "returnObj": {} } 非法操作示例: { "statusCode": 500, "error": "EMR401004", "message": "非法操作", "returnObj": {} } 请求参数类型错误示例: { "statusCode": 500, "error": "EMR401001", "message": "请求参数类型错误", "returnObj": "{"clusterName": "应为字符串"}" } 请求参数值无效示例1: { "statusCode": 500, "error": "EMR401002", "message": "请求参数值无效", "returnObj": "{"clusterName": "不能为空"}" } 请求参数值无效示例2: { "statusCode": 500, "error": "EMR401002", "message": "请求参数值无效", "returnObj": "{"clustertype": "集群类型不存在:xxx"}" } 规格不足示例: { "statusCode": 500, "error": "EMR401012", "message": "规格已售罄", "returnObj": {} } IP不足示例: { "statusCode": 500, "error": "EMR401013", "message": "子网下IP余量不足", "returnObj": {} } 状态码 请参考 状态码 错误码 请参考 错误码
        来自:
        帮助文档
        翼MapReduce
        API参考
        API
        2023-11-02
        创建集群
      • 元数据概览
        参数 是否必填 参数类型 说明 示例 下级对象 clusterId 是 String 集群id da595eb1d81503b323fdc01d9bf786b7 timestamp 是 Long 要查询的时间点,以 Unix 时间戳表示(单位:秒) 1700000000
        来自:
        帮助文档
        翼MapReduce
        API参考
        API
        2023-11-02
        元数据概览
      • ES集群规划、性能优化
        批量写入 使用批量 API 进行写入操作,以减少网络开销。在高吞吐量写入场景中,可以适度增加 Refresh 间隔,减少索引刷新操作,提高写入性能。示例如下: POST /myindex/doc/bulk { "index": {}} { "field1": "value1" } { "index": {}} { "field2": "value2" } 索引刷新 避免频繁的索引刷新,可以适当调整 Refresh 间隔以平衡写入和查询性能。示例如下: PUT /myindex/settings { "refreshinterval": "30s" } 查询优化 查询性能 使用查询DSL进行复杂查询,以充分利用 Elasticsearch 的强大功能。 使用索引别名和索引模板来优化查询,示例如下: GET /myindex/search { "query": { "bool": { "must": [ { "match": { "productname": "apple" }}, { "range": { "price": { "gte": 100 }}} ] } } } 分页查询 使用游标(Scroll)进行大数据量分页查询,避免深度分页带来的性能问题。示例如下: POST /myindex/search?scroll5m { "query": { "matchall": {}}, "size": 100 } 硬件和监控 硬件选择 选择高性能硬件,特别是快速的磁盘和足够的内存。 使用 SSD 硬盘来提升索引和查询性能。 监控和警报 设置监控指标,如集群健康、节点状态、资源使用等。 使用监控工具持续监测集群,并设置警报以便在出现问题时能及时响应。 安全性
        来自:
        帮助文档
        翼MapReduce
        最佳实践
        ES集群规划、性能优化
      • 扩容集群
        状态码 请参考 状态码 错误码 请参考 错误码
        来自:
        帮助文档
        翼MapReduce
        API参考
        API
        2023-11-02
        扩容集群
      • 退订集群
        参数 是否必填 参数类型 说明 示例 下级对象 clusterId 是 String 集群id 00c3a04292996955752f073c995a1cc6
        来自:
        帮助文档
        翼MapReduce
        API参考
        API
        2023-11-02
        退订集群
      • 元数据信息查询
        状态码 请参考 状态码 错误码 请参考 错误码
        来自:
        帮助文档
        翼MapReduce
        API参考
        API
        2023-11-02
        元数据信息查询
      • 使用Trino客户端
        本章节主要介绍使用Trino的操作指导。 操作场景 该任务指导用户使用Trino客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 使用Trino客户端 1. 执行如下命令启动客户端。 plaintext ./trinocliexecutable.jar server catalog hive user presto 2. 执行成功后的客户端界面。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        使用翼MR客户端
        各组件客户端使用实践
        使用Trino客户端
      • 查询集群节点组详情V2
        参数 参数类型 说明 示例 下级对象 statusCode Integer 状态码,成功:200,失败:500 200 message String 用来简述当前接口调用状态以及必要提示信息 请求成功 error String 错误码,请求成功时,不返回该字段 EMR400000 returnObj Object 返回结果
        来自:
        帮助文档
        翼MapReduce
        API参考
        API
        2023-11-02
        查询集群节点组详情V2
      • 根据集群id查询节点组信息V2
        状态码 请参考 状态码 错误码 请参考 错误码
        来自:
        帮助文档
        翼MapReduce
        API参考
        API
        2023-11-02
        根据集群id查询节点组信息V2
      • Kibana用户体验、性能优化
        本章节主要介绍Kibana用户体验、性能优化的最佳实践。 Kibana是一个用于可视化和分析ElasticSearch中数据的强大工具。为了最大化利用Kibana的功能,提高用户体验和数据洞察力,以下是Kibana的一些最佳实践。 1. 仪表盘设计 明确的目标 在创建仪表盘之前,明确您的目标和需求。确定您希望从数据中获得什么样的见解,以便针对性地设计可视化组件。比如假设您是一个电子商务平台的数据分析师,您想要创建一个仪表盘来监控商品销售情况。您的目标是找出最畅销的商品类别和购买趋势。 简洁和重点突出 避免过于拥挤的仪表盘,尽量保持简洁。突出显示关键指标和信息,避免分散用户的注意力。避免在同一个仪表盘中混杂过多的信息,以确保用户专注于关键指标。 2. 可视化 合适的图表类型 根据数据的性质选择合适的图表类型,例如线形图、柱状图、饼图等。确保图表类型能够最有效地呈现数据。比如为了展示商品销售趋势,您可以选择使用折线图。这可以清晰地显示出不同类别的销售额随时间的变化。 轴标签和标题 为图表添加清晰的轴标签和标题,以便用户理解数据的含义。标签应该简洁明了,避免过于技术性的术语。比如在折线图上添加横轴和纵轴标签,分别标明时间和销售额。为图表添加标题,比如“商品销售趋势”。 3. 搜索和过滤
        来自:
        帮助文档
        翼MapReduce
        最佳实践
        Kibana用户体验、性能优化
      • ZooKeeper扩容
        2、配置同步 1)点击配置同步,推送配置。 3、重启服务 1)重启FlinkHistoryServer服务,推荐滚动重启。 Kyuubi 1、修改配置 1)前往Manager页面,集群服务> Kyuubi集群> 配置管理> default配置组> 配置文件kyuubidefaults.conf > 配置项kyuubi.ha.addresses。 2)将新的ZK节点,添加到配置项kyuubi.ha.addresses中。 3)相同操作:同时修改client配置组的配置项。 2、配置同步 1)点击配置同步,推送配置。 3、重启服务 1)需要重启Kyuubi服务,推荐滚动重启。 HBase 1、修改配置 1)前往Manager页面,集群服务> HBase集群> 配置管理> default配置组> 配置文件hbasesite.xml > 配置项hbase.zookeeper.quorum。 2)将新的ZK节点,添加到配置项hbase.zookeeper.quorum中。 3)相同操作:同时修改client配置组的配置项。 2、配置同步 1)点击配置同步,推送配置。 3、重启服务 1)需要重启HBase所有服务,包含HMaster和HRegionServer,推荐滚动重启。 Kafka 警告:Kafka不建议重启,所以不建议修改ZK节点。 原因:Kafka每个节点都是有状态的,每个节点的主分区都不一样,重启会导致业务受影响。 1、修改配置 1)前往Manager页面,集群服务> Kafka集群> 配置管理> default配置组> 配置文件server.properties > 配置项zookeeper.connect。 2)将新的ZK节点,通过vs统一修改3个配置,添加到配置项zookeeper.connect中。 2、配置同步 1)点击配置同步,推送配置。 3、重启服务 1)需要重启Kafka所有服务。请谨慎进行Kafka集群的重启操作。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        服务配置修改建议
        Master扩容-服务配置修改建议
        ZooKeeper扩容
      • 开源组件端口列表
        配置参数 默认端口 当前配置端口 端口说明 dfs.namenode.httpaddress.x.x 9870 50070 namenode Web UI绑定端口 dfs.namenode.httpsaddress.x.x 9871 9871 namenode https绑定端口 dfs.namenode.rpcaddress.x.x 8020 54310 namenode响应client请求RPC绑定端口 dfs.namenode.servicerpcaddress.x.x 53310 namenode响应内部服务请求RPC绑定端口,例如datanode等server请求 com.sun.management.jmxremote.port 8006 namenode jmx端口 dfs.datanode.address 9866 1004 datanode 数据传输端口 dfs.datanode.http.address 9864 1006 datanode http webUI端口 dfs.datanode.ipc.address 9867 9867 datanode rpc响应端口 com.sun.management.jmxremote.port 8016 datanode jmx端口 dfs.datanode.https.address 9865 datanode https端口 dfs.journalnode.rpcaddress 8485 8485 journalnode rpc端口 dfs.journalnode.httpaddress 8480 8480 journalnode http端口 dfs.journalnode.httpsaddress 8481 8481 journalnode https端口 com.sun.management.jmxremote.port 8046 journalnode jmx端口 dfs.ha.zkfc.port 8019 8019 zkfc rpc端口 com.sun.management.jmxremote.port 8056 zkfc jmx端口 dfs.federation.router.rpcaddress 8888 55310 hdfs router 响应client请求 rpc处理端口 dfs.federation.router.adminaddress 8111 hdfs router 响应 admin请求 rpc处理端口 dfs.federation.router.httpaddress 50071 hdfs router http端口 dfs.federation.router.httpsaddress 50072 hdfs router https端口 com.sun.management.jmxremote.port 8106 hdfs router jxm端口
        来自:
        帮助文档
        翼MapReduce
        用户指南
        访问组件Web页面
        开源组件端口列表
      • 使用HDFS客户端
        本章节主要介绍使用HDFS的操作指导。 操作场景 该任务指导用户在运维场景或业务场景中使用HDFS客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 使用HDFS客户端 1. 安装客户端。 2. 登录安装客户端的节点。 3. 执行以下命令,切换到客户端安装目录,例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式,将实际的keytab文件路径替换以下命令中的/path/example.keytab,执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行HDFS Shell命令。例如: plaintext hdfs dfs ls /
        来自:
        帮助文档
        翼MapReduce
        用户指南
        使用翼MR客户端
        各组件客户端使用实践
        使用HDFS客户端
      • 1
      • ...
      • 69
      • 70
      • 71
      • 72
      • 73
      • ...
      • 86
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      青云志云端助力计划

      一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      出海产品促销专区

      爆款云主机低至2折,高性价比,不限新老速来抢购!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      弹性云主机 ECS

      物理机 DPS

      多活容灾服务 MDR

      镜像服务 IMS

      弹性高性能计算 E-HPC

      科研助手

      一站式智算服务平台

      智算一体机

      知识库问答

      推荐文档

      文档下载

      重置操作系统

      Client端Linux版本

      加入会议

      监控应用运行状态

      接口方法概述

      关闭短信验证

      修改自动备份策略

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 服务器安全卫士
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号