本章节主要介绍翼MR Manager的集群服务配置文件下载的操作。 操作步骤 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3. 单击“翼MR Manager”tab，单击“前往翼MR Manager”。 4. 进入到翼MR Manager以后，单击菜单“集群服务”，进入集群服务列表页面。 5. 选择指定集群服务，单击集群服务名称进入集群服务详情页面。 6. 单击“配置管理”tab。 7. 单击配置组，单击配置文件名称，页面右侧展示该配置的详细信息。 8. 单击“下载”，等待下载完成即可。如图所示：

本章节主要介绍翼MR Manager的实例的启动、停止、重启操作。 启动实例 操作步骤 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3. 单击“翼MR Manager”tab，单击“前往翼MR Manager”。 4. 进入到翼MR Manager以后，单击菜单“集群服务”，进入集群服务列表页面。 5. 选择指定集群服务，单击集群服务名称进入集群服务详情页面。 6. 单击“角色实例”tab。 7. 勾选需要操作角色实例前的复选框，单击“操作已选项 > 启动实例”。 8. 在弹窗中单击“确认”，进入到启动实例页面，展示当前集群服务支持启动的实例列表。如图所示： 9. 单击“下一步”，按照实例分组顺序进行实例启动，等待所有实例完成启动后即可。 停止实例 操作步骤 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3. 单击“翼MR Manager”tab，单击“前往翼MR Manager”。 4. 进入到翼MR Manager以后，单击菜单“集群服务”，进入集群服务列表页面。 5. 选择指定集群服务，单击集群服务名称进入集群服务详情页面。 6. 单击“角色实例”tab。 7. 勾选需要操作角色实例前的复选框。 8. 单击“操作已选项 > 停止实例”，弹出确认操作弹框。 9. 单击“确认”，进入到停止实例页面，展示当前集群服务支持停止的实例列表。 10. 单击“下一步”，按照实例分组顺序进行实例停止，等待所有实例完成停止后即可。 重启实例

本章节主要介绍如何使用翼MapReduce。 翼MR是一个在云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。翼MR提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。 翼MR使用简单，通过使用在集群中连接在一起的多台计算机，您可以运行各种任务，处理或者存储（PB级）巨量数据。翼MR的基本使用流程如下： 1. 上传程序和数据文件到对象存储服务（OBS）中，用户需要先将本地的程序和数据文件上传至OBS中。 2. 自定义创建集群，用户可以指定集群类型用于离线数据分析和流处理任务，指定集群中预置的弹性云服务器实例规格、实例数量、数据盘类型（普通IO、高 IO、超高 IO）、要安装的组件（Hadoop、Spark、HBase、Hive、Kafka、Storm等）。用户可以使用引导操作在集群启动前（或后）在指定的节点上执行脚本，安装其他第三方软件或修改集群运行环境等自定义操作。 3. 管理作业，翼MR为用户提供程序执行平台，程序由用户自身开发，翼MR负责程序的提交、执行和监控。 4. 管理集群，翼MR为用户提供企业级的大数据集群的统一管理平台，帮助用户快速掌握服务及主机的健康状态，通过图形化的指标监控及定制及时的获取系统的关键信息，根据实际业务的性能需求修改服务属性的配置，对集群、服务、角色实例等实现一键启停等操作。 5. 删除集群，如果作业执行结束后不需要集群，可以删除翼MR集群。

本章节主要介绍翼MR Manager中如何对主机执行健康检查操作。 健康检查 操作场景 对指定主机进行健康检查。 操作步骤 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3. 单击“翼MR Manager”tab，单击“前往翼MR Manager”。 4. 进入到翼MR Manager以后，单击菜单“主机”，进入主机列表页面。 5. 勾选需要操作主机前的复选框。 6. 单击“操作已选项>健康检查”，进行主机健康检查，并自动跳转到健康检查报告页面，如图所示： 7. 等待健康检查完成即可。 导出健康检查报告 操作场景 导出指定健康检查报告到本地。 操作步骤 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3. 单击“翼MR Manager”tab，单击“前往翼MR Manager”。 4. 进入到翼MR Manager以后，单击菜单“主机”，进入主机列表页面。 5. 单击“健康检查报告”，选择要导出的报告，点击“导出报告”即可，如图所示： 定期健康检查

协议 端口 类型 目的地址 说明 TCP 80 IPv4 100.125.0.0/16 用于从OBS桶下载Agent包到ECS或BMS中、获取ECS或BMS的元数据信息与鉴权信息。 TCP、UDP 53 IPv4 100.125.0.0/16 用于DNS解析域名，下载Agent时解析OBS地址、发送监控数据时解析云监控服务Endpoint地址。 TCP 443 IPv4 100.125.0.0/16 采集监控数据到云监控服务端。

本节主要介绍网络及安全问题 数据复制服务有哪些安全保障措施 网络 使用安全组确保访问源为可信的。 使用SSL通道，确保数据传输加密。 如何处理迁移过程中出现的网络中断 迁移过程中如果出现网络中断，可先观察任务状态，当如下状态的迁移任务出现失败时，可在任务列表上单击“续传”，进行任务续传。 全量迁移 增量迁移 如何通过设置VPC安全组，允许本云VPC访问外部弹性IP 默认情况下，基于安全的考虑，本云VPC与外部网络是隔离的，VPC内是无法访问外部的弹性IP，如其他云数据库的弹性IP、云下数据库的弹性IP等。但数据库迁移场景需要确保本云VPC内的迁移实例或者目标数据库可连通外部的弹性IP，从而实现数据库迁移。 为此，您需要在安全组里设置一个出口规则，出口规则控制的是本云VPC可以访问哪些外部的弹性IP和端口范围，安全组的出入口规则一般需要满足“严进宽出”的要求。 如何处理迁移实例和数据库网络连接异常 数据迁移前请确保完成网络准备和安全规则设置。如果连接异常，请按照本节方法排查网络配置是否正确。 本节将以MySQL到RDS for MySQL的迁移为示例，从三种迁移场景（跨云数据库实时迁移、本地数据库实时迁移、ECS自建数据库实时迁移）进行说明。 跨云数据库实时迁移 1. 网络准备。 源数据库需要开放公网访问。 源数据库的网络设置： 源数据库MySQL实例需要开放外网域名的访问。 具体的操作及注意事项可以参考源数据库所在云提供的相关指导。 目标数据库的网络设置： 目标数据库默认与DRS迁移实例处在同一个VPC内，网络是互通的，不需要进行任何设置。 2. 安全规则准备。 源数据库的安全规则设置： 源数据库MySQL实例需要将目标端DRS迁移实例的弹性公网IP添加到其网络白名单中，确保源数据库MySQL实例可以与上述弹性公网IP连通。 在设置网络白名单之前，需要先获取目标端DRS迁移实例的弹性公网IP，具体方法如下：DRS迁移实例创建成功后，可在“源库及目标库”页面获取DRS迁移实例的弹性公网IP。 以上讲述的是精细配置白名单的方法，还有一种简单设置白名单的方法， 在安全允许的情况下 ，可以将源数据库MySQL实例的网络白名单设置为0.0.0.0/0，代表允许任何IP地址访问该实例。 上述的网络白名单是为了进行数据迁移设置的，迁移结束后可以删除。 目标数据库安全规则设置： 目标数据库默认与DRS迁移实例处在同一个VPC，网络是互通的，DRS可以直接写入数据到目标数据库，不需要进行任何设置。 本地数据库实时迁移 3. 网络准备： 源数据库的网络设置： 本地MySQL数据库实时迁移至本云云数据库 RDS for MySQL的场景，一般可以使用VPN网络和公网网络两种方式进行迁移，您可以根据实际情况为本地MySQL数据库开放公网访问或建立VPN访问。一般推荐使用公网网络进行迁移，该方式下的数据迁移过程较为方便和经济。 目标数据库的网络设置 ： 若通过VPN访问，请先开通VPN服务，确保源数据库MySQL和目标端本云云数据库 RDS for MySQL的网络互通。 若通过公网网络访问，本云云数据库 RDS for MySQL实例不需要进行任何设置。 4. 安全规则准备： a. 源数据库的安全规则设置： 若通过公网网络进行迁移，源数据库MySQL需要将DRS迁移实例的弹性公网IP添加到其网络白名单内，使源数据库与本云的网络互通。在设置网络白名单之前，需要获取DRS迁移实例的弹性公网IP，具体方法如下： DRS迁移实例创建成功后，可在“源库及目标库”页面获取DRS迁移实例的弹性公网IP。 若通过VPN网络进行迁移，源数据库MySQL需要将DRS迁移实例的私有IP添加到其网络白名单内，使源数据库与本云的网络互通。DRS迁移实例创建成功后，可在“源库及目标库”页面获取DRS迁移实例的私有IP。 以上白名单是为了进行迁移针对性设置的，迁移结束后可以删除。 b. 目标数据库安全规则设置： 目标数据库默认与DRS迁移实例处在同一个VPC，网络是互通的，DRS可以直接写入数据到目标数据库，不需要进行任何设置。 ECS自建数据库实时迁移 5. 网络准备： 源数据库所在的region要和目标端本云云数据库 RDS for MySQL实例所在的region保持一致。 源数据库可以与目标端本云云数据库 RDS for MySQL实例在同一个VPC，也可以不在同一个VPC。 当源库和目标库处于同一个VPC时，网络默认是互通的。 当不在同一个VPC的时候，要求源数据库实例和目标端本云云数据库 RDS for MySQL实例所处的子网处于不同网段，此时需要通过建立对等连接实现网络互通。 6. 安全规则准备： 同一VPC场景下，默认网络是连通的，不需要单独设置安全组。 不同VPC场景下，通过建立对等连接就可以实现网络互通，不需要单独设置安全组。 排查iptables设置 以源数据库为本云ECS自建数据库为例，如果在上述的操作后，仍无法连通，此时需要额外排查iptables设置，因为HOSTGUARD服务在DRS发起频繁连接请求失败时，会将请求IP加入黑名单中。 7. 登录弹性云主机。 8. 执行以下命令，排查是否有DENY相关的项目包含DRS实例的IP，一般项目名称为INHIDSMYSQLDDENYDROP 。 iptables list 9. 如果存在，执行以下命令，查询iptables入方向规则列表，获取具体规则编号（linenumbers）。 iptables L INPUT linenumbers 10. 执行以下命令，删除DRS实例的IP相关的入方向规则（注意：必须从后往前删，不然linenumbers会更新，需要重新查询）。 iptables D 规则项目名 具体规则编号 11. 删除相关iptables规则后重新进行测试连接即可。

本文介绍了云防火墙产品的退订规则。 退订规则说明 客户（天翼云您）可根据需要，在符合天翼云退订规则的前提下，灵活退订配额。目前退订包含七天无理由全额退订和非七天无理由退订以及其他退订。 七天无理由全额退订 新购配额（不包含进行了续订等操作的资源）在满足以下全部条件的前提下，享受七天无理由全额退订： 在资源开通的7天内发起退订； 发起退订操作的账号（“退订账号”）当年的七天无理由全额退订次数不超过3次（每账号每自然年享有3次七天无理由全额退订次数，从每年的1月1日开始计算）； 同一您累计使用的七天无理由全额退订次数不超过24次。其中，同一您是指：根据不同天翼云账号在注册、登录、使用中的关联信息，关联信息相同天翼云判断其实际为同一您。关联信息举例：同一名称、同一邮箱、同一负责人证件、同一手机号、同一设备、同一IP地址等（包括已注销的账号）。客户同意天翼云使用上述信息核查同一您情况。 成套资源退订属于退订一个资源实例，记为1次退订。 注意 尽管有上述规则，客户不得利用退订规则频繁订购并退订服务，恶意占用天翼云及其他用户资源。如天翼云有合理理由怀疑客户存在频繁退订恶意占用天翼云及其他用户资源的，则天翼云有权取消该客户七天无理由全额退订的权利，并根据《中国电信天翼云用户协议》及网站相关规则和相关服务协议约定，采取相应措施直至终止服务，并追究客户的违约责任。

本章节主要介绍节点数据血缘的配置数据血缘。 在DataArts Studio平台，自动分析血缘是通过在数据开发模块中配置数据处理迁移类型的节点产生的，当前支持采集节点静态配置产生的血缘和部分节点实例上的血缘。详情请参见下方 自动分析血缘。 另外，DataArts Studio平台还支持手动配置血缘方式，当用户手动配置血缘时，自动分析血缘将不生效。详情请参见下方 手动配置血缘。 自动分析血缘 自动分析血缘是通过在数据开发模块中配置数据处理迁移类型的节点产生的，当作业中包含如下节点时，系统支持自动解析血缘。 SQL类型节点 DataArts Studio目前支持对DLI SQL、DWS SQL和MRS Hive SQL节点的血缘解析，可以支持多SQL解析及列级血缘解析，当语句中有临时表时，会自动在数据目录中创建相关的临时表实体。 − DLI SQL 支持解析DLI中表与表之间数据插入产生的血缘。 支持通过建表语句产生的OBS文件到DLI表之间的血缘。 − DWS SQL 支持Create table like/as等DDL操作产生的DWS表之间的血缘。 支持Insert into等DML操作产生的DWS表之间的血缘。 − MRS Hive SQL 支持Create table like/as等DDL操作产生的MRS表之间的血缘。 支持Insert into/overwrite等DML操作产生的MRS表之间的血缘。 数据集成类型节点 目前支持对CDM Job节点、ETL Job节点和OBS Manager节点的血缘解析。 − CDM Job 支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之间表文件迁移所产生的血缘。 − ETL Job 支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。 − OBS Manager 支持OBS之间目录和文件复制迁移产生的血缘。 说明 当前血缘解析能力，单条sql语句不支持sql中含有分号的场景。

本章节主要介绍翼MR Manager的查看配置详情的操作。 操作场景 用户在执行配置同步后，用户需要查看不同版本配置文件的详细信息。 操作步骤 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3. 单击“翼MR Manager”tab，单击“前往翼MR Manager”。 4. 进入到翼MR Manager以后，单击菜单“运维与配置 > 配置历史”。 5. 查询条件选择指定集群服务、选择指定配置组、配置文件。 6. 选择要查看的版本，单击“详情”按钮，出现该版本配置文件的详情弹框。如图所示：

本章节主要介绍翼MR Manager的集群服务大屏的查看操作。 操作步骤 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3. 单击“翼MR Manager”tab，单击“前往翼MR Manager”。 4. 进入到翼MR Manager以后，单击菜单“集群服务”，进入集群服务列表页面。 5. 选择指定集群服务，单击集群服务名称进入集群服务详情页面。 6. 单击“集群大屏”tab，即可查看该集群服务的监控大屏。 7. 默认展示最新3小时的监控数据，可通过右上角时间选框，选择查看时间段。如图所示：

本文为您介绍如何对已经开启的云搜索服务OpenSearch实例进行备份。 天翼云云搜索服务支持使用对象存储保留实例在指定时间的快照信息 约束限制 备份管理功能上线前创建的实例无此功能。 实例快照会导致CPU、磁盘IO上升等影响，建议在业务低峰期进行操作。 实例异常时，不可创建快照，仅能查看已创建的快照，恢复时请确保目标实例状态正常。 手动快照和自动快照不可同时进行。 前提条件 1. 快照功能依赖天翼云对象存储服务（ZOS），请确保您已开通与云搜索服务实例同资源池的对象存储服务，并创建存储桶。存储快照会产生费用，具体收费请参见对象存储计费说明。 2. 已获取自身天翼云账号的AK/SK。通过“账号中心>安全设置>用户AccessKey”中查看您的AccessKey、SecurityKey信息。如果忘记SecurityKey请工单联系客服重置。 创建及关闭自动备份 1. 登录云搜索服务控制台，进入实例管理列表页，选择需要创建备份的实例，进入实例详情页。 2. 在备份管理页面，点击开关开启备份能力，根据页面提示输入您天翼云的AK/SK，如果验证通过，即可点击下一步进行备份功能开通。 3. 开通成功进入快照列表页面，点击“自动备份设置”，在弹出的弹层上选择快照目标存储的存储桶，设置备份周期和备份对象，并选择备份期望的保留时间，最长可以保留30天。 4. 选择备份对象是索引时，需要填写备份的索引名称，支持使用“”匹配多个索引，例如“index”表示备份名称前缀时index的所有索引数据。您可通过“索引管理”功能先行查看实例内的索引名称。 5. 如您需要修改自动快照的创建规则，再次点击“自动创建备份”按钮进行修改，修改后立即生效，按照新设定的规则生成、删除相应快照，已生成部分的存量快照清理时长按原规则执行。 6. 如您不再需要自动备份，则可在快照列表页点击关闭自动备份，并在弹出的确认弹窗中选择是否保留快照信息，如不保留，则系统会自动删除从本次开启至本次结束期间自动备份产生的所有快照信息，如果选择保留，则本次开启至本次结束期间的快照信息得以保留，再次开启时将不再由系统进行删除，您可根据需要，手动在控制台进行删除。 7. 关闭自动备份期间快照自动清理不会执行。

本章节主要介绍翼MapReduce集群使用规则。 当前，翼MR集群中的Hive组件，支持Hive on Tez，暂不支持Hive on Kudu模式。 翼MR集群开通后，默认支持Hive on MR模式。客户可以在开通翼MR集群后，通过进入翼MR Manager管控平台，在Hive服务的配置管理中，修改相关配置参数，并重启Hive服务，实现Hive on Spark切换和生效。

本章节主要介绍如何配置集群服务参数。 用户可以根据实际业务场景，在翼MapReduce（简称：翼MR）中快速查看和修改集群服务默认的配置。 修改集群服务配置操作步骤 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3. 单击“翼MR Manager”tab，单击“前往翼MR Manager”。 4. 进入到翼MR Manager操作界面，单击“集群服务”菜单。 5. 选择指定集群服务，单击“集群服务”进入到集群服务详情页面。 6. 单击“配置管理”tab，选择要修改的配置文件，修改后，点击右下角“保存更改”按钮。 7. 单击“同步”按钮，对变更的配置文件进行同步。 8. 配置同步完成后，再次进入到该集群服务的详情页面。 9. 单击“运维操作”，单击“滚动重启集群”对该集群服务重启后，修改后的配置即可配置生效。

本章节主要介绍翼MapReduce服务的元数据功能。 当创建翼MR集群时选择部署Hive和Ranger组件时，翼MR提供多种元数据存储方式，您可以根据自身需要进行选择： 本地元数据：元数据存储于集群内的本地GaussDB中，当集群删除时元数据同时被删除，如需保存元数据，需提前前往数据库手动保存元数据。 数据连接：可选择关联与当前集群同一虚拟私有云和子网的RDS服务中的PostgresDB或MySQL数据库，元数据将存储于关联的数据库中，不会随当前集群的删除而删除，多个翼MR集群可共享同一份元数据。 说明 Hive组件可选元数据存储方式功能在翼MR 1.9.x及之后版本支持。 Ranger组件可选元数据存储方式功能目前仅在翼MR 1.9.x版本支持关联RDS服务中的MySQL数据库。

计费项 含义 适用的计费模式 计费周期 价格 公网流出流量 数据通过互联网从媒体存储传输到客户端产生的流出流量。 根据存储类型的不同，区分标准型公网流出流量、低频型公网流出流量。 按需 按小时计费 标准型：0.5元/GB 低频型：0.4元/GB 内网流出流量 数据通过内网从媒体存储传输到客户端产生的流出流量。 免费 公网流入流量 数据通过互联网上传到媒体存储所产生的流入流量。 免费 内网流入流量 数据通过内网上传到媒体存储所产生的流入流量。 免费 CDN回源流出流量 数据从媒体存储传输到天翼云CDN所产生的回源流量。 温馨提示：如您使用天翼云CDN，需要在源站配置中，选择【媒体存储源站】，此配置下产生的回源流量会按照CDN回源流量进行计费。如您选择【IP或域名】，产生的回源流量将按照公网下行流量计费。 按需 按小时计费 0.15元/GB

本章节介绍如何通过云备份为云主机、云硬盘和SFS Turbo备份等提供备份保护。 流程如图所示： 步骤1：注册天翼云，为账户充值等，请参见注册天翼云账号章节。 步骤2：针对不同的保护对象，在备份前需要创建不同类型的备份存储库，用于存放备份，请参见创建存储库章节： 创建云主机备份存储库 创建云硬盘备份存储库 创建SFS Turbo备份存储库 步骤3：如果购买存储库时未绑定资源，还需要将资源绑定至存储库，请参见绑定资源。 步骤4：完成绑定资源后，即可对资源进行备份，产生的备份将存放至对应的存储库中，请参见创建备份： 创建云主机备份 创建云硬盘备份 创建SFS Turbo备份 步骤5：成功创建备份后，当资源数据因病毒、误删除导致数据丢失时，可以使用备份恢复资源的数据，请参见操作指导章节的数据恢复： 使用云主机备份恢复数据 使用云硬盘备份恢复数据

项目 项目用于将资源（计算资源、存储资源和网络资源等）进行分组和隔离。项目可以是一个部门或者一个项目组。一个账户中可以创建多个项目。 对于内网DNS服务，内网域名和反向解析属于区域级别的资源。因此，系统会基于项目实现内网域名、反向解析资源的隔离和管理。在创建、查询、设置内网域名和反向解析前，用户需先指定区域和项目，然后在指定项目下执行相关操作。

本文介绍了 canal解析Binlog报错的解决方法。 场景描述 canal解析Binlog出现错误，导致拉取Binlog中断。 原因分析 检查MySQL的参数“binlogrowsquerylogevents”的值是否设置为1 或 ON 。 该版本使用canal只能支持ROW格式的Binlog增量订阅。 如果关系数据库MySQL版实例的参数“binlogrowsquerylogevents”值设置为1 或ON时，则会在Binlog中产生Rowsquery类型的event，此类event非ROW格式，一些场景下，会导致canal出现blank topic问题，引发Binlog解析失败。 解决方案 将MySQL的参数“binlogrowsquerylogevents”的值修改为 OFF ，重启中断的canal任务。

本节介绍了备份恢复相关问题与处理方法。 mysqldump导数据报错权限不足 场景描述 mysqldump使用指定用户导出数据库数据时，报错：'Access denied; you need (at least one of) the PROCESS privilege(s) 原因分析 mysqldump使用指定用户导出数据时，需要赋予PROCESS权限。 解决方案 使用管理员帐户给相应用户授予PROCESS权限。 GRANT SELECT，PROCESS ON . TO ‘dumpuser’@’%’; FLUSH PRIVILEGES; 使用mysqlbinlog工具获取binlog 本节介绍了获取binlog方法。 本文以从弹性云主机ECS上拉取为例，其他环境下方法类似。 1. 在ECS上安装MySQL客户端，详情请参考安装MySQL客户端。 说明 TaurusDB兼容社区MySQL 8.0及以上版本，请勿安装8.0以下版本的版本的客户端。 2. 执行命令，下载binlog文件。 mysqlbinlog hxxx uxxx Pxxx pxxx binlog.xxxx readfromremoteserver mysqlbinlog的常用参数： h：数据库host。 u：用户名。 P：端口号。 p：密码。 startposition：表示从指定的起始位置开始解析。 startdatetime：表示从指定的时间开始解析。 stopposition：表示解析到指定的位置。 stopdatetime：表示解析到指定的时间。 skipgtids：跳过打印gtidlogevent。 shortform：表示只显示statements。 resultfile：将binlog解析生成sql文件。 readfromremoteserver：远程下载binlog(用于mysqlbinlog与数据库服务端不再同一台机器的情况)。 canal解析binlog报错

本章节主要介绍翼MapReduce集群版本适配的主机操作系统。 翼MR集群版本与主机操作系统对应的关系如下表： 翼MR集群版本 X86计算 翼MR2.16.0 CtyunOs 2.0.1

本文为您介绍天翼云云搜索服务的跨集群复制能力及使用方法。 功能简介 跨集群复制（CrossCluster Replication, CCR）是搜索引擎的一项重要功能，旨在实现不同集群间的实时数据同步和复制。这一功能对于构建全球分布式系统、提高数据高可用性、支持灾备恢复、以及优化跨地域数据访问具有显著意义。 天翼云云搜索服务在OpenSearch和Elasticsearch都实现了跨集群复制功能。 核心原理 跨集群复制通过在不同的搜索集群之间建立主从索引关系来实现数据同步。一个集群中的索引被设为主索引（Leader Index），负责处理数据的写入操作。其他集群中的从索引（Follower Index）则持续地从主索引中拉取数据更新，确保各个集群的数据保持一致。 这种主从架构确保了写入操作的集中管理，减少了数据冲突的风险，并维护了数据的一致性。 应用场景与优势 分布式系统 在更大范围内部署应用时，CCR 允许数据在不同地理位置的集群之间同步。通过在用户所在地附近的集群中设置从索引，可以显著降低访问延迟，提高查询性能。例如，上海的主集群可以通过 CCR 将数据复制到北京的从集群，从而优化这些地区用户的体验。 灾备恢复 CCR 是构建高可用性和灾备系统的关键。主集群若发生故障，其他地理位置的从集群可以迅速接管，保障业务连续性。这种多集群架构能够有效防范单点故障，提高系统的可靠性。

Q：如何选择适合我的域名？ A：您可以从以下4个方面构思： 单位名称的中英文缩写 企业的产品注册商标 与企业广告语一致的中英文关键词 比较有趣的名字，如： hello，cool，yes等等 域名命名原则 a) 容易记这是最重要的原则 b) 要同你的商业有直接关系 c) 长度要短 d) 正确拼写英文单词或拼音 e) 用你的商标或企业名称 f) 注册.com下的域名 g) 不要侵犯人家的商标 Q：域名注册可以实时完成吗？ A：应国家相关政策，域名注册前需要先完成实名制审核后才可以完成注册，域名注册前要现在后台完成实名制模板创建，创建模板后提交有关部门审核，审核时间大概需要13天。模板创建成功后，注册域名前先查询，若是未注册的域名，选择审核通过的模板后注册可以实时完成，先到先得，注册后其他人无法注册。域名注册成功后，还要通过实名制审核、命名审核，审核通过后才可使用。否则域名注册成功后是不可使用的状态，当然其他人也无法注册。 Q：域名的所有权是如何界定的？ A：在中国境内，域名注册成功后要进行实名制登记。可以是个人、企业、机构等等主体。实名制认证完成后，即认为是域名的所有人，拥有域名所有权。 Q：域名有什么用？ A：域名是互联网的基础寻址方式，打开任何互联网内容都需要用域名来进入引导，域名注册成功后要做相应的解析，才能在实现寻址功能。 Q：域名需要实名认证吗？ A：根据2017年颁布的《互联网域名管理办法》规定，域名注册后必须实名制才可以使用，实名制认证是中国地区本着网络安全和用户安全设立的规则。中国地区的注册局、注册商、代理商以及用户都要遵循实名制认证的规定。在中国以外的注册商注册域名，是不强制要求实名制的。 实名制认证需要用户提交跟持有人一致的证件，系统自动审核真实性和是否存在。核验成功后，域名的状态会置为OK，即可以正常解析使用。否则域名虽然能注册成功，但域名无法做解析。 Q：同一个域名可以注册多个扩展名吗？ A：可以，同一个域名注册多个扩展名，例如www.公司名.net和www.公司名.com，可用来确保公司品牌的唯一性，并保证其不被他人抢注。

自定义策略 如果系统策略无法满足授权要求，管理员可以根据各服务支持的权限，创建自定义策略，并通过给用户组授予自定义策略来进行精细的访问控制，自定义策略是对系统策略的扩展和补充。您可以通过可视化和JSON视图完成自定义策略的配置。 委托 委托根据委托对象的不同，分为委托其他天翼云帐号和委托其他云服务。 委托其他天翼云帐号：通过委托功能，您可以将自己帐号中的资源操作权限委托给其他天翼云帐号，被委托的帐号可以根据权限代替您进行资源运维和管理工作。 委托其他云服务：由于天翼云各服务之间存在业务交互关系，一些云服务需要与其他云服务协同工作，在使用时会需要您创建云服务委托，将操作权限委托给该服务，让该服务以您的身份使用其他云服务，代替您进行一些资源运维的自动化工作。 身份凭证 身份凭证是识别用户身份的依据，您通过控制台或者API访问天翼云时，需要使用身份凭证来进行系统的认证鉴权。身份凭证包括密码和访问密钥，您可以在IAM中管理自己以及帐号中IAM用户的身份凭证。 密码 常见的身份凭证，密码可以用来登录控制台。您不能在IAM中管理自己账号的密码，请在天翼云网门户“个人中心”修改自己的密码。

本章节主要介绍 通过数据地图查看数据血缘关系的配置数据血缘。 在DataArts Studio平台，自动分析血缘是通过在数据开发模块中配置数据处理迁移类型的节点产生的，当前支持采集节点静态配置产生的血缘和部分节点实例上的血缘。详情请参见下方 自动分析血缘。 另外，DataArts Studio平台还支持手动配置血缘方式，当用户手动配置血缘时，自动分析血缘将不生效。详情请参见下方 手动配置血缘。 自动分析血缘 自动分析血缘是通过在数据开发模块中配置数据处理迁移类型的节点产生的，当作业中包含如下节点时，系统支持自动解析血缘。 SQL类型节点 DataArts Studio目前支持对DLI SQL、DWS SQL和MRS Hive SQL节点的血缘解析，可以支持多SQL解析及列级血缘解析，当语句中有临时表时，会自动在数据目录中创建相关的临时表实体。 DLI SQL 支持解析DLI中表与表之间数据插入产生的血缘。 支持通过建表语句产生的OBS文件到DLI表之间的血缘。 DWS SQL 支持Create table like/as等DDL操作产生的DWS表之间的血缘。 支持Insert into等DML操作产生的DWS表之间的血缘。 MRS Hive SQL 支持Create table like/as等DDL操作产生的MRS表之间的血缘。 支持Insert into/overwrite等DML操作产生的MRS表之间的血缘。 数据集成类型节点 目前支持对CDM Job节点、ETL Job节点和OBS Manager节点的血缘解析。 CDM Job 支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之间表文件迁移所产生的血缘。 ETL Job 支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。 OBS Manager 支持OBS之间目录和文件复制迁移产生的血缘。 说明 当前血缘解析能力，单条sql语句不支持sql中含有分号的场景。

本章节主要介绍翼MapReduce集群使用规则。 翼MR集群内节点上的/var/log目录中，存放了操作系统的相关操作、安全等关键性日志数据以及翼MR集群各个部署组件实例的应用和审计日志，以方便客户对云主机的系统问题以及翼MR组件集群进行定位和安全审计。 针对上述的系统日志文件，不建议客户进行清理，该操作属于高危操作，易引发弹性云主机的故障不可用问题。 针对上述的翼MR集群应用和审计日志，建议客户基于必要性考虑，确认是否需要清理。如果需要清理，优先考虑将相关历史久远的日志执行删除操作。

本章节主要介绍翼MR Manager的重新同步的操作。 操作场景 支持查看最新版本的配置状态。 操作步骤 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3. 单击“翼MR Manager”tab，单击“前往翼MR Manager”。 4. 进入到翼MR Manager以后，单击菜单“运维与配置 > 配置历史”。 5. 查询条件选择指定集群服务、选择指定配置组、配置文件。 6. 单击“配置状态”按钮，出现配置状态弹框。 7. 勾选需要操作主机前的复选框。 8. 单击“操作已选项 > 重新同步”，即可支持配置同步操作。如图所示：

本章节主要介绍翼MR Manager的新增配置的操作。 操作场景 用户可以根据不同的分组标准，对集群服务中的主机进行分组，一个配置分组下的主机共享一套配置。 操作步骤 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3. 单击“翼MR Manager”tab，单击“前往翼MR Manager”。 4. 进入到翼MR Manager以后，单击菜单“运维与配置 > 配置管理”。 5. 查询条件选择指定集群服务，查询指定集群配置信息，如图所示： 6. 新增配置操作，同集群服务新增配置。

本章节主要介绍翼MapReduce服务的产品优势。 翼MapReduce（简称：“翼MR”）服务，历经集团和云公司的大规模集群和业务打磨，提供全年多级用户SLA保障。 翼MR具有如下优势： 高安全 翼MR服务拥有企业级的大数据多租户权限管理能力，拥有企业级的大数据安全管理特性；使用Kerberos和Ranger安全技术实现全组件的认证和授权；支持库、表、字段级数据权限管控。 优开源 基于Hadoop3.3.3等开源最新组件，保证版本性能的同时，优化了底层资源占用，对任务和引擎进行定制化管控。 高可靠 完成对开源组件100+次的代码及配置优化，实现高SLA；支持节点组采用反亲和技术，虚拟机分布在不同物理机上，以保证服务高可用。 易运维 翼MR提供可视化的大数据集群运维管理平台，全链路可视化操作降低运维门槛，助力实现90%日常运维场景便捷操作，提升运维效率。 低成本 翼MR集群基于多样化的云基础设施，提供了丰富的计算、存储设施的选择，可以用时再创建、用时再扩容，用完就销毁，确保成本最优。

本章节主要介绍翼MR Manager中如何对已部署的集群服务执行健康检查操作。 健康检查 操作场景 对集群服务进行健康检查。 操作步骤 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3. 单击“翼MR Manager”tab，单击“前往翼MR Manager”。 4. 进入到翼MR Manager以后，单击菜单“集群服务”，进入集群服务列表页面。 5. 单击“更多操作>健康检查”，进行集群服务健康检查，并自动跳转到健康检查报告页面，如图所示： 6. 等待健康检查完成即可。 注意 支持以下组件类型的集群服务进行健康检查：HBase、HDFS、Hive、Kafka、Yarn、Zookeeper、Spark。 导出健康检查报告 操作场景 导出指定健康检查报告到本地。 操作步骤 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3. 单击“翼MR Manager”tab，单击“前往翼MR Manager”。 4. 进入到翼MR Manager以后，单击菜单“集群服务”，进入集群服务列表页面。 5. 单击“健康检查报告”，选择要导出的报告，点击“导出报告”即可，如图所示： 定期健康检查

本文通过CDN加速业务实例，详细介绍业务接入的基本流程，合适的配置方案建议，消除客户业务创建困惑，帮助客户以更快的速度获得更优的加速体验。 背景信息 对于首次使用CDN加速的用户，如希望初始配置就获得较优的加速效果，可参照本实践案例，通过服务开通、域名配置、业务验收、CNAME切量等步骤，实现业务快速接入。 前提说明 本实例，仅针对只有静态内容的加速场景，如文字，图片，视频等静态可缓存内容的加速。如相同业务中不止静态内容，相同域名下同时有动态内容的场景，请参考全站加速的相关介绍。 业务场景 加速域名：ctyun.cn。 加速内容：文字和图片为主，包含少量点播视频。 加速区域：仅中国内地，即该网站的用户都集中在中国内地。 业务要求：客户自己提供源站，对传输安全性要求高，因此推荐客户使用https安全传输协议。 操作流程 步骤一： 在创建域名之前，需要先通过天翼云官网进行注册和实名制认证、开通CDN加速服务。详情请见：产品开通。 步骤二： CDN服务开通后，通过CDN控制台进行创建域名。登录控制台的步骤，详情详见：进入客户控制台。 步骤三： 在CDN控制台上，添加域名并配置。详情请见：添加加速域名。域名创建成功的标志是，在域名列表中，可以查到新建域名，以及CNAME地址。 为获得更优的加速效果，建议如下配置方案： 场景 描述 相关说明文档 指定CDN回源请求访问到源站上的具体站点 1.源站是域名时，例如，源站为ctyun.cn，回源HOST为host.ctyun.cn，那么实际回源访问的是ctyun.cn通过域名解析得到的IP（如1.1.1.1）对应主机上的站点host.ctyun.cn。 2.源站是IP时，例如，源站为1.1.1.1，回源HOST为host.ctyun.cn，那么实际回源访问的是1.1.1.1对应主机上的站点host.ctyun.cn。 回源HOST 提高缓存命中率 主要方法包括： 1.配置合理的缓存过期时间，可以有效提高缓存命中率。 2.根据业务需要判断是否启用“去问号缓存”配置，去掉用户请求URL中“?”之后的参数，让相同内容的请求直接命中缓存，提高缓存命中率。CDN控制台上默认开启去问号缓存。 3.通过文件预取功能，提前把源站的内容拉取到边缘节点进行缓存，有效提升首次访问的命中率，同时又能缓解因新内容发布而导致的回源压力问题。 4.开启分片回源功能：CDN节点可以以分片的形式缓存文件，对于Range请求而言，可以有效提高文件分发效率，降低首包时延，同时提高缓存利用率，减少不必要的回源。功能介绍请详见：分片回源。 提高CDN缓存命中率 提高数据传输安全 开启HTTPS功能前，需要先购买和申请SSL证书。证书相关操作，详情详见：证书管理。 HTTPS配置 避免网站资源被恶意盗链，产生额外的流量成本 1.基础防盗链：可通过配置Referer防盗链、IP黑/白名单，用于识别和封禁非法来源的请求，以及非法IP的恶意访问。可通过CDN控制台自助配置新增。 2.高级防盗链：时间戳防盗链、远程鉴权防盗链，通过有时效性的URL来提高盗链难度，以及通过源站来鉴定合法性，安全等级更高。该类防盗链需要客户提前约定鉴权规则，并通过提交工单给天翼云客服，由其人工操作开启。 具体防盗链功能的对接方式，详见右列相关功能说明文档。 访问控制 步骤四： 在CDN控制台成功添加加速域名后，为保证DNS解析顺利切换而不影响现有业务，建议先模拟访问进行功能验收，验收无误后，再切换DNS解析。 具体流程如下： 1. 在天翼云CDN控制台的【域名管理】【域名列表】，复制加速域名对应的CNAME记录值。 2. 通过ping（Windows）或dig（MAC） CNAME记录的方式，如：ping .ctdns.cn 获取该CNAME解析出来的天翼云已为您分配的某个节点IP，即为可测试验证功能的线上节点IP。 3. 用户修改本地电脑的HOSTS文件，添加一条记录，如：“IP 加速域名”，让本地电脑访问加速域名时，强制绑定解析到该节点IP，由该节点IP进行服务，从而验证加速域名相关业务场景。 4. 验证内容： 成功绑定HOSTS文件后，您可以打开浏览器，在本地电脑访问加速域名进行连通性测试，测试结果可通过浏览器自带的开发者工具（F12）查看。如果浏览器访问到的IP和您在HOSTS文件中绑定的IP一致，表示配置正确。如果不一致，表示配置不正确，您需要检查HOSTS文件中绑定的IP地址是否正确，确保该IP地址是CNAME地址的IP。 在本地电脑成功访问加速域名绑定的IP后，您可以基于自己的测试用例，或者必要的核验步骤，验证相关功能的准确性；如果功能验证不如预期，请提交工单联系天翼云客服处理。 步骤五： 如果您在步骤四的验证均正常，或者您通过其他方式已完成功能的验收测试，证明CDN的配置已经符合切量解析条件。为了实现正式的CDN加速，您需要在域名解析服务商处，将加速域名的DNS解析记录指向天翼云为您分配的CNAME域名，请求才能转发到CDN节点上，实现加速。配置CNAME的操作，详情请见：配置CNAME。

1.2 CPU算力用于大模型推理的适用场景 CPU适用于以下大模型推理场景： 场景1: 大模型推理需要的内存超过了单块GPU的显存容量，需要多块或更高配GPU卡，采用CPU方案，可以降低成本； 场景2: 应用请求量小，GPU利用率低，采用CPU推理，资源划分的粒度更小，可有效降低起建成本； 场景3: GPU资源紧缺，CPU更容易获取，且可以胜任大模型推理。 2 天翼云EMR实例DeepSeekR1DistillQwen7B蒸馏模型部署实践 本节内容主要介绍如何在天翼云EMR实例上，基于Intel® xFasterTransformer加速库和vllm推理引擎完成模型部署，并展示相关性能指标。 2.1 服务部署 为了方便用户使用，天翼云联合英特尔制作了一键部署的云主机镜像，内置DeepSeekR1DistillQwen7B模型、vLLM推理框架、xFT加速库以及openwebui前端可视环境。您可在天翼云控制台选择下列资源池和镜像，开通云主机进行体验。 类型 可用资源 可用资源池 华东华东1az2、华东华东1az3 可用规格 c8e系列（最低内存需求32G） 可用镜像 DeepSeekvLLM英特尔AMX推理加速（CPU） 完成云主机开通后，推理服务会在5分钟内自动启动，您无需进行任何其他操作。 注意 如需在云主机外访问服务，您需要绑定弹性IP，并在安全组内放行22/3000/8000端口。

本文主要介绍使用CoreDNS实现自定义域名解析。 应用现状 在使用CCE时，可能会有解析自定义内部域名的需求，例如： 存量代码配置了用固定域名调用内部其他服务，如果要切换到Kubernetes Service方式，修改配置工作量大。 在集群外自建了一个其他服务，需要将集群中的数据通过固定域名发送到这个服务。 解决方案 使用CoreDNS有以下几种自定义域名解析的方案。 为CoreDNS配置存根域：可以直接在控制台添加，简单易操作。 使用 CoreDNS Hosts 插件配置任意域名解析：简单直观，可以添加任意解析记录，类似在本地/etc/hosts中添加解析记录。 使用 CoreDNS Rewrite 插件指向域名到集群内服务：相当于给Kubernetes中的Service名称取了个别名，无需提前知道解析记录的IP地址。 使用 CoreDNS Forward 插件将自建 DNS 设为上游 DNS：自建DNS中，可以管理大量的解析记录，解析记录专门管理，增删记录无需修改CoreDNS配置。 注意事项 CoreDNS修改配置需额外谨慎，因为CoreDNS负责集群的域名解析任务，修改不当可能会导致集群解析出现异常。请做好修改前后的测试验证。 为CoreDNS配置存根域 集群管理员可以修改CoreDNS Corefile的ConfigMap以更改服务发现的工作方式。 若集群管理员有一个位于10.150.0.1的Consul域名解析服务器，并且所有Consul的域名都带有.consul.local的后缀。 步骤 1 登录CCE控制台，单击集群名称进入集群。 步骤 2 在左侧导航栏中选择“插件管理”，在“已安装插件”下，在CoreDNS下单击“编辑”，进入插件详情页。 步骤 3 在“参数配置”下添加存根域。 修改stubdomains参数，格式为一个键值对，键为DNS后缀域名，值为一个或一组DNS IP地址，如下所示。 { "stubdomains": { "consul.local": [ "10.150.0.1" ] }, "upstreamnameservers": [] } 步骤 4 单击“确定”。 也可以通过修改ConfigMap，直接按如下方式添加。 $ kubectl edit configmap coredns n kubesystem apiVersion: v1 data: Corefile: .:5353 { bind {$PODIP} cache 30 errors health {$PODIP}:8080 kubernetes cluster.local inaddr.arpa ip6.arpa { pods insecure fallthrough inaddr.arpa ip6.arpa } loadbalance roundrobin prometheus {$PODIP}:9153 forward . /etc/resolv.conf { policy random } reload }consul.local:5353 { bind {$PODIP} errors cache 30 forward . 10.150.0.1 } kind: ConfigMap metadata: creationTimestamp: "20220504T04:42:24Z" labels: app: coredns k8sapp: coredns kubernetes.io/clusterservice: "true" kubernetes.io/name: CoreDNS release: cceaddoncoredns name: coredns namespace: kubesystem resourceVersion: "8663493" uid: bba871429f8d4056b8a694c3887e9e1d