本章节主要介绍新建汇总表。 汇总逻辑表是由一个特定的分析对象（如会员）及其相关的统计指标组成的。组成一个汇总逻辑表的统计指标都具有相同的统计粒度（如会员），汇总逻辑表面向用户提供了以统计粒度（如会员）为主题的所有统计数据（如会员主题集市）。 汇总表分为“手工创建”和“自动汇聚”，此处仅描述手工创建场景。 说明 如果在“数据架构 > 配置中心 > 功能配置”页面中开启了“模型设计业务流程步骤 > 创建数据开发作业”（默认为关闭），发布汇总表时，系统将在数据开发中自动创建一个数据开发作业，作业名称以“ 数据库名称表编码 ”开头。您可以进入“数据开发 > 作业开发”页面查看作业。该作业默认没有调度配置，需要您自行在数据开发模块中设置。 前提条件 在创建汇总表之前，请先确认您已完成维度、维度表、事实表和衍生指标/复合指标的新建、发布与审核。 新建汇总表并发布 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据架构”模块，进入数据架构页面。 2. 在数据架构控制台，单击左侧导航树中的“维度建模”，然后选择“汇总表”页签。 3. 在左侧主题目录中选中一个主题，然后单击“新建”按钮，开始创建汇总表。 4. 在“新建汇总表”页面，完成如下配置： a. 设置“基本配置”参数： 下表为基本配置参数说明 参数说明 说明 所属主题 单击“选择主题”，选择表所属的主题域分组、主题域和业务对象。 表名称 设置表名称。只能包含中文、英文字母、数字、左右括号、中划线和下划线，且以中文和英文字母开头。 表英文名称 设置表英文名称。只能包含英文字母、数字和下划线，且以英文字母开头。 统计维度 选择统计维度。在下拉列表中只会显示来源于衍生指标的统计维度。如果下拉列表中没有统计维度，请参考新建维度进行创建。 当汇总表完成新建后，“统计维度”指定的维度的所有维度属性，都将被自动添加到汇总表中，成为汇总表中的字段。您可以在完成汇总表的新建后，进入汇总表页面，单击汇总表名称查看详情中的表字段信息。 数据连接类型 请选择和维度表、事实表相同的数据连接类型。 数据连接 维度建模建议使用统一的数据连接。 数据库 选择数据库。 队列 DLI队列。该参数仅DLI连接类型有效。 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。 表类型 DWS连接类型的表支持以下表类型： DWSROW：行存表。行存储是指将表按行存储到硬盘分区上。 DWSCOLUMN：列存表。列存储是指将表按列存储到硬盘分区上。 MRSHIVE仅支持HIVETABLE类型。 DISTRIBUTE BY 该参数仅DWS连接类型有效。DWS表当前支持复制（Replication）和散列（Hash）两种分布策略。用户可选取多个字段。 REPLICATION方式：在每一个DN节点上存储一份全量表数据。这种存储方式的优点是每个DN上都有此表的全量数据，在join操作中可以避免数据重分布操作，从而减小网络开销；缺点是每个DN都保留了表的完整数据，造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。 HASH方式：采用这种分布方式，需要为用户表指定一个分布列（distribute key）。当插入一条记录时，系统会根据分布列的值进行hash运算后，将数据存储在对应的DN中。对于Hash分布表，在读/写数据时可以利用各个节点的IO资源，大大提升表的读/写速度。一般情况下大表（1000000条记录以上）定义为Hash表。 资产责任人 在下拉框中选择资产责任人，可以手动输入名字或直接选择已有的责任人。 描述 描述信息。支持的长度为1~600个字符。 b. 在“时间分区”区域，输入字段编码以及选择数据类型。当表发布成功后，在往表里写数据时，将根据该时间分区字段进行分区。 c. 在“指标配置”区域，单击“添加”，可以添加一个或多个与所指定的“统计维度”相关联的衍生指标或复合指标。 5. 单击“发布”，并在弹出框中单击“确认提交”，提交审核。 6. 请联系审核人员审核汇总表，等待审核通过。 审核通过后，汇总表就会在数据库中自动创建。 7. 返回“维度建模 > 汇总表”页面，在列表中找到刚发布的汇总表，在“同步状态”一列中可以查看汇总表的同步状态。 − 如果同步状态均显示成功，则说明汇总表发布成功，汇总表在数据库中已创建成功。 − 如果同步状态中存在失败，可单击该汇总表所在行的“更多 > 发布历史”，然后在展开的页面中进入“发布日志”页签查看日志。请根据错误日志定位失败原因，问题解决后，您可以在汇总表页面勾选该汇总表，再单击列表上方的“更多 > 同步”尝试重新同步。如果问题仍未能解决，请联系技术支持人员协助处理。

本页介绍天翼云TeleDB数据库如何查看慢日志。 1. 单击慢查询分析 进入界面。 2. 单击时间框查询对应时间段内的慢SQL 3. 查看慢日志展示。 4. 单击全部用户 ，选择用户对应的慢SQL。 5. 单击SQL语句 ，选择慢SQL的筛选条件，并在右侧方框输入具体的筛选条件。 6. 单击查询 ，筛选出符合条件的慢SQL。 7. 单击重置 ，清空之前的筛选条件

本节介绍了变更云数据库TaurusDB的变更配置。 规格变更 变更TaurusDB实例规格：您可以根据业务需求变更TaurusDB实例规格，变更后即刻按照变更后的实例规格的价格计费。 扩容存储空间：您可以根据业务需求增加您的存储空间，扩容后即刻按照新的存储空间计费。您需要注意的是存储空间只允许扩容，不能缩容。您每次扩容的最小容量为10GB。 变更计费 如需更改计费方式，请参考包周期实例转按需和按需实例转包周期章节进行计费方式转换。 支持单个包周期（包年/包月）实例转为按需实例，但需要包周期到期后按需计费才会生效。 支持单个按需实例转为包周期（包年/包月）实例，长期使用资源的推荐包周期计费，可享受优惠。

本节为您介绍云迁移服务CMS中数据库迁移工具高级配置相关内容。 1. 在迁移对象过滤界面，点击”高级配置”， 可对要迁移的表进行高级配置。 2. 在高级配置页面，可点击”批量配置”按钮，对选择的表进行批量配置，也可以点击对应表后面的配置按钮，进行单表配置，详情如下： 3. 点击对应表后面的配置按钮，进行针对单表进行高级配置详情如下： 4. 可点击”批量配置”按钮，针对多表进行高级配置详情如下： 说明 该高级配置功能，主要是对表、字段进行映射数据过滤

您需要在部署天翼云TeleDB数据库之前，检查相关的机器、安装包、操作系统、端口等信息。 确保您的安装包与操作系统版本匹配。 检查机器之间是否存在通信问题或者拦截问题，确保主机之间网络互通。 确保已获取主机超级用户。 确保所有主机不能拥有teledbx用户，当安装或者开通实例会自动创建，无需手动创建。 若为高可用则需要配置vip，每组cn一个。 检查部署机器是否有空闲数据盘提供使用，已经挂载好磁盘不需要重新挂载。 安装之前请确保所有需要使用的服务端口未被占用。 安装的系统预先装好jdk 环境，建议 1.8.0201 版本及以上。 检查主机是否自带libaio0.3.10913.el7.x8664.rpm lz41.7.53.el7.x8664.rpmpv1.4.61.el7.x8664.rpm sshpass1.062.el7.x8664.rpm 依赖 perl 依赖。

您需要在部署天翼云TeleDB数据库之前，检查相关的机器、安装包、操作系统、端口等信息。 确保您的安装包与操作系统版本匹配。 检查机器之间是否存在通信问题或者拦截问题，确保主机之间网络互通。 确保已获取主机超级用户。 确保所有主机不能拥有teledbx用户，当安装或者开通实例会自动创建，无需手动创建。 若为高可用则需要配置vip，每组cn一个。 检查部署机器是否有空闲数据盘提供使用，已经挂载好磁盘不需要重新挂载。 安装之前请确保所有需要使用的服务端口未被占用。 安装的系统预先装好jdk 环境，建议 1.8.0201 版本及以上。 检查主机是否自带libaio0.3.10913.el7.x8664.rpm lz41.7.53.el7.x8664.rpmpv1.4.61.el7.x8664.rpm sshpass1.062.el7.x8664.rpm 依赖 perl 依赖。

本页介绍天翼云TeleDB数据库的命名规范。 1. DB object：database， schema， table， column， view， index， sequence， function， trigger 等名称。 建议使用小写字母、数字、下划线的组合。 建议不使用双引号即"包围，除非必须包含大写字母或空格等特殊字符。 长度不能超过63个字符。 不建议以pg 开头或者 pgxc（避免与系统 DB object 混淆），不建议以数字开头。 禁止使用SQL 关键字，如 type， order 等。 2. table 能包含的 column 数目，根据字段类型的不同，数目在250到1600之间。 3. 临时或备份的DB object：table、view 等，建议加上日期， 如 dbaops.b2cproductsummay20140712 (其中 dbaops 为 DBA 专用 schema)。 4. index命名规则为：普通索引为 表名列名idx，唯一索引为 表名列名uidx，如 studentnameidx，studentiduidx。

本页介绍天翼云TeleDB数据库的命名规范。 1. DB object：database， schema， table， column， view， index， sequence， function， trigger 等名称。 建议使用小写字母、数字、下划线的组合。 建议不使用双引号即"包围，除非必须包含大写字母或空格等特殊字符。 长度不能超过63个字符。 不建议以pg 开头或者 pgxc（避免与系统 DB object 混淆），不建议以数字开头。 禁止使用SQL 关键字，如 type， order 等。 2. table 能包含的 column 数目，根据字段类型的不同，数目在250到1600之间。 3. 临时或备份的DB object：table、view 等，建议加上日期， 如 dbaops.b2cproductsummay20140712 (其中 dbaops 为 DBA 专用 schema)。 4. index命名规则为：普通索引为 表名列名idx，唯一索引为 表名列名uidx，如 studentnameidx，studentiduidx。

您需要在部署天翼云TeleDB数据库之前，检查相关的机器、安装包、操作系统、端口等信息。 确保您的安装包与操作系统版本匹配。 检查机器之间是否存在通信问题或者拦截问题，确保主机之间网络互通。 确保已获取主机超级用户。 确保所有主机不能拥有teledbx用户，当安装或者开通实例会自动创建，无需手动创建。 若为高可用则需要配置vip，每组cn一个。 检查部署机器是否有空闲数据盘提供使用，已经挂载好磁盘不需要重新挂载。 安装之前请确保所有需要使用的服务端口未被占用。 安装的系统预先装好jdk 环境，建议 1.8.0201 版本及以上。 检查主机是否自带libaio0.3.10913.el7.x8664.rpm lz41.7.53.el7.x8664.rpmpv1.4.61.el7.x8664.rpm sshpass1.062.el7.x8664.rpm 依赖 perl 依赖。

本页介绍天翼云TeleDB数据库的命名规范。 DB object：database， schema， table， column， view， index， sequence， function， trigger 等名称。 建议使用小写字母、数字、下划线的组合。 建议不使用双引号即"包围，除非必须包含大写字母或空格等特殊字符。 长度不能超过63个字符。 不建议以pg 开头或者 pgxc（避免与系统 DB object 混淆），不建议以数字开头。 禁止使用SQL 关键字，如 type， order 等。 table 能包含的 column 数目，根据字段类型的不同，数目在250到1600之间。 临时或备份的DB object：table、view 等，建议加上日期， 如 dbaops.b2cproductsummay20140712 (其中 dbaops 为 DBA 专用 schema)。 index命名规则为：普通索引为 表名列名idx，唯一索引为 表名列名uidx，如 studentnameidx，studentiduidx。

本页介绍天翼云TeleDB数据库的命名规范。 DB object：database， schema， table， column， view， index， sequence， function， trigger 等名称。 建议使用小写字母、数字、下划线的组合。 建议不使用双引号即"包围，除非必须包含大写字母或空格等特殊字符。 长度不能超过63个字符。 不建议以pg 开头或者 pgxc（避免与系统 DB object 混淆），不建议以数字开头。 禁止使用SQL 关键字，如 type， order 等。 table 能包含的 column 数目，根据字段类型的不同，数目在250到1600之间。 临时或备份的DB object：table、view 等，建议加上日期， 如 dbaops.b2cproductsummay20140712 (其中 dbaops 为 DBA 专用 schema)。 index命名规则为：普通索引为 表名列名idx，唯一索引为 表名列名uidx，如 studentnameidx，studentiduidx。

本页介绍天翼云TeleDB数据库文件位置相关参数。 datadirectory (string) 指定用于数据存储的目录。这个选项只能在服务器启动时设置。 configfile (string) 指定主服务器配置文件postgresql.conf。这个参数只能在postgres命令行上设置。 hbafile (string) 指定基于主机认证配置文件pghba.conf。 这个参数只能在服务器启动的时候设置。 identfile (string) 指定用于用户名称映射的配置文件pgident.conf。 这个参数只能在服务器启动的时候设置。 externalpidfile (string) 指定可被服务器创建的用于管理程序的额外进程ID（PID）文件。这个参数只能在服务器启动的时候设置。 在默认安装中不会显式设置以上参数。相反，命令行参数D或者环境变量PGDATA指定数据目录，并且上述配置文件都能在数据目录中找到。 不建议更改上述参数默认值。

本页介绍天翼云TeleDB数据库的命名规范。 DB object：database， schema， table， column， view， index， sequence， function， trigger 等名称。 建议使用小写字母、数字、下划线的组合。 建议不使用双引号即"包围，除非必须包含大写字母或空格等特殊字符。 长度不能超过63个字符。 不建议以pg 开头或者 pgxc（避免与系统 DB object 混淆），不建议以数字开头。 禁止使用SQL 关键字，如 type， order 等。 table 能包含的 column 数目，根据字段类型的不同，数目在250到1600之间。 临时或备份的DB object：table、view 等，建议加上日期， 如 dbaops.b2cproductsummay20140712 (其中 dbaops 为 DBA 专用 schema)。 index命名规则为：普通索引为 表名列名idx，唯一索引为 表名列名uidx，如 studentnameidx，studentiduidx。

本页介绍天翼云TeleDB数据库如何查询站内消息。 在消息中心模块，提供了站内消息和消息订阅的功能。站内消息包括服务订阅、系统消息、产品消息和告警消息四大类消息。 消息查询：在消息查询中可以通过消息类型的精确匹配和消息标题或消息内容的模糊匹配对消息进行过滤查询。 消息详情：单击消息标题可以查看具体消息的详情，在查看具体消息详情之后，会将推送的消息置灰。 除此之外，还能够站内消息进行删除和批量删除以及全部删除操作。当您在消息列表上方单击全部标为已读按钮时，所有消息都将置灰。

本页面介绍如何在数据库实例中快速查看业务库表结构设计和数量分布情况 操作步骤 1. 进入实例详情页面。 2. 单击数据表管理，进入数据表管理页面。 3. 选择表查询对比 或表数据分布，查看数据表信息。 表查询对比： 场景：对比2个不同节点上相同业务表的建表差异，用于发现和分析可能因手动建表差异带来性能问题和数据安全问题。 1. 选择指定cluster及指定库/表，再选择对比的节点。 2. 单击对比，即可查看2个节点上的相同业务表的建表SQL差异。 表数据分布： 场景：查看业务表在多个节点上的表分布，用于发现数据分布是否合理，是否存在数据倾斜的情况 1. 选择指定cluster及指定库/表，再选择对比的数据节点。 2. 选择完成后，即可查看该表在不同计算存储节点上的数据分布情况。

本节为您介绍数据安全中心产品优势。 云上全场景覆盖 通过整合云上各类数据源，提供一站式数据保护和防御机制。不仅支持结构化类型数据，还支持非结构化类型数据，支持云原生和ECS自建场景。 全生命周期可视化 将数据安全全生命周期各阶段的状态整合起来，并通过可视化方式展示云上数据安全态势。 高效识别数据源 通过专家知识库和NLP的双重加权，提升识别能力，精确高效地锁定敏感数据源。 全方位敏感数据防护 根据敏感数据发现策略，精准识别数据库中的敏感数据，并结合多种预置脱敏算法和用户自定义脱敏算法，实现全方位的敏感数据防护。

操作 说明 停用域名 对域名进行停用操作后，控制台上域名状态将变更为“已停止”。3天内，天翼云将加速域名的CNAME解析至客户源站地址。 注意：对域名进行停用操作后，边缘节点会立即删除配置，但仍会在系统数据库中保留原来的配置记录，可再次对域名进行"启用"操作。 删除域名 对域名进行删除操作后，天翼云边缘节点会直接删除加速域名在边缘节点的配置，域名对应CNAME入口地址失效，此时域名请求如果仍访问至边缘节点，则会响应403。

本节主要介绍项目管理 项目管理可对多个资源进行分组和管理，例如：可为阿里云迁移至天翼云创建一个新的项目，里面将包含阿里云平台的主机、数据库、组件等信息。 新建项目 在浏览器中输入 单击左侧导航栏的“ 配置管理 ”，进入配置管理 界面。在“ 项目管理 ”页签，单击“ 新建项目 ”。 新建项目 在弹出的“ 新建项目 ”窗口，输入项目名称和项目描述，单击“ 保存 ”。 保存项目

添加到信任规则 根据告警日志里的信息，可以选择客户端工具、数据库账号、客户端 、操作类型等属性生成一条新的信任规则，对于符合信任规则的请求将不再告警。 1.在左侧菜单栏选择“查询分析 > 告警日志”进入告警日志页面。 2.在告警日志列表中选择一条需要加到信任规则的告警日志，单击“详情”按钮，在告警日志详细页，单击下方“添加到信任规则”按钮。 3.勾选需要信任属性后 ，单击“确定”按钮 ，则成功添加到信任规则。

本节主要介绍与其它服务的关系。 云原生架构模式下，完成业务功能需要很多服务相互配合： CSE一般和数据库、缓存和消息中间件同时使用，完成业务功能的开发。 AOM、APM、LTS等工具，则为业务提供运维能力，帮助检测业务故障、分析故障原因。 以Spring Cloud为例，典型的云原生架构和技术选型如下： 云原生架构和DevOps通常是密不可分的，配合使用ServiceStage，可以实现云原生环境的管理、部署流水线，简化微服务应用部署到容器CCE的流程。

本章节主要介绍云服务备份产品的优势。 可靠 支持云主机多盘一致性备份，数据库服务器应用一致性备份，使您的数据更加安全可靠。 高效 永久增量备份，缩短95%备份时长。即时恢复，RPO最小为1小时，RTO可达分钟级。 说明 RPO（Recovery Point Objective）：最多可能丢失数据的时长。 RTO（Recovery Time Objective）：从灾难发生到整个系统恢复正常所需要的最大时长。 简单 操作简单，3步完成备份配置，无需具备专业的备份软件技能。相比传统备份系统，使用更简单。 安全 加密盘的备份数据自动加密，保证数据安全。

操作 说明 停用域名 对域名进行停用操作后，天翼云会将加速域名的CNAME入口解析至客户源站地址，控制台上域名状态变更为【已停止】。 对域名进行停用操作后，节点会立即删除配置，但仍会在系统数据库中保留原来的配置记录，可再次对域名进行【启用】操作。 删除域名 对域名进行删除操作后，天翼云会直接删除加速域名在节点的配置，域名对应CNAME入口地址失效，此时域名请求如果仍访问至节点，则会响应403。

本章节主要介绍翼MR Manager的集群服务配置的查看操作。 操作步骤 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3. 单击“翼MR Manager”tab，单击“前往翼MR Manager”。 4. 进入到翼MR Manager以后，单击菜单“集群服务”，进入集群服务列表页面。 5. 选择指定集群服务，单击集群服务名称进入集群服务详情页面。 6. 单击“配置管理”tab，即可查看该集群服务的所有配置。如图所示： 7. 对于隐私配置项，默认将加密展示，点击文本框右侧查看按钮，输入配置主密码即可查看。如果当前集群开通后未设置过主密码，请参考用户手册的配置管理主密码设置，设置主密码后，进行查看。 说明运维变量配置 在服务的default分组下，以vars.yaml后缀结尾的配置文件，为运维变量配置文件。运维变量配置文件不是服务本身的配置文件，而是存放Manager运维操作变量的文件，每个运维变量的含义如下表。 组件 运维变量名 是否建议修改 含义说明 HDFS activenamenode 否 部署时使用，在这台机器上执行format操作。 HDFS kdcmaster 否 部署和扩容时使用，kerberos的master节点，用于创建keytab文件。 HDFS ldapGuestPassword 否 部署和扩容时使用，连接ldap的guest用户密码，此权限只能查看用户，不能创建用户。 HDFS ldapuri 否 部署和扩容时使用，配置ldap的连接地址。 HDFS dfsclusterId 否 部署时使用，ns的默认值。 HDFS pipelinejobretrytimes 是 流水线重试次数。 HDFS jobretrybasedonpipelinetypes 否 自动重试的流水线类型。 YARN 无 共享HDFS运维变量。 ZooKeeper kerberosRealm 否 部署时使用，配置kerberos的realm的信息。 ZooKeeper kdcmaster 否 部署和扩容时使用，kerberos的master节点，用于创建keytab文件。 ZooKeeper zksuperuser 否 部署和扩容时使用，配置zk的超级用户。 ZooKeeper zksuperuserpasswd 否 部署和扩容时使用，配置超级用户的密码。 ZooKeeper componentuser 否 暂未使用。 ZooKeeper dataLogDir 否 部署时使用，需要通过ansbile创建目录。 ZooKeeper dataDir 否 部署时使用，需要通过ansbile创建目录。 Kerberos kerberosRealm 否 部署时使用，配置kerberos的realm的信息。 Kerberos kdcmaster 否 部署时使用，指定master节点，执行master节点的操作。 Kerberos kdcslave 否 部署时使用，指定slave节点，执行slave节点的操作。 Kerberos kerberosdatabasepasswd 否 部署时使用，配置kerberos的数据库密码。 Kerberos kerberosadminuser 否 部署时使用，配置kerberos的admin用户。 Kerberos kerberosadminpasswd 否 部署时使用，配置kerberos的admin用户密码。 OpenLDAP ldapmasterhostname 否 部署时使用，指定master节点，执行master节点的操作。 OpenLDAP ldapslavehostname 否 部署时使用，指定slave节点，执行slave节点的操作。 OpenLDAP olcRootDN 否 部署时使用，服务配置。 OpenLDAP olcSuffix 否 部署时使用，服务配置。 OpenLDAP ldapAdminPwd 否 部署时使用，admin用户的密码。 OpenLDAP ldapGuestPwd 否 部署时使用，guest用户的密码。 OpenLDAP ldapuri 否 部署时使用，ldap的连接信息。 OpenLDAP ldapBaseUgDN 否 部署时使用，服务配置。 OpenLDAP pipelinejobretrytimes 是 流水线重试次数。 OpenLDAP jobretrybasedonpipelinetypes 否 自动重试的流水线类型。 HBase kdcmaster 否 部署和扩容时使用，kerberos的master节点，用于创建keytab文件。 HBase pipelinejobretrytimes 是 流水线重试次数。 HBase jobretrybasedonpipelinetypes 否 自动重试的流水线类型。 Spark kdcmaster 否 部署时使用，kerberos的master节点，用于创建keytab文件。 Spark ldapmaster 否 部署时使用，ldap的master节点。 Spark eventlogdir 否 部署时使用，通过ansible创建目录。 Spark sparkhome 否 部署时使用，通过ansible创建目录。 Hive kdcmaster 否 部署时使用，kerberos的master节点，用于创建keytab文件。 Hive ldapmaster 否 部署时使用，ldap的master节点。 Hive databasepass 否 部署时使用，hive使用的数据库密码，需要用户填写。 Kafka kdcmaster 否 部署和扩容时使用，kerberos的master节点，用于创建keytab文件。 Kafka kerberosrealm 否 kerberos的realm的信息。 Kafka logdirs 否 （目前不再使用，通过从配置文件中渲染来创建目录）部署和扩容时使用，通过ansible创建目录。 Kafka pipelinejobretrytimes 是 流水线重试次数。 Kafka jobretrybasedonpipelinetypes 否 自动重试的流水线类型。 Kyuubi kdcmaster 否 部署时使用，kerberos的master节点，用于创建keytab文件。 Kyuubi ldapmaster 否 部署时使用，ldap的master节点。 Kyuubi kyuubilogdir 否 目录。部署时使用，通过ansible创建。 Kyuubi kyuubieventlogdir 否 目录。部署时使用，通过ansible创建。 Kyuubi kyuubiworkdir 否 目录。部署时使用，通过ansible创建。 Kyuubi adminuser 否 目录的属主。 Kyuubi usergroup 否 目录的属组。 Kyuubi pipelinejobretrytimes 是 流水线重试次数。 Kyuubi jobretrybasedonpipelinetypes 否 自动重试的流水线类型。 Flink kdcmaster 否 部署时使用，kerberos的master节点，用于创建keytab文件。 Flink ldapmaster 否 部署时使用，ldap的master节点。 Flink logDir 否 目录。部署时使用，通过ansible创建。 Flink HistoryServerDir 否 目录。部署时使用，通过ansible创建。 Flink pipelinejobretrytimes 是 流水线重试次数。 Flink jobretrybasedonpipelinetypes 否 自动重试的流水线类型。 Elasticsearch CERTNODE 否 部署时使用，指定证书节点，在节点上执行生成证书的操作。 Elasticsearch ESDATADIRS 否 目录。部署时使用，通过ansible创建。 Elasticsearch ESDEFAULTPASSWORD 否 部署时使用。默认的密码，随机密码。 Doris FEDEFAULTLEADERHOSTNAME 否 部署和扩容时使用，指定leader节点，在上面执行leader的相关操作。 Doris FEDEFAULTPASSWORD 是 部署时随机生成的Doris组件root密码。节点扩容需要使用该密码，如用户已修改，需要设置正确的值，否则会影响扩容操作。 Doris FEHTTPPORT 否 服务端口，不推荐修改。 Doris FEQUERYPORT 否 服务端口，不推荐修改。 Doris FEEDITLOGPORT 否 服务端口，不推荐修改。 Doris BESTORAGEROOTPATH 否 服务端口，不推荐修改。 Doris BEHEARTBEATSERVICEPORT 否 服务端口，不推荐修改。 Doris BROKERIPCPORT 否 服务端口，不推荐修改。 Trino datadir 否 目录。部署和扩容时使用，通过ansible创建。 Trino kerberosrealm 否 kerberos的realm的信息。 Trino kdcmaster 否 部署时使用，kerberos的master节点，用于创建keytab文件。 Trino ldapmaster 否 部署时使用，ldap的master节点。 Trino coordinator 否 部署和扩容时使用，指定主节点，在上面执行主节点的相关操作。 Trino uiuser 否 ui的用户。 Trino uipassword 否 ui的密码，部署时随机生成。 Trino serveruser 否 server的用户。 Trino serverpassword 否 server的密码，部署时随机生成。 Trino pipelinejobretrytimes 是 流水线重试次数。 Trino jobretrybasedonpipelinetypes 否 自动重试的流水线类型。 Ranger dbhost 否 外置数据库信息，需要用户填写。 Ranger dbname 否 外置数据库信息，需要用户填写。 Ranger dbuser 否 外置数据库信息，需要用户填写。 Ranger dbpassword 否 外置数据库信息，需要用户填写。 Ranger dbrootuser 否 部署时使用，ranger使用的外置数据库信息。 Ranger dbrootpassword 否 部署时使用，ranger使用的外置数据库信息。 Ranger rangerpassword 否 ranger admin用户密码。 Ranger SYNCLDAPBINDPASSWORD 否 部署时使用，ranger访问ldap的密码。 Ranger SYNCSOURCE 否 用户同步方式，ldap。 Ranger kerberosrealm 否 kerberos的realm的信息。 Ranger kdcmaster 否 部署时使用，kerberos的master节点，用于创建keytab文件。 Ranger SYNCLDAPURL 否 ldap相关信息。 Ranger POLICYMGRURL 否 ranger admin url信息。 Ranger separatedbamode 否 是否单独执行DBA，默认true，表示需要提前创建ranger使用的数据库和用户，并授权，不推荐修改。 Ranger pipelinejobretrytimes 是 流水线重试次数。 Ranger jobretrybasedonpipelinetypes 否 自动重试的流水线类型。 Knox kdcmaster 否 部署时使用，kerberos的master节点，用于创建keytab文件。 Logstash pipelinejobretrytimes 是 流水线重试次数。 Logstash jobretrybasedonpipelinetypes 否 自动重试的流水线类型。 JeekeFS kdcmaster 否 部署时使用，kerberos的master节点，用于创建keytab文件。 KafkaUI kdcmaster 否 部署时使用，kerberos的master节点，用于创建keytab文件。 KafkaUI ldapGuestPassword 否 部署时使用，Openldap的guest用户密码。 Pushgateway PUSHGATEWAYPASSWORD 否 部署时使用，Pushgateway服务的密码。 Pushgateway PUSHGATEWYUSERNAME 否 部署时使用，Pushgateway服务的用户名。 TezUI pipelinejobretrytimes 是 流水线job最大重试次数。 TezUI jobretrybasedonpipelinetypes 否 基于的流水线类型。

本章节介绍如何通过自定义脚本实现其它Linux应用的一致性备份。 场景介绍 在Linux下，如果有其它应用需要一致性备份，可以编写自己的冻结、解冻脚本，来实现应用的保护。自定义脚本需放置在 /home/rdadmin/Agent/bin/thirdparty/ebkuser 目录中，供Agent在备份过程中调用。 下面以一个虚构的应用appexample为例，来进行说明。 appexample是一款新的数据库，它对外提供了appexample freeze与appexample unfreeze两个命令来实现冻结与解冻。 用户需要开发自己的appexamplefreeze.sh与appexampleunfreeze.sh脚本，供备份Agent调用以实现一致性备份。在备份过程中，会先调用appexamplefreeze.sh脚本来冻结IO，冻结成功后，会进行磁盘的一致性快照激活，保证备份的数据是一致性的，最后再调用appexampleunfreeze.sh脚本解冻IO。 整体流程如下图所示： 数据库备份流程图 开发冻结脚本 appexamplefreeze.sh示例如下： !/bin/sh AGENTROOTPATH$1 Agent程序调用脚本时，传入的的根目录，日志函数等会使用此变量，请不要改名 PID$2 Agent程序调用脚本时，传入的PID数字，用于结果的输出，请不要改名 . "${AGENTROOTPATH}/bin/agentfunc.sh"引用脚本框架，提供了日志，加解密等功能 结果处理函数，用于将结果写入到文件中，供脚本调用者获取返回值。 入参 $1: 0表示成功，1表示失败 无返回值 RESULTFILE在agentfunc.sh中进行了定义 function ExitWithResult() { Log "[INFO]:Freeze result is $1." echo $1 > ${RESULTFILE} chmod 666 ${RESULTFILE} exit $1 } function Main() { Log "" Log "[INFO]:Begin to freeze appexample." 查找appexample是否存在，如果appexample不存在，则返回0，退出 在冻结IO步骤中，Agent程序会依次调用每个冻结脚本，如果一个失败，总体就会失败。所以为了防止干扰其他程序的冻结过程，找不到appexample时，应返回0 which appexample if [ $? ne 0 ] then Log "[INFO]:appexample is not installed." ExitWithResult 0 fi 调用实际的冻结命令 appexample freeze if [ $? ne 0 ] then Log "[INFO]:appexample freeze failed." 冻结失败，记录结果并退出 ExitWithResult 1 fi Log "[INFO]:Freeze appexample success." 冻结成功，记录结果并退出 ExitWithResult 0 } Main

此小节介绍如何使用堡垒机对安全事故进行事后追溯。 随着业务上云并不断发展，云上运维的人数不断增加，这样必然会衍生出一些运维人员操作疏忽而导致的一些安全事故，但由于传统服务器缺少指令监控，操作回放等功能，这样就导致安全事件可追溯性不完善的问题。 云堡垒机可以管控所有的操作，并对所有的操作都进行详细记录。针对会话的审计日志，支持在线查看、在线播放和下载后离线播放。目前支持字符协议（SSH、TELNET）、图形协议（RDP、VNC）、文件传输协议（FTP、SFTP、SCP）、数据库协议（DB2、MySQL、Oracle、SQL Server）和应用发布的操作审计。其中，字符协议和数据库协议能够进行操作指令解析，还原操作指令；文件传输能够记录传输的文件名称和目标路径。 简介 本章节介绍了云堡垒机如何通过会话审计功能对安全事件进行追溯调查，完成安全事件的责任界定。 前提条件 已购买云堡垒机，并且使用有审计模块权限的账号登录云堡垒机 对历史会话进行审计 1. 登录控制台。进入“历史会话”页面，具体操作步骤详见查看历史会话。 2. 根据您业务出现安全问题的一些信息，在“高级搜索框”中输入相关信息进行检索。 3. 根据搜索完后的结果，在“操作”列单击“详情”，进入“会话详情”页面，对历史操作指令、文件传输情况进行排查。 根据上述步骤您就可以根据操作指令的情况，排查出是哪个步骤出现了问题，为您的事件追溯提供了便利性。当然您也可以使用会话回放功能，通过播放运维视频，来查看具体的操作情况。 云堡垒机还为您提供实时会话监控功能，让您可以实时查看高危操作的运维界面，若出现危险指令可立即切断运维人员的操作，确保业务的安全。

介绍分布式消息服务Kafka认证与访问控制方式 分布式消息服务Kafka支持CTIAM身份认证和多种访问控制，多维度保障您数据的安全。 身份认证 CTIAM 统一身份认证（Identity and Access Management， 简称：CTIAM）是提供用户进行权限管理的基础服务，可以帮助您安全的控制天翼云服务和资源的访问及操作权限，包括：用户身份认证、权限分配、访问控制等功能。具体介绍请参考统一身份认证产品介绍。 您可以创建IAM用户，并为其设置关联分布式消息服务Kafka实例权限，该用户就可以通过用户名和密码访问授权的实例资源。具体请参见统一身份认证快速入门创建IAM用户。 访问控制 权限控制 购买分布式消息服务Kafka实例之后，您可以使用CTIAM为企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，通过CTIAM进行精细的权限管理。 VPC和子网 虚拟私有云（Virtual Private Cloud，VPC）为分布式消息服务Kafka构建隔离、私密的虚拟网络环境，提升数据库的安全性，并简化用户的网络部署。您可以完全掌控自己的专有网络，VPC丰富的功能帮助您灵活管理云上网络，包括创建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。通过子网与其他网络隔离，独享网络资源，提高网络安全性。具体内容请参见虚拟私有云用户指南创建虚拟私有云和子网 。 安全组 安全组是一个逻辑上的分组，可以为同一个虚拟私有云内具有相同安全保护需求并相互信任的Kafka实例提供相同的访问策略。您可以通过为数据库实例设置安全组，开通需访问Kafka实例的IP地址和端口，来保证保障其运行环境的安全性和稳定性。具体请参见配置安全组

多活容灾是否只要做好入口流量分发和底层数据同步？ 否。入口流量分发和底层数据同步是实现多活能力的重要步骤，但并不能完全保证系统具备多活能力。 要具备完整的多活能力，首先做好架构规划与演进，其次要有配套的管控能力，包括集中管理、流量控制、数据同步、数据保护等。 如何保障业务在多活场景下的数据一致性？ 默认使用异步复制和最终一致性模型，通过流量纠错和禁写保护避免脏写，有更高要求建议使用分布式数据库。 微服务是如何实现跨集群发现的？ 微服务通过注册中心数据同步来实现跨集群服务发现，服务调用时根据路由规则计算路由命中来选择跨单元或跨站点调用。 微服务在多活场景该如何处理？ 尽可能单元内自封闭，若无法自封闭，可配置HTTP/DUBBO的解析规则对微服务进行打标，流量通过路由规则计算后实现跨单元调用。 消息在多活场景该如何处理？ 生产侧在消息的header或body打标，消费侧根据路由规则进行过滤或接管，消息在站点间同步，避免数据丢失。 缓存在多活场景该如何处理？ 应用读写本地缓存集群，缓存本身不建议同步，本地数据中心的缓存不包含其他中心的数据，当流量切换到新中心时可通过数据库重建缓存。 任务调度在多活场景该如何处理？ 您可以考虑以下两个方案： 数据双活：2个站点均开启定时任务，捞取全量数据，过滤掉非本单元的数据后再执行。 应用双活：2个站点均开启定时任务，通过配置中心开关控制任务执行的主、备站点角色，由主站点执行全量定时任务。

本章节主要介绍使用咨询相关问题。 什么是DLI 数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 DLI支持哪些数据格式 DLI支持如下数据格式： Parquet CSV ORC Json Avro DLI中的Spark组件与MRS中的Spark组件有什么区别？ DLI服务的Spark组件是全托管式服务，用户对Spark组件不感知，仅仅可以使用该服务，且接口为封装式接口。 MRS服务Spark组件的是建立在客户的购买MRS服务所分配的虚机上，用户可以根据实际需求调整及优化Spark服务，支持各种接口调用。 DLI的数据可存储在哪些地方 DLI服务的数据可存储在如下地方： OBS：SQL作业，Spark作业，Flink作业使用的数据均可以存储在OBS服务中，降低存储成本。 DLI：DLI内部使用的是列存的Parquet格式，即数据以Parquet格式存储。存储成本较高。 跨源作业可将数据存储在对应的服务中，目前支持CloudTable，CSS，DCS，DDS，DWS，MRS，RDS等。 DLI表与OBS表的区别 DLI表表示数据存储在本服务内部，用户不感知数据存储路径。 OBS表表示数据存储在用户自己账户的OBS桶中，源数据文件由用户自己管理。 DLI表相较于OBS表提供了更多权限控制和缓存加速的功能，性能相较于外表性能更好，但是会收取存储费用。

参数名 说明 取值样例 表名 写入数据的HBase表名。如果是创建新HBase表，支持从源端拷贝字段名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 TBL2 导入前清空数据 选择目的端表中数据的处理方式： 是：任务启动前会清除目标表中数据。 否：导入前不清空目标表中的数据，如果选“否”且表中有数据，则数据会追加到已有的表中。 是 Row key拼接分隔符 可选参数，用于多列合并作为rowkey，默认为空格。 , Rowkey冗余 可选参数，是否将选做Rowkey的数据同时写入HBase的列，默认值“否”。 否 压缩算法 可选参数，创建新HBase表时采用的压缩算法，默认为值“NONE”。 NONE：不压缩。 SNAPPY：压缩为Snappy格式。 GZ：压缩为GZ格式。 NONE WAL开关 选择是否开启HBase的预写日志机制（WAL，Write Ahead Log）。 是：开启后如果出现HBase服务器宕机，则可以从WAL中回放执行之前没有完成的操作。 否：关闭时能提升写入性能，但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是：源端数据库中的Short、Int、Long、Float、Double、Decimal类型列的数据，会转换为Byte[]数组（二进制）写入HBase，其他类型的按字符串写入。 如果这几种类型中，有合并做rowkey的，则依然当字符串写入。 该功能作用是：降低存储占用空间，存储更高效；特定场景下rowkey分布更均匀。 否：源端数据库中所有类型的数据，都会按照字符串写入HBase。 否

本文介绍为云主机配置内网域名的最佳实践概述。 背景 内网域名是指仅在VPC内生效的虚拟域名，无需购买和注册，无需备案。云解析服务提供的内网域名功能，可以让您在VPC中拥有权威DNS，且不会将您的DNS记录暴露给互联网，解析性能更高，时延更低，并且可以防护解析劫持。我们可以将VPC内承担内网域名解析功能的DNS称为内网DNS。 内网域名功能支持为VPC内每个云主机创建一个内网域名，实现： 通过内网域名访问VPC内的云主机，无需经过Internet，访问速度更快、安全性更高。 在代码中使用内网域名代替内网IP。当需要进行云主机切换时，只需通过修改内网域名解析记录即可，无需修改代码。 操作场景 本实践为内网DNS典型应用场景，如图所示。 图逻辑组网 方案优势 上图展示了某网站的逻辑组网，在一个VPC内，部署了ECS和RDS。其中： ECS：作为主业务站点和业务入口。 ECS1：作为公共接口。 RDS1：作为数据库，存储业务数据。 ECS2和RDS2：作为备份服务器和数据库。 当该网站在运行过程中，因ECS1故障，需要将业务切换到备份的云主机ECS2时，若云主机没有配置内网域名，则需要通过修改主业务节点ECS的代码来重新设置云主机的内网IP地址。该操作需要中断业务并重新发布网站，耗时耗力。 假如在部署该网站时，我们为云主机申请了内网域名，且代码中设置的是云主机的内网域名，则仅需要通过修改内网域名解析记录即可实现云主机的切换，无需中断业务，也不需要重新发布网站。

操作步骤 1. 以客户端安装用户，登录安装客户端的节点。 2. 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 3. 执行以下命令配置环境变量。 source bigdataenv 4. 运行Impala客户端命令，实现A业务。 直接执行Impala组件的客户端命令： impalashell 说明 默认情况下，impalashell尝试连接到localhost的21000端口上的Impala守护程序。如需连接到其他主机，请使用 i host:port 选项，例如：impalashell i xxx.xxx.xxx.xxx:21000。要自动连接到特定的Impala数据库，请使用 d 选项。例如，如果您的所有Kudu表都位于数据库“impalakudu”中，则d impalakudu可以使用此数据库。要退出ImpalaShell，请使用quit命令。 内部表的操作： 1. 根据表创建用户信息表userinfo并添加相关数据。 createtable userinfo(id string,name string,gender string,age int,addr string); insert into table userinfo(id,name,gender,age,addr)values("12005000201","A","男",19,"A城市"); ......（其他语句相同） 2. 在用户信息表userinfo中新增用户的学历、职称信息。 以增加编号为12005000201的用户的学历、职称信息为例，其他用户类似。 alter table userinfo add columns(education string,technical string); 3. 根据用户编号查询用户姓名和地址。 以查询编号为12005000201的用户姓名和地址为例，其他用户类似。 select name,addr from userinfo where id'12005000201'; 4. 删除用户信息表。 drop table userinfo; 外部分区表的操作： 创建外部分区表并导入数据 1. 创建外部表数据存储路径。 安全模式（集群开启了Kerberos认证）： cd /opt/hadoopclient source bigdataenv kinit hive 说明 用户hive需要具有Hive管理员权限。 impalashell hdfs dfs mkdir /hive hdfs dfs mkdir /hive/userinfo 普通模式（集群关闭了Kerberos认证）： su omm cd /opt/hadoopclient source bigdataenv impalashell hdfs dfs mkdir /hive hdfs dfs mkdir /hive/userinfo 2. 建表。 create external table userinfo(id string,name string,gender string,age int,addr string) partitioned by(year string) row format delimited fields terminated by ' ' lines terminated by 'n' stored as textfile location '/hive/userinfo'; 说明 fields terminated指明分隔的字符,如按空格分隔，' '。 lines terminated 指明分行的字符，如按换行分隔，'n'。 /hive/userinfo为数据文件的路径。 3. 导入数据。 a. 使用insert语句插入数据。 insert into userinfo partition(year"2018") values ("12005000201","A","男",19,"A城市"); b. 使用load data命令导入文件数据。 i.根据下表数据创建文件。如，文件名为txt.log，以空格拆分字段，以换行符作为行分隔符。 ii. 上传文件至hdfs。 hdfs dfs put txt.log /tmp iii. 加载数据到表中。 load data inpath '/tmp/txt.log' into table userinfo partition (year'2018'); 4. 查询导入数据。 select from userinfo; 5. 删除用户信息表。 drop table userinfo;

本文介绍如何创建IAM子用户并授予特定权限策略,从而控制对云间高速EC服务的访问。 操作步骤 创建用户组和IAM用户 1. 创建用户组并给用户组授权，具体配置说明详见：创建用户组和授权。 2. 创建IAM用户，并使用新创建的用户登录天翼云，具体配置说明详见：创建IAM用户和登录。 创建自定义策略 天翼云提供了访问天翼云云间高速（标准版）资源的系统策略。如果系统策略不能满足需求，您还可以创建自定义策略，具体配置说明详见：创建自定义策略。 目前IAM支持以下两种方式创建自定义策略： 可视化视图：通过可视化视图创建自定义策略，无需了解JSON语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图：通过JSON视图创建自定义策略，可以直接在编辑框内编写JSON格式的策略内容。