本章节介绍天翼云云硬盘备份产品的相关协议。 天翼云云硬盘备份服务协议，详情请参见这里。

天翼云为您提供天翼云云迁移服务协议，请您点击查看。 天翼云云迁移服务CMS协议生效，详情请参见这里。

本页介绍天翼云TeleDB数据库的关键过程和能力。 分布式数据库‌HTAP（Hybrid Transactional and Analytical Processing）‌是指可同时支持在线事务处理（OLTP）和在线分析处理（OLAP）的数据库技术。HTAP将这两种功能集成到一个系统中处理事务请求和查询分析请求，从而更好的解决传统数据库系统在设计上对事务处理和分析处理的分离问题。同时，它不仅提高了数据处理的效率，还降低了企业的运营成本。TeleDB分布式数据库为了在同一集群中实现OLTP和OLAP的融合，专门设计了以下几种关键过程：分布式数据查询、SQL计算能力、高效的分布式 关联能力和并行计算能力。

本节介绍了云数据库GaussDB 的应用场景。 交易型应用 大并发、大数据量、以联机事务处理为主的交易型应用，如政务、金融、电商、O2O、电信CRM/计费等，服务能力支持高扩展、弹性扩缩，应用可按需选择不同的部署规模。 详单查询 具备PB级数据负载能力，通过内存分析技术满足海量数据边入库边查询要求，适用于安全、电信、金融、物联网等行业的详单查询业务。

本节介绍如何添加监控任务。 操作步骤 1. 登录控制中心找到天翼云云解析产品列表，点击“解析管理”进入域名维护页面。 2. 在域名维护页面，点击要修改的域名进入记录管理页。 3. 点击记录管理右侧第三个页签进入“解析监控”功能页。 4. 单击页面上方的“添加监控”按钮，用户在“添加监控任务”的操作界面完成配置。 5. 填写以下信息后，点“确定”添加监控记录。 参数说明如下： 参数 说明 主机记录 选择要监控的主机记录。 平台支持A记录监控，添加时自动关联已配置A记录的主机值并形成下拉选项供用户选择。 线路类型 选择要监控的线路。 平台支持默认、电信、联通、移动四种线路类型的监控，平台自动关联被监控主机记录已配置的线路。 监测记录值 选择要监控的记录值。 处理规则 不响应：故障发生时平台不做任何处理。 暂停解析 故障IP是分线路智能解析记录，若同主机名下仍有默认线路解析记录，暂停故障记录。 故障IP是默认线路解析记录，若同主机名下有其它可用的默认线路解析记录，暂停故障记录。 故障IP是默认线路解析记录，若同主机名下无可用默认线路解析记录，平台不做任何处理。 切换记录：用户配置监控任务时对监控记录设置一个备用IP。故障时切换到可用的备用IP。若切换时备用IP不可用，平台不做任何处理。 通知方式 支持邮件和短信通知，不勾选默认为不通知。 邮件通知：向登录邮件发送故障通知邮件。 短信通知：向登录账户主手机号码发送故障通知短信。

本章节主要介绍ALM24005 Flume传输数据异常的告警。 告警解释 告警模块对Flume Channel的容量状态进行监控，当Channel满的时长超过阈值，或Source向Channel放数据失败的次数超过阈值后，系统即时上报告警。 默认阈值为10，用户可通过conf目录下的配置文件properties.properties修改阈值：修改对应channel的“channelfullcount”参数。 当Flume Channel空间被释放，且告警处理完成时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24005 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 主机名 产生告警的主机名。 AgentId 产生告警的Agent id。 部件类型 产生告警的元素类型。 部件名 产生告警的元素名称。 对系统的影响 Flume Channel的磁盘空间使用量有继续增长的趋势，将会使数据导入到指定目的地的时间增长，当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 可能原因 Flume Sink故障，导致数据无法发送。 网络故障，导致数据无法发送。 处理步骤 检查Flume Sink是否故障 1.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“type hdfs”关键字确认Flume Sink是否是HDFS类型。 是，执行步骤2。 否，执行步骤3。 2.在FusionInsight Manager的告警列表中查看是否有“HDFS服务不可用”告警产生，服务列表中HDFS是否已停止。 是，如果有告警参考“ALM14000 HDFS服务不可用”的处理步骤处理该故障；如果HDFS已停止，启动HDFS服务，执行步骤7。 否，执行步骤7。 3.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“type hbase”关键字确认Flume Sink是否是HBase类型。 是，执行步骤4。 否，执行步骤5。 4.在FusionInsight Manager的告警列表中，查看是否有“HBase服务不可用”告警产生，服务列表中HBase是否已停止。 是，如果有告警参考“ALM19000 HBase服务不可用”的处理步骤处理该故障，如果HBase已停止，启动HBase服务。执行步骤7。 否，执行步骤7。 5.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“org.apache.flume.sink.kafka.KafkaSink”关键字确认Flume Sink是否是Kafka类型。 是，执行步骤6。 否，执行步骤9。 6.在FusionInsight Manager的告警列表中，查看是否有“Kafka服务不可用”告警产生，服务列表中Kafka是否已停止。 是，如果有告警参考“ALM38000 Kafka服务不可用”的处理步骤处理该故障；如果Kafka已停止，启动Kafka服务，执行步骤7。 否，执行步骤7。 7.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Flume > 实例”。 8.单击进入故障节点的Flume实例页面，查看指标“Sink速度指标”，检查其速度是否为0。 是，执行步骤13。 否，执行步骤9。

参数 是否必填 参数类型 说明 示例 下级对象 prodType 是 String 产品类型，0UNKNOWN, 1RDS, 2NoSql, 3TOOL, 4MemDB, 5AnalyticDB prodCode 是 String 产品编码，取值范围：HBASE/DDS/HBASE/MYSQL/POSTGRESQL/SQLSERVER regionId 是 String 区域id instanceType 是 String 通用型1，计算增强型2，内存优化型3，海光通用型4，海光计算增强型5,海光内存优化型6,鲲鹏通用型7，鲲鹏计算增强型8,鲲鹏内存优化型9

天翼云云下一代防火墙服务协议（新） 自2021年11月11日起，新版天翼云云下一代防火墙服务协议生效。 天翼云云下一代防火墙服务协议（旧）

授权类型 授权描述 Manager Manager访问与登录权限。 HBase HBase管理员权限设置和表、列族授权。 HDFS HDFS中的目录和文件授权。 Hive Hive Admin Privilege Hive管理员权限。 Hive Read Write Privileges Hive数据表管理权限，可设置与管理已创建的表的数据操作权限。 Hue 存储策略管理员权限。 Yarn Cluster Admin Operations Yarn管理员权限。 Scheduler Queue 队列资源管理。

配置参数 说明 缺省值 hbase.rpc.protection 设置HBase通道是否加密，包含HBase客户端访问HBase服务端的RPC（remote procedure call）通道，HMaster和RegionServer间的RPC通道。设置为“privacy”表示通道加密，认证、完整性和隐私性功能都全部开启，设置为“integrity”表示不加密，只开启认证和完整性功能，设置为“authentication”表示不加密，仅要求认证报文，不要求完整性和隐私性。 说明 privacy会对传输内容进行加密，包括用户token等敏感信息，以确保传输信息的安全，但是该方式对性能影响很大，对比另外两种方式，会带来约60%的读写性能下降。请根据企业安全要求修改配置，且客户端与服务端中该配置项需使用相同设置。 dfs.encrypt.data.transfer 设置客户端访问HDFS的通道和HDFS数据传输通道是否加密。HDFS数据传输通道包括DataNode间的数据传输通道，客户端访问DataNode的DT（Data Transfer）通道。设置为“true”表示加密，默认不加密。 “false” dfs.encrypt.data.transfer.algorithm 设置客户端访问HDFS的通道和HDFS数据传输通道是否加密。只有在dfs.encrypt.data.transfer配置项设置为true，此参数才会生效。 缺省值为“3des”，表示采用3DES算法进行加密。此处的值还可以设置为“rc4”，避免出现安全隐患，不推荐设置为该值。 “3des” hadoop.rpc.protection 设置Hadoop中各模块的RPC通道是否加密。包括： 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道，如DataNode与NameNode间。 客户端访问Yarn的RPC通道。 NodeManager和ResourceManager间的RPC通道。 Spark访问Yarn，Spark访问HDFS的RPC通道。 MapReduce访问Yarn，Mapreduce访问HDFS的RPC通道。 HBase访问HDFS的RPC通道。 默认设置为“privacy”表示加密，“authentication”表示不加密。 说明 您可以在HDFS组件的配置界面中设置该参数的值，设置后全局生效，即Hadoop中各模块的RPC通道是否加密全部生效。 安全模式：privacy 普通模式：authentication

本页介绍天翼云TeleDB数据库版本与文档声明。 本文档是基于商用发布的私有化部署的天翼云分布式数据库TeleDB V5.1.5为基线撰写，使用V5.1其他版本的用户可以作为参考使用。 虽然公有云的部分特性与本文档接近，但本手册不能用于天翼云公有云（ctyun.cn）、中国电信翼龙平台产品的参考。 其他小版本文档随产品软件安装包一并发布，如您已购买了本产品，可以联系天翼云工作人员获取相关产品安装包或安装光盘。 如您对本文档存在疑问，您可以通过天翼云服务渠道向我们反馈。我们会第一时间处理并向您反馈结果。

本章节主要介绍翼MapReduce服务的集群管理功能。 集群生命周期管理 翼MR支持集群的生命周期管理包括创建集群和删除集群。 创建集群：支持用户定制集群的类型，组件范围，各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息，翼MR将为用户自动创建一个符合配置的集群，全程无需用户参与；同时支持用户在集群中运行自定义内容；支持快速创建多应用场景集群，比如创建Hadoop分析集群、HBase集群、Kafka集群。大数据平台同时支持部署异构集群，在集群中存在不同规格的虚机，允许在CPU类型，硬盘容量，硬盘类型，内存大小灵活组合。在集群中支持多种虚机规格混合使用。 删除集群：当按需计费的集群不再需要时（包括集群中的数据和配置），用户可以选择删除集群，翼MR会将集群相关的资源全部删除。 创建集群 通过在翼MR服务管理面，客户可以按需创建翼MR集群，通过选择集群所建的区域及使用的云资源规格，一键式创建适合企业业务的翼MR集群。翼MR服务会根据用户选择的集群类型、版本和节点规格，帮助客户自动完成企业级大数据平台的安装部署和参数调优。 翼MR服务为客户提供完全可控的大数据集群，客户在创建时可设置虚拟机的登录方式（密码或者密钥对），所创建的翼MR集群资源完全归客户所用。同时翼MR支持在最小可在两节点4U8G的ECS上部署大数据集群，为客户测试开发提供更多的灵活选择。 翼MR集群类型包括分析集群、流式集群和混合集群。 分析集群：用来做离线数据分析，提供的是Hadoop体系的组件。 流式集群：用来做流处理任务，提供的是流式处理组件。 混合集群：既可以用来做离线数据分析，又可以用来做流处理任务，提供的是Hadoop体系的组件和流式处理组件。 自定义：根据业务需求，可以灵活搭配所需组件（翼MR 3.x及后续版本）。 翼MR集群节点类型包括Master节点、Core节点和Task节点。 Master节点：集群中的管理节点，分布式系统的Master进程和Manager以及数据库均部署在该节点；该类型节点不可扩容。该类型节点的处理能力决定了整个集群的管理上限，MRS服务支持将Master节点规格提高，以支持更大集群的管理。 Core节点：支持存储和计算两种目标的节点，可扩容、缩容。因承载的数据存储，因此在缩容时，为保证数据不丢失，有较多限制，无法进行弹性伸缩。 Task节点：仅用于计算的节点，可扩容、缩容。因只承载计算任务，因此可以进行弹性伸缩。 翼MR创建集群方式支持自定义创建集群和快速创建集群两种。 自定义创建集群：自定义创建可以灵活地选择计费模式、配置项，针对不同的应用场景，可以选择不同规格的弹性云服务器，全方位贴合您的业务诉求。 快速创建集群：用户可以根据应用场景，快速创建对应配置的集群，提高了配置效率，更加方便快捷。当前支持快速创建Hadoop分析集群、HBase集群、Kafka集群。 − Hadoop分析集群：Hadoop分析集群完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算，Presto交互式查询，Tez有向无环图的分布式计算框等Hadoop生态圈的组件，进行海量数据分析与查询。 − HBase集群：HBase集群使用Hadoop和HBase组件提供一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。 − Kafka集群：Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量，可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景，实现高效的流式数据采集，实时数据处理存储等。

二、安装dto 1）自动安装dto a）天翼云云主机 使用条件 1. 天翼云云主机支持一键安装客户端。 2. 需完成天翼云云主机同步。 操作步骤 1. 登录天翼云，进入控制中心。 2. 单击管理控制台左上角的，选择区域。 3. 在服务列表选择“计算”“多活容灾服务”，进入多活容灾服务控制台。 4. 点击左侧菜单栏“资源同步管理”“数据源”“客户端管理”，进入客户端管理列表页。 5. 在列表上方下拉菜单中选择需要进行操作的命名空间。 6. 客户端类型选择“dto客户端”，TAB栏选择天翼云云主机，点击操作列“安装dto客户端”按钮，确认安装须知后，点击“确定”按钮，进行dto客户端安装。 非天翼云云主机 使用条件 1. 非天翼云云主机提供dto客户端安装脚本供用户手动执行。 2. 需完成非天翼云云主机同步。 操作步骤 1. 登录天翼云，进入控制中心。 2. 单击管理控制台左上角的，选择区域。 3. 在服务列表选择“计算”“多活容灾服务”，进入多活容灾服务控制台。 4. 点击左侧菜单栏资源同步管理”“数据源”“客户端管理”，进入非天翼云云主机列表页。 5. 在列表上方下拉菜单中选择需要进行操作的命名空间。 6. 点击操作列“安装客户端”按钮，目前提供“公网”和“专线”的网络类型，根据当前网络情况并选择相关属性后，可复制安装命令，到三方主机中执行脚本，完成dto安装。

组件 配置文件目录 ClickHouse 客户端安装路径 /ClickHouse/clickhouse/config Flink 客户端安装路径 /Flink/flink/conf Flume 客户端安装目录 /fusioninsightflume xxx /conf HBase 客户端安装路径 /HBase/hbase/conf HDFS 客户端安装路径 /HDFS/hadoop/etc/hadoop Hive 客户端安装路径 /Hive/config Hudi 客户端安装路径 /Hudi/hudi/conf Kafka 客户端安装路径 /Kafka/kafka/config Loader 客户端安装路径 /Loader/loadertools xxx /loadertool/conf 客户端安装路径 /Loader/loadertools xxx /scheduletool/conf 客户端安装路径 /Loader/loadertools xxx /shellclient/conf 客户端安装路径 /Loader/loadertools xxx /sqoopshell/conf Oozie 客户端安装路径 /Oozie/oozieclient xxx /conf Spark2x 客户端安装路径 /Spark2x/spark/conf Yarn 客户端安装路径 /Yarn/config ZooKeeper 客户端安装路径 /Zookeeper/zookeeper/conf

本章节主要介绍翼MapReduce的静态服务资源操作。 简介 集群分配给各个服务的资源是静态服务资源，这些服务包括Flume、HBase、HDFS和Yarn。每个服务的计算资源总量固定，不与其他服务共享，是静态的。租户通过独占或共享一个服务来获取这个服务运行时需要的资源。 静态服务池 静态服务池用来指定服务资源的配置。 在服务级别上，静态服务池对各服务可使用的资源进行统一管理： 限制服务使用的资源总量，支持配置Flume、HBase、HDFS和Yarn在部署节点可使用的CPU、I/O和内存总量。 实现服务级别的资源隔离，可将集群中的服务与其他服务隔离，使一个服务上的负载对其他服务产生的影响有限。 调度机制 静态服务资源支持基于时间的动态调度机制，可以在不同时间段为服务配置不同的资源量，优化客户业务运行环境，提高集群的效率。 在一个复杂的集群环境中，多种服务共享使用集群资源，但是各服务的资源使用周期可能会有比较大的区别。 例如以下业务场景，对于一个银行客户： 在白天HBase查询服务的业务多。 在晚上查询服务的业务少而Hive分析服务业务多。 如果只给每个服务设置固定的资源可能会导致： 白天查询服务的资源不够用，分析服务的资源空闲。 晚上分析服务的资源不够用，查询服务的资源空闲。 集群资源利用率不高，而且服务能力也打了折扣。因此： 白天多配置HBase服务资源。 晚上多配置Hive服务资源。 这种基于时间的动态调度机制可以更高效的利用资源，运行任务。

表格存储服务（CloudTable ）和HBase数据源约束 1. CloudTable或HBase作为源端时，CDM会读取表的首行数据作为字段列表样例，如果首行数据未包含该表的所有字段，用户需要自己手工添加字段。 2. 由于HBase的无Schema技术特点，CDM无法获知数据类型，如果数据内容是使用二进制格式存储的，CDM会无法解析。 Hive数据源约束 Hive作为迁移的目的时，如果存储格式为Textfile，在Hive创建表的语句中需要显式指定分隔符。例如： CREATE TABLE csvtbl(smallintvalue smallint,tinyintvalue tinyint,intvalue int,bigintvalue bigint,floatvalue float,doublevalue double,decimalvalue decimal(9, 7),timestmampvalue timestamp,datevalue date,varcharvalue varchar(100),stringvalue string,charvalue char(20),booleanvalue boolean,binaryvalue binary,varcharnull varchar(100),stringnull string,charnull char(20),intnull int)ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'WITH SERDEPROPERTIES ("separatorChar" "t","quoteChar" "'","escapeChar" "")STORED AS TEXTFILE;

本章节主要介绍在HDFS服务进行Master扩容后，对其他相关服务的修改建议。 前置条件 1. HDFS NameNode完成扩容与配置生效操作。 2. 配置生效后重启HDFS服务。 3. 集群状态正常。 相关服务修改建议 YARN 前往翼MR Manager，重启ResourceManager，NodeManager，JobHistory，TimelineServer实例。 Spark 前往翼MR Manager，重启SparkHistoryServer实例。 Hive 前往翼MR Manager，重启HiveServer2、MetaStore实例。 Kyuubi 前往翼MR Manager，重启Kyuubi服务。 Flink 前往翼MR Manager，重启FlinkHistoryServer实例。 HBase 前往翼MR Manager，滚动重启HBase服务。 Trino 前往翼MR Manager，重启TrinoCoordinator和TrinoWorker实例。

天翼云云点播用户指导手册下载。 天翼云云点播用户操作指导书202603191519118.pdf

设备子类 设备型号 web服务 apache、jboss、tomcat、IIS、其他等 web中间件 weblogic、websphere等 数据库 oracle、DB2、sql server、mysql、postgresql、sybase、redis、mongodb、memcache、hbase、informix、domino、达梦、elasticsearch、hadoop、hive、Teradata、Impala、gbase等 FTP VSFTP、servu DNS bind、牙木 防病毒 McAfee防病毒系统、趋势防病毒系统、天融信防病毒网关、天融信防病毒等 其他 bash、wget、curl、snmp、rsync、nfs等 网管系统 HP OpenView NNM、IBM NetCool、CiscoWorks、网神网管系统等

二、安装drnode 1）自动安装drnode a）天翼云云主机 使用条件 1. 天翼云云主机支持一键安装客户端。 2. 需完成天翼云云主机同步。 操作步骤 1. 登录天翼云，进入控制中心。 2. 单击管理控制台左上角的，选择区域。 3. 在服务列表选择“计算”“多活容灾服务”，进入多活容灾服务控制台。 4. 点击左侧菜单栏“资源同步管理”“数据源”“客户端管理”，进入客户端管理列表页。 5. 在列表上方下拉菜单中选择需要进行操作的命名空间。 6. 点击操作列“安装客户端”按钮，确认安装须知后，点击“确定"按钮，进行drnode客户端安装。 b）非天翼云云主机 使用条件 1. 非天翼云云主机提供drnode客户端安装脚本供用户手动执行。 2. 需完成非天翼云云主机同步。 操作步骤 1. 登录天翼云，进入控制中心。 2. 单击管理控制台左上角的，选择区域。 3. 在服务列表选择“计算”“多活容灾服务”，进入多活容灾服务控制台。 4. 点击左侧菜单栏资源同步管理”“数据源”“客户端管理”，进入非天翼云云主机列表页。 5. 在列表上方下拉菜单中选择需要进行操作的命名空间。 6. 点击操作列“安装客户端”按钮，目前提供“公网”和“专线”的网络类型，根据当前网络情况并选择相关属性后，可复制安装命令，到三方主机中执行脚本，完成drnode安装。

数据在数据仓库服务中是否安全？ 安全。在大数据时代，数据是用户的核心资产。将继续秉承多年来向社会做出的“上不碰应用，下不碰数据”的承诺，保证用户核心资产的安全。这是我们对用户和社会的承诺，也是云平台及其伙伴商业成功的保障和基石。 我们的数据仓库服务工程师对整个数据仓库系统进行了电信系统级别的安全增强，大量地采用了多年来在电信行业里积累的各种经验和知识，特别是针对数据安全，用户隐私方面的技术和专利。因此，数据仓库服务是一款符合电信级质量要求的产品，满足各级政府，金融机构，电信运营商对数据安全和用户隐私的要求，并在以上各行业被广泛使用。数据仓库服务还获得了如下安全认证： 网络安全实验室ICSL的认证：该认证是遵从英国当局颁布的网络安全标准设立的。 隐私和安全管理当局PSA的官方认证：该认证满足欧盟对数据安全和隐私的要求。 业务数据安全 数据仓库服务构建在云平台的基础软件设施之上，包括云主机弹性云主机和对象存储服务OBS。 DWS用户的业务数据是直接存放在集群的云主机当中，集群的云主机对DWS用户本身不可见，只向用户提供数据仓库访问服务，用户以及云平台的运维管理员均无法登录DWS集群云主机进行操作。 DWS集群云主机操作系统进行了严格的安全加固，包括内核安全加固，系统最新补丁，权限控制，端口管理，协议与端口防攻击等。 DWS提供完整的密码策略、身份认证、会话管理、用户权限管理和数据库审计等安全措施。

问题现象 客户对DWS执行并发insert overwrite操作，报错：org.postgresql.util.PSQLException: ERROR: tuple concurrently updated。 原因分析 客户作业存在并发操作，同时对一张表执行两个insert overwrite操作。 一个cn在执行： TRUNCATE TABLE BIMONITOR.SAAOUTBOUNDORDERCUSTSUM 另外一个cn在执行： call bimonitor.pkgsaaoutboundmonitorpsaaoutboundordercustsum 这个函数里面有delete 和 insert SAAOUTBOUNDORDERCUSTSUM的操作。 处理步骤 修改作业逻辑，避免对同一张表并发执行insert overwrite操作。 通过跨源表向CloudTable Hbase表导入数据，executor报错：RegionTooBusyException 问题现象 客户通过DLI跨源表向CloudTable Hbase导入数据，原始数据：HBASE表，一个列簇，一个rowkey运行一个亿的模拟数据，数据量为9.76GB。导入1000W条数据后作业失败。 原因分析 1. 查看driver错误日志。 2. 查看executor错误日志。 3. 查看task错误日志。 结论：rowkey过于集中，出现了热点region。 处理步骤 1. Hbase做预分区。 2. 把rowkey散列化。 建议与总结 建议DLI在写入数据时也将数据离散化，避免大量数据写入同一个regionServer，同时，在insert语句后增加distribute by rand()。 通过DLI跨源写DWS表，非空字段出现空值异常 问题现象 客户在DWS建表，然后在DLI创建跨源连接读写该表，突然出现如下异常，报错信息显示DLI向该表某非空字段写入了空值，因为非空约束存在导致作业出错。 报错信息如下： DLI.0999: PSQLException: ERROR: dn60096010: null value in column "ctr" violates notnull constraint Detail: Failing row contains (400070309, 9.00, 25, null, 20200922, 20200923 04:30:01.741).

参考 在创建数据连接的界面上MRS Hive集群不显示？ 出现该问题的可能原因有： 1. 创建MRS集群时未选择Hive/HBase组件。 2. 创建MRS数据连接时所选择的CDM集群和MRS集群网络不互通。CDM集群作为网络代理，与MRS集群需网络互通才可以成功创建基于MRS的数据连接。 为什么Hive数据连接突然无法获取数据库或表的信息？ 可能是由于CDM集群被关闭或者并发冲突导致，您可以通过切换agent代理来临时规避此问题。

对象存储可与其他云产品集成和配合使用,构建出高效、灵活的云计算应用解决方案。本文为您介绍对象存储与其他服务的关系。 对象存储（CTZOS，Zettabyte Object Storage）是天翼云云计算产品组合中的一部分，与其他产品相互关联。除了对象存储，天翼云还提供了其他云计算产品和服务，如云主机、关系数据库、云监控等，这些产品可以在天翼云平台上进行集成和使用。例如，可以将文件、图片、视频等数据存储在对象存储中，然后通过弹性云主机进行访问和处理。 说明： 服务名称 交互功能 相关内容 弹性云主机 在弹性云主机上实现通过天翼云内网访问ZOS。 购买弹性云主机 云专线 通过相关服务将数据迁移到ZOS中。 开通云专线 云监控 监控用户/桶的存储容量、存储对象数量、本月公网流出流量、本月请求次数、公网流出流量、公网流入流量、内网流出流量、内网流入流量、公网请求次数、内网请求次数、有效请求率、平均使用带宽。 查看云监控 密钥管理 对上传到ZOS中的文件进行加密。 开通密钥管理 域名服务 为托管在ZOS上的静态网站做域名解析。 配置内网域名 关系数据库 使用ZOS作为数据库的数据备份资源池。 创建关系数据库MySQL版实例

天翼云云解析服务协议（新） 自2021年11月11日起，新版云解析服务协议生效。 天翼云云解析服务协议（旧）

本文介绍天翼云云搜索服务内核增强能力及和开源组件对比能力。 天翼云在开源Elasticsearch和OpenSearch的基础上做了大量内核能力增强。具体支持对应表如下： 功能项 天翼云云搜索OpenSearch增强 天翼云云搜索Elasticsearch增强 开源Elasticsearch 开源OpenSearch 向量检索 支持 支持 不支持 支持 压缩算法 支持 支持 不支持 支持 跨集群复制 支持 支持 不支持 支持 SQL功能 支持 支持 不支持 支持 简繁体转换 支持 支持 不支持 不支持 细粒度权限 支持 支持 不支持 支持 异步搜索 支持 支持 不支持 支持 流量控制 支持 不支持 不支持 不支持 中文分词增强 支持 支持 不支持 不支持

本章节主要介绍使用DataArts Studio前的准备。 在使用DataArts Studio前，您应首先进行数据与业务调研，选择合适的数据治理模型。 然后参考本章节，预先做好以下准备工作： DataArts Studio准备工作 准备数据源 准备数据湖 DataArts Studio准备工作 如果您是第一次使用DataArts Studio，请参考用户指南中的“准备工作”章节，完成创建DataArts Studio实例、创建工作空间等一系列操作。然后找到对应的工作空间，即可开始数据开发与运营。 准备数据源 在实际业务中，源端数据源大多为云下的MySQL、PostgreSQL、HBase、Hive等类型，您需要作如下准备： 确保数据源所在的主机可以访问公网。 获取数据源的公网连接地址、数据库端口、数据库管理员用户及密码等信息。 确保防火墙规则出方向已开放数据库端口，允许数据传输到云上。 准备好数据源之后，后续您可以通过数据集成将数据源迁移到数据湖底座中，然后再通过DataArts Studio进行数据开发、治理和运营等活动。 准备数据湖 在使用DataArts Studio前，您需要根据业务场景选择符合需求的云服务作为DataArts Studio的数据湖底座，用于存储原始数据和数据开发过程中的数据，并进行后续的数据开发、治理和运营等活动。DataArts Studio平台当前支持的数据湖产品请参见DataArts Studio支持的数据源。 准备好数据湖之后，您可以通过创建数据连接将DataArts Studio与数据湖底座连接起来，然后进行下方1和2的操作。1和2的操作样例可参考快速入门中的“2：准备工作”章节。

翼MR2.18.0 发布时间：2025年5月 新增Amoro与Hue组件服务 升级Doris版本至2.1.8 华南2资源池新增可用区2与可用区3 组件 版本 Doris 2.1.8 Elasticsearch 7.10.2 HBase 2.4.12 HDFS 3.3.3 Hive 3.1.2 Kafka 2.8.1 Kerberos 1.18.2 Kibana 7.10.2 Kyuubi 1.8.2 OpenLDAP 2.4.50 Ranger 2.2.0 Spark 3.4.1 Trino 440 YARN 3.3.3 ZooKeeper 3.7.1 Flink 1.16.2 Knox 1.6.1 Logstash 7.10.2 Iceberg 1.4.3 Hudi 0.14.0 JeekeFS 1.1.1 Tez 0.10.1 Flume 1.11.0 KafkaUI 1.0.0 SeaTunnel 2.3.7 Pushgateway 1.6.2 TezUI 0.10.1 Amoro 0.7.1 Hue 4.11.0 翼MR2.17.0 发布时间：2025年3月 支持物理机服务 支持麒麟系统 新增海光与鲲鹏国产云主机规格 数据湖与自定义业务场景新增TezUI组件服务 Doris组件版本升级至2.1.6，Trino升级至440，Flume升级至1.11.0 新增Master扩容能力 新增重置集群主机密码能力 对接云日志服务 对接云审计服务 优化元数据库配置能力 组件 版本 Doris 2.1.6 Elasticsearch 7.10.2 HBase 2.4.12 HDFS 3.3.3 Hive 3.1.2 Kafka 2.8.1 Kerberos 1.18.2 Kibana 7.10.2 Kyuubi 1.8.2 OpenLDAP 2.4.50 Ranger 2.2.0 Spark 3.4.1 Trino 440 YARN 3.3.3 ZooKeeper 3.7.1 Flink 1.16.2 Knox 1.6.1 Logstash 7.10.2 Iceberg 1.4.3 Hudi 0.14.0 JeekeFS 1.1.1 Tez 0.10.1 Flume 1.11.0 KafkaUI 1.0.0 SeaTunnel 2.3.7 Pushgateway 1.6.2 TezUI 0.10.1

本章节主要介绍数据治理中心的管理集群配置功能。 集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时，能够简化复杂的连接参数配置，详见下图：使用集群配置前后对比 CDM支持的Hadoop类型连接主要包括以下几类： MRS集群：MRS HDFS，MRS HBase，MRS Hive。 FusionInsight集群：FusionInsight HDFS，FusionInsight HBase，FusionInsight Hive。 Apache集群：Apache HDFS，Apache HBase，Apache Hive。 操作场景 当需要新建Hadoop类型连接时，建议先创建集群配置，以简化复杂的连接参数配置。 前提条件 已创建集群。 已参见下表：集群配置文件和Keytab文件获取方式获取相应Hadoop集群配置文件和Keytab文件。 获取集群配置文件和Keytab文件 不同Hadoop类型的集群配置文件和Keytab文件获取方式有所不同，请参见下表获取相应Hadoop集群配置文件和Keytab文件。 集群配置文件和Keytab文件获取方式 Hadoop类型连接 集群配置文件获取方式 Keytab文件获取方式 MRS集群 MRS HDFS MRS HBase MRS Hive 针对MRS 3.x版本集群： 1. 登录FusionInsight Manager。 2. 选择“集群> >待操作的集群名称>概览> >更多> >下载客户端”，界面显示“下载集群客户端”对话框。 3. 对话框中选择“仅配置文件”，平台类型和服务端保持一致，单击确认后进行本地下载。 4. 获取下载的tar包，此即为FusionInsight集群配置文件。 针对MRS 2.x及之前版本集群： 1. 登录MRS管理控制台。 2. 选择“集群列表>现有集群”，单击集群名称进入集群详情页面，单击“组件管理”。 3. 单击“下载客户端”。“客户端类型”选择“仅配置文件”，“下载路径”选择“服务器端”或“远端主机”，自定义文件保存路径后，单击“确定”开始生成客户端配置文件。 4. 将生成的配置文件，保存到本地路径。 具体可参见MapReduce服务文档访问FusionInsight Manager（MRS 3.x及之后版本）。 针对MRS 3.x版本集群： 1. 登录FusionInsight Manager。 2. 通过“系统> >权限>用户”，选择所需用户所在行，点击“更多> >下载认证凭据”下载认证凭据文件。 3. 获取下载的tar包，此即为FusionInsight集群Keytab文件。 针对MRS 2.x及之前版本集群： 1. 登录MRS服务的Manager，单击“系统设置”。在“权限配置”区域，单击“用户管理”。 2. 在需导出keytab文件用户所在的行，选择“更多>下载认证凭据”下载认证文件，待文件自动生成后指定保存位置，并妥善保管该文件。 具体可参见MapReduce服务文档访问FusionInsight Manager（MRS 3.x及之后版本）。 FusionInsight集群 FusionInsight HDFS FusionInsight HBase FusionInsight Hive 1. 登录FusionInsight Manager。 2. 选择“集群> >待操作的集群名称>概览> >更多> >下载客户端”，界面显示“下载集群客户端”对话框。 3. 对话框中选择“仅配置文件”，平台类型和服务端保持一致，单击确认后进行本地下载。 4. 获取下载的tar包，此即为FusionInsight集群配置文件。 具体可参见FusionInsight文档FusionInsight Manager操作指导（适用于3.x）。 1. 登录FusionInsight Manager。 2. 通过“系统> >权限>用户”，选择所需用户所在行，点击“更多> >下载认证凭据”下载认证凭据文件。 3. 获取下载的tar包，此即为FusionInsight集群Keytab文件。 具体可参见FusionInsight文档FusionInsight Manager操作指导（适用于3.x）。 Apache集群 Apache HDFS Apache HBase Apache Hive Apache集群场景下，此处仅说明需要哪些配置文件与打包原则，各配置文件的具体获取方式请参见对应版本说明文档。 HDFS需要将以下文件压缩为无目录格式的zip包： − hosts − coresite.xml − hdfssite.xml − yarmsite.xml − mapredsite.xml − krb5.conf（可选，安全模式集群使用） HBase需要将以下文件压缩为无目录格式的zip包： − hosts − coresite.xml − hdfssite.xml − yarmsite.xml − mapredsite.xml − hbasesite.xml − krb5.conf（可选，安全模式集群使用） Hive需要将以下文件压缩为无目录格式的zip包： − hosts − coresite.xml − hdfssite.xml − yarmsite.xml − mapredsite.xml − hivesite.xml − hivemetastoresite.xml − krb5.conf（可选，安全模式集群使用） Apache集群场景下，此处仅说明认证凭据文件打包原则，认证凭据文件具体获取方式请参见对应版本说明文档。 1. 将用户的认证凭据文件重命名为user.keytab。 2. 将user.keytab文件压缩为无目录格式的zip包：user.keytab.zip。 说明 集群配置文件包含集群的配置参数。如果修改了集群的配置参数，需重新获取获取配置文件。 Keytab文件为认证凭据文件。获取Keytab文件前，需要在集群上至少修改过一次此用户的密码，否则下载获取的keytab文件可能无法使用。另外，修改用户密码后，之前导出的keytab将失效，需要重新导出。 Keytab文件在仅安全模式集群下使用，普通模式集群下无需准备Keytab文件。

云产品 应用场景 描述 相关操作 虚拟专用网络VPN 连接云上VPC与本地IDC VPN连接（Virtual Private Network）用于搭建用户本地数据中心与天翼云VPC之间便捷、灵活，即开即用的IPsec加密连接通道，实现灵活一体，可伸缩的混合云计算环境。 云专线CDA 依托高性能网络布局和丰富链路资源，连接VPC与本地IDC 天翼云云专线（CTCDA，Cloud Dedicated Access），依托中国电信高性能网络布局和丰富链路资源，为用户本地数据中心与天翼云VPC之间提供高速、低时延、稳定安全的连接服务，灵活搭建云上云下专属通道，实现可伸缩的混合云部署。

本章节介绍天翼云云主机备份产品的相关协议。 自2021年11月11日起，新版云主机备份产品服务协议生效。详情请参见这里。 天翼云云主机备份服务协议 历史版本（20201111）

原因分析 Flink jar包冲突。用户提交的flink jar 与 DLI 集群中的hdfs jar包存在冲突。 处理步骤 1.将用户pom文件中的的hadoophdfs设置为： org.apache.hadoop hadoophdfs ${hadoop.version} provided 或使用exclusions标签将其排除关联。 2.若使用到hdfs的配置文件，则需要将coresite.xml、hdfssite.xml、yarnsite.xml 修改为mrscoresite.xml、mrshdfssite.xml、mrshbasesite.xml。 conf.addResource(HBaseUtil.class.getClassLoader().getResourceAsStream("mrscoresite.xml"), false); conf.addResource(HBaseUtil.class.getClassLoader().getResourceAsStream("mrshdfssite.xml"), false); conf.addResource(HBaseUtil.class.getClassLoader().getResourceAsStream("mrshbasesite.xml"), false); Flink jar 如何连接SASLSSL？ 使用Flink Jar连接开启SASLSSL认证的Kafka。