本节主要介绍表管理 打开表 操作场景 PostgreSQL数据库管理中的表格没有主键，不能进行编辑操作。 操作步骤 1. 在顶部导航栏选择“库管理”，在对象列表页签左侧菜单栏选择“表”，并在表列表右侧操作栏中，单击“打开表”。 打开表 2. 在表详情页面，可以根据需要设置显示的行数，您也可以对行和列进行复制重用 表详情页面 界面操作说明 名称 功能说明 :: Where条件 您可通过where查询，快速获取查询信息。 复制行 双击选择行，单击“复制行”，即可复制所选行数据信息。 复制列 在列下拉框中选择所需复制的列，即可复制列信息。 列设置 您可通过“列设置”筛选出需显示的列信息。 刷新 支持对表数据进行手动更新。 单行详情 显示指定数据行详细信息。 where条件查询 查看表详情 操作步骤 您可在顶部导航栏选择“库管理”。 1. 在库管理页面对象列表页签中选择“表”，在表列表右侧操作栏中单击“查看表详情”。 查看表详情 2. 在查看表详情弹出框中，您可方便直观查看表基本信息。 查看表详情

本节主要介绍SQL操作 SQL查询 操作步骤 1. 在顶部菜单栏选择“SQL操作”>“SQL查询”，打开一个SQL窗口。 2. SQL操作主要针对数据库中的表与视图，您可在SQL窗口左侧导航栏，选择数据库表或者视图。 执行SQL：用于执行SQL语句。 执行计划：用于反馈SQL的执行情况，便于排查问题，优化与提升SQL处理性能。 我的SQL：DAS支持用户添加常用的SQL，以及查看和管理SQL语句。 格式化：用于提高SQL语句易读性，只是转换SQL语句的显示形式，不会修改SQL的执行逻辑和语义。 格式化功能是对整个SQL 窗口内所有SQL语句进行格式化，暂不支持选中多条语句中的某一条进行格式化。 SQL提示：用户在SQL窗口输入语句时帮助用户快速输入用户的库名、表名、字段名称。 覆盖/追加模式： 追加模式：每次执行SQL时，之前结果集将会保留，创建新标签页显示新结果集。 覆盖模式：每次执行SQL时，会清空之前结果集，并显示SQL新结果集。 全屏显示：当输入的SQL语句较多时吗，可以打开全屏开关，方便用户查看。 3. SQL执行后，您可在页面下方的“SQL执行记录”、“消息”、“结果集”栏，查看该SQL运行情况。 执行SQL 操作步骤 1. 在顶部菜单栏选择“SQL操作”>“SQL查询”，打开一个SQL窗口，在左侧结构树选择数据库和Schema。 2. 在SQL窗口输入需要执行的SQL语句，单击“执行SQL”进行SQL查询或者更新。 建议打开SQL提示开关，用户在SQL窗口输入语句时可以帮助用户快速输入用户的库名、表名、字段名称等信息。 数据管理服务支持同时执行多条SQL语句，SQL语句需要用英文分号（;）隔开。此时建议打开全屏模式开关，帮助用户清晰查看SQL语句的逻辑层次。 如果只执行部分SQL语句，则选中要执行的SQL语句。 如果全部执行，则不选中或者选中所有的SQL语句。 3. 执行SQL后，在窗口下方可查看历史SQL执行记录及当前执行信息。单击“消息”页签，可获取SQL语句的执行情况和执行影响范围，数据的进度及耗时信息。 4. 在“结果集”页签下，您可以查看SQL语句的执行结果详情。并对结果集进行以下编辑操作。 复制行、复制列：复制某一行或列进行重复使用。 列设置：当查询的结果中列字段较多时可以自定义显示，方便使用。 刷新：刷新已变更的数据信息。 单行详情：显示选中行的列字段名称、类型和单行数据。 执行计划

操作步骤 1. 在顶部菜单栏选择“数据方案”>“数据追踪与回滚”打开数据追踪与回滚任务列表页面。 说明 您可根据时间范围或数据库名称等条件筛选查询。 您可勾选目标任务并进行删除操作，将同步删除变更记录DAS存储 在任务列表“任务ID”栏下单击目标任务ID，即可查看该任务详情。 在任务列表操作栏下单击“进入任务”，即可查看任务信息、搜索日志及回滚任务列表等日志追踪与回滚详情。 创建的任务将在15天后过期，系统会自动回收并删除在DAS存储中的变更记录。 2. 在任务列表页面，单击页面左上角“新建追踪任务”，在新建任务弹窗中，设置数据追踪任务基本信息，如任务名、时间范围、数据库名等。 说明 首次进行数据回滚的用户需查看并勾选同意协议，才能创建数据追踪任务。 任务追踪与回滚的时间范围默认为3小时。 3. 在弹窗下部单击“预检查”，在预检查页面你可获取具体时间点的操作详情。 说明 预检查会根据时间范围筛选Binlog列表，开启备份的RDS实例会定时备份Binlog文件到OBS桶中，备份会有不大于5分钟的延迟。 当您发起对当前时间数据追踪时，存在无最新5分钟变更记录的可能，遇到该情况稍后重新创建任务即可。 4. 在弹窗下部单击“读取日志”，获取日志详情信息。 读取日志会发起Binlog解析，根据任务信息将存储涉及变更记录信息，以便支持后续数据筛选及展示。 说明 所有日志读取成功才能进行搜索日志等相关操作。 当前一次任务读取不完全时，再次启动追踪任务，可能出现读取日志开始时间比日志结束时间晚的情况，属于正常情况。 5. 在弹窗下部单击“搜索日志”，进入搜索日志页面，获取变更事件列表信息。 6. 当有多个事件需要合并回滚时，在搜索日志页面单击“新建回滚任务”，在“新建回滚任务”弹窗中指定回滚事件ID范围，将合并后的回滚SQL生成到OBS桶中，并按需设置高级选项信息，设置完成后单击“确定”。 说明 开始事件ID及结束事件ID为任务列表中ID号，且应按正序填写。 变更合并 对同一记录（主键）连续3次变更（1→2→3→4）等价于1次变更（1→4）。 语句类型选项 生成基于事件的回滚SQL：针对数据发生变更时的前后镜像生成反向变更SQL。 获取数据变更前的原始数据：将数据变更前镜像生成回滚表及insert语句。 7. 在回滚任务列表页面，您可查看当前回滚任务信息或新建回滚任务。 在任务列表操作栏下单击“查看详情”，可查看本次回滚任务的详情信息。 在任务列表操作栏下单击“下载”，可在本地获取本次任务数据压缩包。 说明 同一记录合并变更存在变更抵消情况（insert>delete，delete>insert，update>update），因此生成文件会存在无回滚SQL或无原始数据情况。

数据导出 前提条件 您已经在MySQL数据库管理服务控制台中创建用户库。详情请参见首页新建数据库。 操作场景 由于数据查询只限于服务少量数据的实时查询，数据量大时，需要分页查看，此时，您可通过数据导出功能，快捷获得一次查询的所有数据信息；或者当进行数据备份或迁移时，您也可通过数据导出功能，获取完整的数据信息。 操作步骤 1. 在云服务登录页面，输入账号及密码，登录管理控制台。 2. 单击管理控制台左上角的，选择区域和项目。 3. 在服务列表页面，选择“数据库 > 数据管理服务”，进入数据管理服务信息页面。 4. 选择需要登录的数据库，单击操作栏的“登录”。进入MySQL数据库管理服务首页。 5. 在顶部菜单栏选择“导入·导出”>“导出”。 6. 在导出页面，单击左上角“新建任务”，您可根据需要选择“导出数据库”或“导出SQL结果集”。下文以导出数据库为例，导出SQL集同理。 您也可通过单击“快速导出”，选择目标数据库，在创建快速导出任务弹窗中选择存储位置，并单击“确定”。 7. 在导出数据库弹出页面，您可按需选填“基本信息”及“高级选项”，并在页面右侧选择需要导出的表。 说明 SQL结果集导出任务中，执行SQL的最大限制是5M。 数据库分用户库和系统库，系统库不支持导出功能。如需导出，您需把创建用户数据库，业务部署到用户库，然后再执行导出操作。 DAS在执行导出操作时，会连接到您的备库进行导出，可以有效规避导出时对主库的性能影响，但当备库复制延迟较大时，会存在“导出的数据不是最新数据“的可能性。 8. 设置完导出任务信息，单击弹出页面下部“确定”，创建导出任务。 9. 在导出任务列表页面，您可查看任务ID、任务类型、任务状态、进度等信息。 10. 您可在列表操作栏，单击“查看详情”，在任务详情弹出页面，查看本次导出任务执行的详情信息。

参数全称 参数缩写 Yaml 模式下必填 参数含义 event e 选填 标准运行时函数的事件数据。

本节主要介绍结构方案 表结构对比与同步 操作场景 当您进行迁移或者验证操作时，可通过表结构对比与同步功能获取结构的差异性。 操作步骤 1. 在顶部菜单栏选择“结构方案”>“表结构对比与同步”打开任务列表页面。 您可根据对比任务状态、检索条件进行筛选，查看任务详请。 2. 在表结构对比与同步列表页面，单击左上方“新建表结构对比与同步任务”。 3. 在“创建任务”页签中设置任务信息，选择基准库、目标实例、目标库，勾选容错选项，并设置同步类型。任务创建完成，单击“下一步”。 4. 在对比阶段页面，您可查看对比对象信息及在对比列表中选择需跳过的对比项，单击“提交对比”。 关于对比项，您也可根据需要，勾选“跳过”取消对比操作。 5. 查看对比进度，在对比项列表中单击“查看日志”获取对比详情信息，并支持下载DDL。 6. 在“对比阶段”页面单击“下一步”，进入“同步阶段”，您可获取本次任务基本信息，如基准实例、基准库、目标实例、目标库、同步类型信息，可在同步项列表中设置本次任务中的同步项。 7. 在同步阶段页面，您可按需选择同步项或对于同步风险较高的一些项可以选择“跳过”，单击“执行同步”。 8. 同步完成后，您可在同步项列表中单击“查看日志”，获取对比详情信息，并支持下载全部DDL、同步成功DDL及同步失败DDL。

本节主要介绍账号管理 角色管理 操作步骤 1. 在顶部菜单栏中选择“账号管理”>“角色管理”，进入角色管理列表页面。 2. 在角色管理列表页面，单击页面左上角“新建角色”，进入新建角色页面。 3. 在“常规”页签下，输入角色名（必填），设置密码、确认密码等信息。确认无误后，单击页面下部“保存”，并再次在SQL预览弹窗中单击“确定”进行二次确认，即可创建成功。 4. （可选）在新建角色页面选择“所属角色组”页签，选择“授予”和“具有授予权限”复选框，单击页面下部“保存”，并再次在SQL预览弹窗中单击“确定”进行二次确认。 5. （可选）在新建角色页面选择“权限”页签，单击“添加”，在权限选择弹窗中，按需选择资源类型、数据库、Schema等信息，设置信息无误后，单击页面下部的“保存”，并在SQL预览弹窗中单击“确定”。 6. 您可在角色管理列表页面，对已有角色进行编辑，其中，编辑操作可参考3~5。您也可删除已有角色，删除后不可恢复，请谨慎操作。

本节主要介绍存储过程管理 新建存储过程 概述 存储过程是一组为了完成特定功能的SQL语句的集合，它经编译后存储在数据库中，用户可以通过存储过程的名称并给出参数来执行。 操作场景 存储过程对完成特定功能的SQL语句集或者处理复杂的业务均较为实用，例如您可通过存储过程快速完成循环插入对象等操作。 前提条件 具有CREATE ROUTINE权限的用户可创建存储过程。 具有Execute权限的用户可执行存储过程。 操作步骤 1. 在顶部导航栏选择“库管理”，在对象列表页签下选择“存储过程”，单击页面左上侧“新建存储过程”。 2. 在新建存储过程弹出框中填写存储过程名称、描述信息，单击“确定”，进入新建存储过程编辑页面。 3. 在存储过程页面中跟进业务需求设置选项信息，您可保存、执行存储过程。 4. 执行存储过程后，您可在页面下部消息栏中查看执行情况。 修改或执行存储过程 操作步骤 1. 在顶部导航栏选择“库管理”，在对象列表页签下选择“存储过程”，在右侧操作栏单击“修改或执行”。 2. 在修改存储过程编辑页面编辑信息，你可以根据业务需求设置选项，单击“保存”保存修改信息。 3. 执行存储过程，调用该对象，您可在页面下部消息栏中查看执行情况。 删除存储过程 操作步骤 1. 在顶部导航栏选择“库管理”，在对象列表页签下选择“存储过程”，在右侧操作栏单击“删除存储过程”。 2. 在确认删除存储过程弹出框中，单击“确定”即可。 注意 删除操作无法恢复，请谨慎选择。

本节主要介绍命令操作 DAS服务可通过SQL语句对数据库中的集合和视图进行管理，方便用户使用。 操作步骤 1. 在文档数据库管理页面，单击顶部菜单栏“命令操作”>“命令查询”。 2. 在命令查询页面编辑您需要执行的命令，单击“执行命令”。 执行命令 在命令查询页面下部窗口，查看当前执行情况。 结果集 在命令执行记录页签下，您可获取历史命令执行信息。 在消息页签中获取当前命令执行成功/失败情况，及耗时信息。 说明 因为当前不支持db.collection.aggregate() 命令，可以先使用 db.runCommand命令替代。具体语法使用请参考以下示例。 db.runCommand({ aggregate: "collection", pipeline: [{ "$match": { "time": { "$gte": 20.0 } } }, { "$sort": { "time": 1.0 } } ] SQL执行有两种模式： 追加模式：每次执行命令时，之前结果集将会保留，创建新标签页显示新结果集。 覆盖模式：每次执行命令时，会清空之前结果集，并显示新结果集。 命令执行记录 前提条件 您已在命令查询窗口执行过SQL命令。 在命令查询窗口开启“命令保存到执行记录”。 操作步骤 在文档数据库管理页面，顶部菜单栏单击“命令操作”>“命令执行记录”。 在命令执行记录列表中，您可以查看历史执行记录信息。 命令执行记录列表 支持通过时间范围、库名、命令关键字进行快速搜索执行记录信息。 所属库名：单击库名，您可从该页面直接进入该数据库库管理页面。 SQL语句：您可单击查看当前记录的SQL语句，支持复制使用。 命令窗口打开：为方便查看与使用，支持在命令窗口打开该执行信息。

本节主要介绍函数管理 新建函数 操作步骤 1. 在顶部导航栏选择“库管理”，在对象列表页签下选择“函数”，单击页面左上侧“新建函数”。 2. 在新建函数弹出框中填写函数名称，设置返回值类型及描述信息，单击“确定”，进入函数编辑页面。 3. 在函数编辑页面，您只需在已生成函数的创建模板中编写函数体部分。 4. 在新建函数窗口左上方选择“选项”，您可在选项弹出框中按需设置相关信息，单击“确定”。 您可“保存”当前新建函数，也可单击执行函数，调用该对象，并在页面下方消息栏查看运行情况。 修改或执行函数 操作步骤 1. 在顶部导航栏选择“库管理”，在对象列表页签下选择“函数”，单击页面操作栏的“修改或执行”。 2. 在函数详情页面修改函数信息，按需设置选项，单击“保存”保存修改信息，或者您可直接单击“执行函数”，调用该对象。 删除函数 操作步骤 1. 在顶部导航栏选择“库管理”，在对象列表页签下选择“函数”，单击页面操作栏的“删除函数”。 2. 在删除函数弹出框中，单击“确定”。 注意 删除操作无法恢复，请谨慎选择。 查看函数详情 操作步骤 1. 在顶部导航栏选择“库管理”，在对象列表页签下选择“函数”，单击页面操作栏的“查看函数详情”。 2. 在查看函数详情弹出框中，查看函数详情，单击“关闭”。

本节主要介绍事件管理 新建事件 操作场景 对于MySQL类型实例，您可通过创建事件对特定操作定时响应。 当您将关系型数据库中参数eventscheduler设置为“ON”时，且事件处于“开启”状态时，支持事件管理相关操作。 当参数eventscheduler设置为“OFF”时，您可创建事件，即使事件处于“开启”状态，事件也无法生效。 操作步骤 1. 在顶部导航栏选择“库管理”，在对象列表页签下选择“事件”，单击页面“新建事件”。 2. 填写事件名称（必填项）、事情定义语句（必填项），设置事件执行时间、状态及备注信息，设置完成后单击“立即创建”。 事件定义语句 主要指编写当事件定时触发时需要执行的操作语句。 事件到期删除 对于执行时间定义为固定时间的事件，执行一次即删除。 对于执行时间定义为循环时间的事件，将在设定的执行结束时间点删除。 在确认事件定义脚本弹出框中，单击“执行脚本”，若无报错，该事件即可生效。 修改事件 操作步骤 1. 在顶部导航栏选择“库管理”，在对象列表页签下选择“事件”，在右侧操作栏单击“修改事件”。 2. 在修改事件编辑页面，修改事件信息，单击页面中下部的“立即修改”。 3. 在确认事件定义脚本弹出框中，单击“执行脚本”即可。 删除事件 操作步骤 1. 在顶部导航栏选择“库管理”，在对象列表页签下选择“事件”，在右侧操作栏单击“删除事件”。 2. 在确认删除事件弹出框中，单击“确定”即可。

执行计划 操作场景 分析当前输入的SQL语句的执行路径效率。 操作步骤 1. 在顶部菜单栏选择“SQL操作 > SQL查询”，打开一个SQL窗口，在左侧结构树选择数据库。 2. 在SQL窗口输入需要执行的SQL语句，单击“执行计划”，排查SQL问题和优化SQL性能。 在“SQL执行记录”页签中，查看窗口下历史执行信息。 在“消息”页签中，查看拆分SQL完成、执行完成及耗时等信息。 在“执行计划”页签中查看反馈执行语句情况，不同的页签来展示每一条SQL的执行计划详情。 我的SQL 操作场景 数据管理服务支持用户添加常用的SQL，以及查看和管理SQL语句。 操作步骤 1. 在顶部菜单栏选择“SQL查询”，打开一个SQL窗口。 2. 在当前打开的SQL窗口页面，选择“我的SQL”。 新增我的SQL：支持增加常用的SQL，在弹出框中编辑标题、输入SQL语句，选择适用范围后，单击“保存”即可新增SQL。 选择我的SQL：支持查看已保存的常用SQL，当账号下没有已保存的SQL时，该功能在页面不显示。 管理我的SQL：支持对常用的SQL进行管理，包括添加、编辑、 删除。 SQL执行记录 前提条件 登录数据管理服务时，需要在登录界面开启SQL执行记录。 操作步骤 1. 在顶部菜单栏选择“SQL操作”>“SQL执行记录”，打开历史执行记录列表。 2. 在SQL执行记录页面，您可通过日期范围、数据库名称、SQL语句关键字进行搜索，快速查找目标SQL执行记录信息。 单击列表中数据库名称，您可直接进入该数据库管理页面。 单击“SQL语句”，您可在SQL语句弹出框中复制使用SQL。 单击“在SQL执行窗口打开”，您可在SQL窗口中直接使用该语句。

查看 AnythingLLM 服务状态 docker ps a 三、AnythingLLM 前端页面配置 1. 公网访问 AnythingLLM。 在浏览器输入 (yourip 这台云主机的eip)，会出现如下页面 2. 选择 Ollama 作为模型加载项。 3. 用户设置，按页面提示操作，注册账号，跳过用户调查。 4. 创建工作区。 5. 点击工作区 test01 打开对话框，输入聊天内容。 四、AnythingLLM 个性化探索 下面给出了一些个性化探索案例，您如果想要了解更多，请访问 AnythingLLM 社区。 1. 设置 AnythingLLM 默认语言格式为中文。参考下图进行设置。 2. AnythingLLM 启用联网搜索服务。 启用 AnythingLLM 的联网搜索服务，需要您提供一个联网搜索引擎 api key 来访问Web资源，目前 AnythingLLM 支持的搜索引擎可以参考如下步骤查看。 1. 打开 AnythingLLM 的联网搜索功能 首先点击 AnythingLLM 的全局设置按钮。 参考下图，找到“代理技能”，选择 agent skills 中的 Web Search，点击步骤3，开启对应功能。 2. 获取 Google 搜索引擎的 ID 以及 API key 打开下图中步骤3对应的网页，按提示注册或登录账号、命名搜索引擎、选择搜索范围（可输入指定网页或搜索全网），以及选择是否启用图片搜索功能等操作。完成上述设置并通过人机验证后，点击创建，按提示获取搜索引擎的 ID以及 API key。 创建成功后，得到如下图示内容： 进入自定义页面，获取搜索引擎的 ID。 随后下滑到页面底部，点击程序化访问模块中的“开始使用”按钮。 跳转到如下页面，点击获取密钥： 按照提示输入api名称，查看api使用协议并按照您的想法选择是否接受： 按照提示操作后得到api调用的key。 3. 启用 AnythingLLM 的联网搜索功能 配置 Google Search Engine ：回到 AnythingLLM 联网搜索的页面，填入上述步骤获取的 ID 和 API key，点击右上角保存。 保存成功后得到如下提示： 在对话框以 @agent 启用联网功能： 3. AnythingLLM 使用 DeepSeek API 1. 前往 DeepSeek API 开放平台 注册一个账号，购买 API 使用资格。 2. 参考下述操作步骤，选择 Generic OpenAI 选项，填入 API 认证信息。或者选择 DeepSeek 选项，填入 API 认证信息。 3. 到您想要使用的工作区，点击设置，更新当前聊天设置，以启用 DeepSeeK API 服务。 4. 需要点击下图按钮来保存配置。 4. 调整对话模型及提示词 5. 知识库构建 1. 上传文件。 其中第3步需要第二部选择上传的文件后才会出现按钮，点击“Move to Workspace”，等待出现成功提示即可。 2. 基于知识库的对话。 首先选择上传了语料的工作区，随后直接提问即可。

本章节主要介绍翼MapReduce组件Spark使用说明。 1. 任一用户登录集群客户端节点。 2. 配置/usr/local/ 下spark客户端目录 conf下的配置，主要是Sparkenv.sh 需要配置SPARKHOME、HADOOPHOME、HADOOPCLASSPATH等。 3. 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 1. 首先klist kt ，获取keytab文件的principal，例如 klist kt user.keytab 获得 user/hostname@realm。 2. 然后kinit kt ，例如 kinit kt user.keytab user/hostname@realm。 3. Kinit认证完成登录后，可以klist l查看。 4. 如果SPARKHOME/bin 已经配置到系统环境变量中，可以直接sparkshell 进入。否则需要去到SPARKHOME/bin下执行。

本章节主要介绍翼MapReduce组件HBase支持的压缩算法。 HBase目前默认支持的压缩算法有snappy和gz，根据需要可以增加lzo、lz4、bzip2等算法支持。

本章节主要介绍翼MapReduce组件Spark的操作使用说明。 Sparkbeeline连接的目标可以是spark thrift server、也可以是kyuubi server。 我们以spark thrift server为例，提供链接流程如下： 1. 首先配置spark thrift相关配置。 1. Sparkenv.sh 中配置需要配置JAVAHOME、HADOOPHOME、HADOOPCLASSPATH、HADOOPCONFDIR等环境变量。 2. SPARKHOME/conf 路径下的hivesite.xml文件中，需要配置如下： hive.server2.transport.mode Set this to value: http hive.server2.thrift.http.port HTTP port number to listen on; default is 10001 如果hivesite.xml是软连接，且spark和hive混布，那么需要直接cp该文件到SPARKHOME/conf下面。 3. Sparkdefaults.conf中如果hadoop集群开启了Kerberos认证，那么需要配置spark.sql。 2. 启动spark thrift server。 SPARKHOME/sbin/startthriftserver.sh 3. 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 1. 首先klist kt ，获取keytab文件的principal，例如 klist kt user.keytab 获得 user/hostname@realm。 2. 然后kinit kt ，例如 kinit kt user.keytab user/hostname@realm。 3. Kinit认证完成登录后，可以klist l查看。 4. Beeline链接sparkthriftserver。 SPARKHOME/bin u ‘jdbc:hive2:// : / ;principaluser/hostname@realm?spark.yarn.queueroot.default’ n user 5. 执行如下命令查询所有表，返回结果中存在表test，即表示访问OBS成功。 show databases

本章节主要介绍翼MapReduce组件Spark的设置问题。 参数作用 Spark是运行在executor container进程的 JVM上的，spark.yarn.executor.memoryOverHead 指的是executor jvm的堆外内存。 Executor container 消耗的总内存 spark.yarn.executor.memoryOverhead + spark.executor.memory + spark.memory.offHeap.size+spark.executor.pyspark.memory 其中spark.executor.memory ，spark.memory.offHeap.size 是spark运行时消耗的对象的存储内存。 spark.executor.pyspark.memory 是pyspark运行时，在spark.executor.memory + spark.memory.offHeap.size之外的开销。 spark.yarn.executor.memoryOverhead 指的是executor container进程，运行时数据区非堆部分的开销，即执行开销。 它包括JVM执行时自身所需要的内容，包括线程堆栈、IO、编译缓存等所使用的内存。 失效原因 在spark源码中，该参数出现在如下位置： AlternateConfig的key会被desprecated。 所以，自spark 2.3之后，将使用spark.executor.memoryOverhead，废弃spark.yarn.executor.memoryOverhead。

本章节主要介绍翼MapReduce组件Kafka作业的常见问题。 该报错是由于kafka消费者组缺少ACL授权导致的。 可以通过如下命令赋予消费者组XXX读取权限： ./kafkaacls.sh authorizerproperties zookeeper.connectlocalhost:2181/kafka add allowprincipal User:UserName operation Read group XXX

本章节主要介绍翼MapReduce组件Spark使用的常见问题。 问题说明 使用Spark SQL 访问Hive 表的一个表分区，但是运行速度却很慢。 分析样例： select x,y from test where x1 （其中x是test表的 Partition 字段） 原因分析 按照spark 源码逻辑，在解析逻辑计划时候回去调用 getPartitionsByFilter方法 去hive中只提取 x1 分区信息。 但是由于一些原因，导致getPartitionsByFilter 的谓词下推失败，从而去全表扫描所有test的分区信息，并返回。 例如，我们x字段是String类型，但是我们的SQL中不是 where x’1’ ，而是where x1 ，这就导致了谓词下推失败。 出现hive分区表谓词下推失败的情况，我们可以做如下处理： 我们需要去检查sql中的写法是否正确。 可以关闭SQL逻辑计划解析过程中的谓词下推逻辑。 处理步骤 关闭SQL逻辑计划解析过程中的谓词下推逻辑，具体是Spark SQL默认开启基于分区统计信息的执行计划优化，相当于自动执行Analyze Table（默认开启的设置方法为spark.sql.statistics.fallBackToHdfstrue，可通过配置为false关闭）。 开启后，SQL执行过程中会扫描表的分区统计信息，并作为执行计划中的代价估算，例如对于代价评估中识别的小表，会广播小表放在内存中广播到各个节点上，进行join操作，大大节省shuffle时间。 此开关对于Join场景有较大的性能优化，但是会带来 获取分区表信息RPC请求 的增加。 在SparkSQL中设置以下参数后再运行： set spark.sql.statistics.fallBackToHdfsfalse; 或者在启动之前使用conf设置这个值为false： conf spark.sql.statistics.fallBackToHdfsfalse

配置项 说明 开关机审计 审计用户的开关机行为，管理员可配置审计时间段。 系统登录防护 对系统账户登录进行细粒度的精准访问控制。 文件访问监控 监控目标文件、目录的改写操作。

流量画像 功能：采集终端流量，绘制全景流量图展示主机之间的通讯关系。 使用场景：适用于需要自定义修改配置策略模板流量画像场景。 1. 选择流量画像页签。 2. 点击流量画像 后的图标置于开启状态，即可开启流量画像功能。

配置 说明 系统性能监控 用于监控系统性能监控，支持配置CPU监控、内存监控、网络IO监控和磁盘使用监控。 开启报警：监控项匹配达到规则阈值进行日志记录。 开启熔断：监控项匹配达到规则阈值进行自动熔断，客户端不提供处理能力。 开启恢复：达到熔断条件后匹配达到预设规则将自动恢复客户端能力。 Agent性能监控 用于监控Agent性能监控，支持配置CPU监控、内存监控。 开启报警：监控项匹配达到规则阈值进行日志记录。 开启熔断：监控项匹配达到规则阈值进行自动熔断，客户端不提供处理能力。 开启恢复：达到熔断条件后匹配达到预设规则将自动恢复客户端能力。

参数 说明 开关 启用/禁用：控制是否启用抗DDoS功能 每分钟请求次数 限制每分钟的最大请求数 每小时请求次数 限制每小时的最大请求数 每天请求次数 限制每天的最大请求数

配置系统登录防护 对系统账户登录进行细粒度的精准访问控制。适用于需要自定义修改配置策略模板系统登录防护场景。 1. 选择系统登录防护页签。 2. 点击系统登录防护后的图标置于开启状态，即可开启系统登录防护。 3. 点击“新增”。 4. 弹出新增规则对话框，编辑相关信息后，点击“确定”。 详细配置请参见下表： 参数 说明 登录账号 支持输入“”，表示所有账号都记录。 IP/IP范围 访问来源IP或者IP段。 支持的格式如下： 192.168.1.1 192.168.2.1/24 192.168.3.1192.168.3.255 域名 访问来源域名例：ctyun.cn。 计算机名 访问来源计算机名例：localhost。 时间策略 访问来源开始时间至结束时间节点。 处理方式 （满足所有策略）允许登录：满足所有配置策略时，允许登录。 （满足任意策略）禁止登录：满足任意一条策略时，禁止登录。 状态 策略启用状态：启用/不启用。

参数 说明 开关 响应模版：启用/禁用自定义响应模版 模版内容 设置违规时的响应文本 占位符 支持使用{category}、{explanation}、{engineType}、{score}等占位符

翼MapReduce（翼MR）是一种基于云计算平台的数据处理分析服务，打造了高可靠、高安全、易使用的运行维护平台，对外提供大容量数据的存储和分析能力，可解决用户实时性要求不高的海量数据存储和处理需求，可以独立申请和使用托管Hadoop、Spark、HBase和Hive组件。 支持的事件列表如下： 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 DBServer主备倒换 dbServerSwitchover 次要 DBServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致。 连续触发主备倒换可能影响Hive服务正常使用，导致Hive服务不可用。 Flume Channel溢出 flumeChannelOverflow 次要 Flume Channel溢出 确认flume的channel配置是否合理，业务量是否有突增。 Flume任务无法正常写入数据到后端。 NameNode主备倒换 namenodeSwitchover 次要 NameNode主备倒换 主备倒换需要和运维人员确认是否为正常操作导致。 连续触发主备倒换可能影响HDFS服务正常使用，读写HDFS文件可能失败。 ResourceManager主备倒换 resourceManagerSwitchover 次要 ResourceManager主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Yarn服务正常使用，导致任务出现异常甚至失败 JobHistoryServer主备倒换 jobHistoryServerSwitchover 次要 JobHistoryServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响MapReduce服务正常使用，导致任务日志读取异常 HMaster主备倒换 hmasterFailover 次要 HMaster主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响HBase服务正常使用 Hue发生主备切换 hueFailover 次要 Hue发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 主备倒换可能影响HUE服务正常使用，导致页面无法使用等问题 Impala HaProxy服务发生主备切换 impalaHaProxyFailover 次要 Impala HaProxy服务发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Impala服务正常使用 Impala StateStoreCatalog服务发生主备切换 impalaStateStoreCatalogFailover 次要 Impala StateStoreCatalog服务发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Impala服务正常使用 LdapServer主备倒换 ldapServerFailover 次要 LdapServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响LdapServer服务正常使用 Loader主备倒换 loaderSwitchover 次要 Loader主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 主备倒换可能影响Loader服务正常使用 Manager主备倒换 managerSwitchover 提示 Manager主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 Manager主备倒换可能导致Manager页面无法正常访问，部分监控可能出现异常数值 作业执行失败 jobRunningFailed 提示 作业执行失败 查看作业管理页面，确认失败任务是否有异常 作业执行过程出现失败 作业被终止 jobkilled 提示 作业被终止 确认任务是否人为下发终止命令 作业执行过程被终止 Oozie工作流执行失败 oozieWorkflowExecutionFailure 次要 Oozie工作流执行失败 查看Oozie日志，确认任务失败原因 Oozie工作流执行失败 Oozie定时任务执行失败 oozieScheduledJobExecutionFailure 次要 Oozie定时任务执行失败 查看Oozie日志，确认任务失败原因 Oozie定时任务执行失败 ClickHouse服务不可用 clickHouseServiceUnavailable 紧急 ClickHouse服务不可用 请参考《MapReduce服务用户指南》的“ALM45425 ClickHouse服务不可用”章节。 ClickHouse服务异常，无法通过FusionInsight Manager对ClickHouse进行集群操作，无法使用ClickHouse服务功能。 DBService服务不可用 dbServiceServiceUnavailable 紧急 DBService服务不可用 请参考《MapReduce服务用户指南》的“ALM27001 DBService服务不可用”章节。 数据库服务不可用，无法对上层服务提供数据入库、查询等功能，使部分服务异常。 DBService主备节点间心跳中断 dbServiceHeartbeatInterruption BetweentheActiveAndStandbyNodes 重要 DBService主备节点间心跳中断 请参考《MapReduce服务用户指南》的“ALM27003 DBService主备节点间心跳中断”章节。 DBService主备间心跳中断时只有一个节点提供服务，一旦该节点故障，再无法切换到备节点，就会服务不可用。 DBService主备数据不同步 dataInconsistencyBetween ActiveAndStandbyDBServices 紧急 DBService主备数据不同步 请参考《MapReduce服务用户指南》的“ALM27004 DBService主备数据不同步”章节。 主备DBServer数据不同步，如果此时主实例异常，则会出现数据丢失或者数据异常的情况。 数据库进入只读模式 databaseEnterstheReadOnlyMode 紧急 数据库进入只读模式 请参考《MapReduce服务用户指南》的“ALM27007 数据库进入只读模式”章节。 数据库进入只读模式，业务数据丢失。 Flume服务不可用 flumeServiceUnavailable 紧急 Flume服务不可用 请参考《MapReduce服务用户指南》的“ALM24000 Flume服务不可用”章节。 当Flume服务不可用时，Flume不能正常工作，数据传输业务中断。 Flume Agent异常 flumeAgentException 重要 Flume Agent异常 请参考《MapReduce服务用户指南》的“ALM24001 Flume Agent异常”章节。 产生告警的Flume Agent实例无法正常启动，定义在该实例下的数据传输任务暂时中断，对于实时数据传输，会丢失实时数据。 Flume Client连接中断 flumeClientDisconnected 重要 Flume Client连接中断 请参考《MapReduce服务用户指南》的“ALM24003 Flume Client连接中断”章节。 产生告警的Flume Client无法与Flume Server端进行通信，Flume Client端的数据无法传输到Flume Server端。 Flume读取数据异常 exceptionOccursWhenFlumeReadsData 重要 Flume读取数据异常 请参考《MapReduce服务用户指南》的“ALM24004 Flume读取数据异常”章节。 如果数据源有数据，Flume Source持续读取不到数据，数据采集会停止。 Flume传输数据异常 exceptionOccursWhenFlumeTransmitsData 重要 Flume传输数据异常 请参考《MapReduce服务用户指南》的“ALM24005 Flume传输数据异常”章节。 Flume Channel的磁盘空间使用量有继续增长的趋势，将会使数据导入到指定目的地的时间增长，当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 Flume 证书文件非法或已损坏 flumeCertificateFileIsinvalid 重要 Flume 证书文件非法或已损坏 请参考《MapReduce服务用户指南》的“ALM24010 Flume证书文件非法或已损坏”章节。 Flume证书文件已经非法或损坏，功能受限，Flume客户端将无法访问Flume服务端。 Flume 证书文件即将过期 flumeCertificateFileIsAboutToExpire 重要 Flume 证书文件即将过期 请参考《MapReduce服务用户指南》的“ALM24011 Flume证书文件即将过期”章节。 Flume证书文件即将失效，对系统目前运行无影响。 Flume 证书文件已过期 flumeCertificateFileIsExpired 重要 Flume 证书文件已过期 请参考《MapReduce服务用户指南》的“ALM24012 Flume证书文件已过期”章节。 Flume证书文件已过期，功能受限，Flume客户端将无法访问Flume服务端。 Flume MonitorServer证书文件失效 flumeMonitorServerCertificateFileIsInvalid 重要 Flume MonitorServer证书文件失效 请参考《MapReduce服务用户指南》的“ALM24013 Flume MonitorServer证书文件非法或已损坏”章节。 MonitorServer证书文件已经非法或损坏，功能受限，Flume客户端将无法访问Flume服务端。 Flume MonitorServer证书文件即将过期 flumeMonitorServerCertificate FileIsAboutToExpire 重要 Flume MonitorServer证书文件即将过期 请参考《MapReduce服务用户指南》的“ALM24014 Flume MonitorServer证书文件即将过期”章节。 MonitorServer证书文件即将失效，对系统目前运行无影响。 Flume MonitorServer证书文件已过期 flumeMonitorServerCertificateFileIsExpired 重要 Flume MonitorServer证书文件已过期 请参考《MapReduce服务用户指南》的“ALM24015 Flume MonitorServer证书文件已过期”章节。 MonitorServer证书文件已过期，功能受限，Flume客户端将无法访问Flume服务端。 HDFS服务不可用 hdfsServiceUnavailable 紧急 HDFS服务不可用 请参考《MapReduce服务用户指南》的“ALM14000 HDFS服务不可用”章节。 无法为基于HDFS服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 NameService服务异常 nameServiceServiceUnavailable 重要 NameService服务异常 请参考《MapReduce服务用户指南》的“ALM14010 NameService服务异常”章节。 无法为基于该NameService服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 DataNode数据目录配置不合理 datanodeDataDirectoryIsNotConfiguredProperly 重要 DataNode数据目录配置不合理 请参考《MapReduce服务用户指南》的“ALM14011 DataNode数据目录配置不合理”章节。 如果将DataNode数据目录挂载在根目录等系统关键目录，长时间运行后会将根目录写满，导致系统故障。不合理的DataNode数据目录配置，会造成HDFS的性能下降。 Journalnode数据不同步 journalnodeIsOutOfSynchronization 重要 Journalnode数据不同步 请参考《MapReduce服务用户指南》的“ALM14012 Journalnode数据不同步”章节。 当一个JournalNode节点工作状态异常时，其数据就会与其他JournalNode节点的数据不同步。如 果超过一半的JournalNode节点的数据不同步时，NameNode将无法工作，导致HDFS服务不可用。 NameNode FsImage文件更新失败 failedToUpdateTheNameNodeFsImageFile 重要 NameNode FsImage文件更新失败 请参考《MapReduce服务用户指南》的“ALM14013 NameNode FsImage文件更新失败”章节。 如果主NameNode数据目录的FsImage没有更新，则说明HDFS元数据合并功能异常，需要修复。 如不修复，HDFS在运行一段时间后，Editlog会一直增长。此时如果重启HDFS，由于要加载非常多的Editlog，会导致启动非常耗时。另外，该告警的产生也说明备NameNode功能异常，导致NameNode的HA机制失效。一旦主NameNode故障，则整个HDFS服务将不可用。 DataNode磁盘故障 datanodeDiskFault 重要 DataNode磁盘故障 请参考《MapReduce服务用户指南》的“ALM14027 DataNode磁盘故障”章节。 上报DataNode磁盘故障告警时，表示该DataNode节点上存在故障的磁盘分区，可能会导致已写入的文件丢失。 Yarn服务不可用 yarnServiceUnavailable 紧急 Yarn服务不可用 请参考《MapReduce服务用户指南》的“ALM18000 Yarn服务不可用”章节。 集群无法提供Yarn服务。用户无法执行新的application。已提交的application无法执行。 NodeManager心跳丢失 nodemanagerHeartbeatLost 重要 NodeManager心跳丢失 请参考《MapReduce服务用户指南》的“ALM18002 NodeManager心跳丢失”章节。 丢失的NodeManager节点无法提供Yarn服务。容器减少，集群性能下降。 NodeManager不健康 nodemanagerUnhealthy 重要 NodeManager不健康 请参考《MapReduce服务用户指南》的“ALM18003 NodeManager不健康”章节。 故障的NodeManager节点无法提供Yarn服务。容器减少，集群性能下降。 Yarn 任务执行超时 yarnApplicationTimeout 次要 Yarn 任务执行超时 请参考《MapReduce服务用户指南》的“ALM18020 Yarn任务执行超时”章节。 任务执行超时后的运行时间内，该告警一直存在，但任务仍继续正常执行，没有任何影响。 Mapreduce服务不可用 mapreduceServiceUnavailable 紧急 Mapreduce服务不可用 请参考《MapReduce服务用户指南》的“ALM18021 Mapreduce服务不可用”章节。 集群无法提供Mapreduce服务，如无法通过Mapreduce查看任务日志，无法提供Mapreduce服务的日志归档功能等。 Yarn队列资源不足 insufficientYarnQueueResources 次要 Yarn队列资源不足 请参考《MapReduce服务用户指南》的“ALM18022 Yarn队列资源不足”章节。 应用任务结束时间变长。新应用提交后长时间无法运行。 HBase服务不可用 hbaseServiceUnavailable 紧急 HBase服务不可用 请参考《MapReduce服务用户指南》的“ALM19000 HBase服务不可用”章节。 无法进行数据读写和创建表等操作。 HBase系统表目录或文件丢失 systemTablePathOrFileOfHBaseIsMissing 紧急 HBase系统表目录或文件丢失 请参考《MapReduce服务用户指南》的“ALM19012 HBase系统表目录或文件丢失”章节。 HBase服务重启/启动失败。 Hive服务不可用 hiveServiceUnavailable 紧急 Hive服务不可用 请参考《MapReduce服务用户指南》的“ALM16004 Hive服务不可用”章节。 Hive无法提供数据加载，查询，提取服务。 Hive数据仓库被删除 hiveDataWarehouseIsDeleted 紧急 Hive数据仓库被删除 请参考《MapReduce服务用户指南》的“ALM16045 Hive数据仓库被删除”章节。 Hive默认数据仓库被删除，会导致在默认数据仓库中创建库、创建表失败，影响业务正常使用。 Hive数据仓库权限被修改 hiveDataWarehousePermissionIsModified 紧急 Hive数据仓库权限被修改 请参考《MapReduce服务用户指南》的“ALM16046 Hive数据仓库权限被修改”章节。 Hive默认数据仓库的权限被修改，会影响当前用户，用户组，其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围。会扩大或缩小权限。 HiveServer已从Zookeeper注销 hiveServerHasBeenDeregisteredFromZookeeper 重要 HiveServer已从Zookeeper注销 请参考《MapReduce服务用户指南》的“ALM16047 HiveServer已从Zookeeper注销”章节。 当无法在Zookeeper上读取到Hive的配置，将会导致HiveServer不可用。 tez或者spark库路径不存在 tezlibOrSparklibIsNotExist 重要 tez或者spark库路径不存在 请参考《MapReduce服务用户指南》的“ALM16048 Tez或者Spark库路径不存在”章节。 Tez或者Spark库路径不存在，会影响Hive on Tez，Hive on Spark的功能。 Hue服务不可用 hueServiceUnavailable 紧急 Hue服务不可用 请参考《MapReduce服务用户指南》的“ALM20002 Hue服务不可用”章节。 系统无法提供数据加载，查询，提取服务。 Impala服务不可用 impalaServiceUnavailable 紧急 Impala服务不可用 请参考《MapReduce服务用户指南》的“ALM29000 Impala服务不可用”章节。 Impala服务异常，无法通过FusionInsight Manager对Impala进行集群操作，无法使用Impala服务功能。 Kafka服务不可用 kafkaServiceUnavailable 紧急 Kafka服务不可用 请参考《MapReduce服务用户指南》的“ALM38000 Kafka服务不可用”章节。 集群无法对外提供Kafka服务，用户无法执行新的Kafka任务。 Kafka默认用户状态异常 statusOfKafkaDefaultUserIsAbnormal 紧急 Kafka默认用户状态异常 请参考《MapReduce服务用户指南》的“ALM38007 Kafka默认用户状态异常”章节。 Kafka默认用户状态异常，会影响Broker之间的元数据同步，以及Kafka与ZooKeeper之间的交互，进而影响业务生产、消费和Topic的创建、删除等操作。 Kafka数据目录状态异常 abnormalKafkaDataDirectoryStatus 重要 Kafka数据目录状态异常 请参考《MapReduce服务用户指南》的“ALM38008 Kafka数据目录状态异常”章节。 Kafka数据目录状态异常，会导致该数据目录上所有Partition的当前副本下线，多个节点同时出现数据目录状态异常，可能会导致部分Partition不可用。 存在单副本的Topic topicsWithSingleReplica 警告 存在单副本的Topic 请参考《MapReduce服务用户指南》的“ALM38010 存在单副本的Topic”章节。 单副本的Topic存在单点故障风险，当副本所在节点异常时，会直接导致Partition没有leader，影响该Topic上的业务。 KrbServer服务不可用 krbServerServiceUnavailable 紧急 KrbServer服务不可用 请参考《MapReduce服务用户指南》的“ALM25500 KrbServer服务不可用”章节。 告警发生时，不能对集群中的组件KrbServer进行任何操作。其它组件的KrbServer认证将受影响。集群中依赖KrbServer的组件运行状态将为故障。 Kudu服务不可用 kuduServiceUnavailable 紧急 Kudu服务不可用 请参考《MapReduce服务用户指南》的“ALM29100 Kudu服务不可用”章节。 用户无法使用Kudu服务。 LdapServer服务不可用 ldapServerServiceUnavailable 紧急 LdapServer服务不可用 请参考《MapReduce服务用户指南》的“ALM25000 LdapServer服务不可用”章节。 告警发生时，不能对集群中的KrbServer和LdapServer用户进行任何操作。 例如，无法在FusionInsight Manager页面添加、删除或修改任何用户、用户组或角色，也无法修改用户密码。集群中原有的用户验证不受影响。 LdapServer数据同步异常 abnormalLdapServerDataSynchronization 紧急 LdapServer数据同步异常 请参考《MapReduce服务用户指南》的“ALM25004 LdapServer数据同步异常”章节。 LdapServer数据不一致时，有可能是Manager上的LdapServer数据损坏，也有可能是集群上的LdapServer数据损坏，此时数据损坏的LdapServer进程将无法对外提供服务，影响Manager和集群的认证功能。 Nscd服务异常 nscdServiceIsAbnormal 重要 Nscd服务异常 请参考《MapReduce服务用户指南》的“ALM25005 Nscd服务异常”章节。 nscd服务异常时，可能会影响该节点从LdapServer上同步数据，此时，使用id命令可能会获取不到Ldap中的数据，影响上层业务。 Sssd服务异常 sssdServiceIsAbnormal 重要 Sssd服务异常 请参考《MapReduce服务用户指南》的“ALM25006 Sssd服务异常”章节。 sssd服务异常时，可能会影响该节点从LdapServer上同步数据，此时，使用id命令可能会获取不到ldap中的数据，影响上层业务。 Loader服务不可用 loaderServiceUnavailable 紧急 Loader服务不可用 请参考《MapReduce服务用户指南》的“ALM23001 Loader服务不可用”章节。 如果Loader服务不可用，数据加载，导入，转换的功能也不可用。 Oozie服务不可用 oozieServiceUnavailable 紧急 Oozie服务不可用 请参考《MapReduce服务用户指南》的“ALM17003 Oozie服务不可用”章节。 无法使用Oozie服务提交作业。 Ranger服务不可用 rangerServiceUnavailable 紧急 Ranger服务不可用 请参考《MapReduce服务用户指南》的“ALM45275 Ranger服务不可用”章节。 当Ranger服务不可用时，Ranger无法正常工作，Ranger原生UI无法访问。 RangerAdmin状态异常 abnormalRangerAdminStatus 重要 RangerAdmin状态异常 请参考《MapReduce服务用户指南》的“ALM45276 RangerAdmin状态异常”章节。 当存在单个RangerAdmin状态异常时，不影响Ranger原生UI访问；当两个RangerAdmin状态异常时，Ranger原生UI无法访问，无法执行创建、修改、删除策略等操作。 Spark2x服务不可用 spark2xServiceUnavailable 紧急 Spark2x服务不可用 请参考《MapReduce服务用户指南》的“ALM43001 Spark2x服务不可用”章节。 用户提交的Spark任务执行失败。 Storm服务不可用 stormServiceUnavailable 紧急 Storm服务不可用 请参考《MapReduce服务用户指南》的“ALM26051 Storm服务不可用”章节。 集群无法对外提供Storm服务，用户无法执行新的Storm任务。 ZooKeeper服务不可用 zooKeeperServiceUnavailable 紧急 ZooKeeper服务不可用 请参考《MapReduce服务用户指南》的“ALM13000 ZooKeeper服务不可用”章节。 ZooKeeper无法为上层组件提供协调服务，依赖ZooKeeper的组件可能无法正常运行。 ZooKeeper中组件顶层目录的配额设置失败 failedToSetTheQuotaOfTopDirectoriesOf ZooKeeperComponent 次要 ZooKeeper中组件顶层目录的配额设置失败 请参考《MapReduce服务用户指南》的“ALM13005 ZooKeeper中组件顶层目录的配额设置失败”章节。 组件可以向对应的ZooKeeper顶层目录中写入大量数据，导致Zookeeper服务不可用。

本章节主要介绍翼MapReduce组件HBase日志如何查询。 1. 使用root用户登录集群的Master或rs节点。 2. 执行 cd /var/log/Bigdata/hbase/ 命令，进入到“/var/log/Bigdata/hbase/”目录，即可查看HBase日志信息。

本章节主要介绍翼MapReduce组件Kafka支持的协议类型。 Kafka目前支持4种协议类型的访问：PLAINTEXT、SSL、SASLPLAINTEXT、SASLSSL。 PLAINTEXT是最简单的协议，它以明文形式传输数据，不提供任何加密或身份验证机制。 SSL（Secure Sockets Layer） 是一种安全的协议，用于在客户端和服务器之间加密通信。通过使用 SSL，可以确保数据在传输过程中是加密的，从而提高了安全性。SSL协议通常需要在Kafka服务器上配置SSL证书以进行安全通信。 SASLPLAINTEXT （Simple Authentication and Security Layer with Plain Text）使用简单身份验证机制，通常用于在不使用加密的情况下进行用户身份验证，但是用户名和密码以明文形式传输。 SASLSSL （Simple Authentication and Security Layer with SSL）结合了 SSL 和 SASL，提供了更强大的安全性。它通过 SSL 加密通信，并使用 SASL 进行身份验证。这是Kafka中最安全的选项之一，适用于在不同网络环境中进行安全通信。 在Kafka中，选择适当的协议取决于集群的安全需求和网络环境。

本章节主要介绍翼MapReduce组件Spark日志保存问题。 Spark job没有完成的任务日志保存在dirver节点的nodemanager 的 containerlogs中。 Spark job完成的任务日志保存在HDFS的/tmp/logs/ 用户名 /logs。

本章节主要介绍翼MapReduce如何获取Spark Jar包。 1、获取非Spark依赖 从maven中央仓库/华为云仓库等 获取Spark运行所需要的依赖 ，可以从Spark Apache官网获取Spark相关的客户端。 Spark客户端中jars目录包含Spark运行依赖。 Spark 客户端下载地址参考Spark Apache官网。 2、获取Sparkcore等Spark依赖 除了通过Spark Apache官网下载客户端获取和maven中央仓库获取有时也可以通过源码打包以获取。 可根据如下命令进行Spark源码打包： 整体打包命令： ./build/mvn Pyarn Phive Phivethriftserver DskipTests clean package 单模块打包命令： ./build/mvn pl :sparkstreaming2.12 clean install

本章节主要介绍翼MapReduce组件Trino如何配置数据源。 增加数据源，在Trino安装目录配置对应的catalog文件即可，以MySQL数据源为例： 1. 创建${trinohome}/etc/catalog/mysql.properties。 2. 编辑mysql.properties： connector.namemysql connectionurljdbc:mysql://127.0.0.1:3306 connectionusertest connectionpasswordtest 说明 具体的数据源配置可参考Trino相应官方文档。

本章节主要介绍翼MapReduce组件HBase数据保留期的设置和修改。 保证用户具有表的admin权限和create权限。 创建表时指定，创建ttasklog表，列族f, TTL设置86400秒过期。 create 'ttasklog',{NAME > 'f', TTL>'86400'} 在已有表的基础上指定： alter "ttasklog",NAME>'data',TTL>'86400' 设置TTL值，作用于列族data