本文为您介绍 json和jsonb。 本产品支持非关系数据类型JSON，JSON 数据类型是用来存储JSON（JavaScript Object Notation）数据的。这种数据也可以被存储为text，但是JSON数据类型的优势在于能强制要求每个被存储的值符合JSON规则。 也有很多JSON相关的函数和操作符可以用于存储在这些数据类型中的数据。JSON数据类型有json 和jsonb。它们接受完全相同的值集合作为输入。主要的实际区别是效率。json数据类型存储输入文本的精准拷贝，处理函数必须在每次执行时必须重新解析该数据。而jsonb数据被存储在一种分解好的二进制格式中，它在输入时要稍慢一些，因为需要做附加的转换。但是jsonb在处理时要快很多，因为不需要解析。jsonb也支持索引，这也是一个令人瞩目的优势。

本文为您介绍 json和jsonb。 本产品支持非关系数据类型JSON，JSON 数据类型是用来存储JSON（JavaScript Object Notation）数据的。这种数据也可以被存储为text，但是JSON数据类型的优势在于能强制要求每个被存储的值符合JSON规则。 也有很多JSON相关的函数和操作符可以用于存储在这些数据类型中的数据。JSON数据类型有json 和jsonb。它们接受完全相同的值集合作为输入。主要的实际区别是效率。json数据类型存储输入文本的精准拷贝，处理函数必须在每次执行时必须重新解析该数据。而jsonb数据被存储在一种分解好的二进制格式中，它在输入时要稍慢一些，因为需要做附加的转换。但是jsonb在处理时要快很多，因为不需要解析。jsonb也支持索引，这也是一个令人瞩目的优势。

本文将介绍爬虫情报规则，从背景信息、相关配置项、相关操作帮助您更好地理解爬虫情报规则。 功能介绍 支持针对搜索引擎IP放行、针对恶意Bot请求IP封禁，目前爬虫情报库已维护接近10万条数据 注意 目前控制台尚未开放爬虫情报规则功能，如有防护需求请通过 前提条件 已开通Web应用防火墙（边缘云版） 已新增域名并成功接入WAF，具体操作请见WAF接入 开通Web应用防火墙（边缘云版）扩展服务Bot管理，支持使用Bot防护策略，具体请见套餐和版本说明 背景信息 边缘云WAF安全团队基于天翼云积累的海量威胁情报库，并经过离线分析技术，收集国内外公开的、已知的恶意爬虫IP；另外，通过反向解析技术，收录了众多SE类别的爬虫信息，两者结合形成爬虫情报库，内置近10万条友好爬虫与已知恶意爬虫IP信息，目前仍持续更新中。 针对已知爬虫，边缘云WAF为爬虫情报进行标识与分类，例如搜索引擎类的爬虫，分为谷歌爬虫、360爬虫、百度爬虫等各类标识，您可以仅针对其中的某类搜索引擎标识进行加白的动作，则后续此类爬虫IP将不经过边缘云WAF的Bot防护策略。对于恶意爬虫，您也可以对其进行一键封禁的操作，边缘云WAF将会对其进行拦截，避免网站业务遭受已知恶意爬虫的攻击。

参数 描述 实例名称 实例名称长度在4个到64个字符之间，必须以字母开头，不区分大小写，可以包含字母、数字、中划线或下划线，不能包含其他特殊字符。 如一次订购多个实例，实例命名规则为：从第二台实例开始，实例名称1，第三台为实例名称2，以此类推。 管理员帐号 数据库的登录名默认为root，不支持修改。 管理员密码 所设置的密码长度为长度为8~32个字符，由大写字母、小写字母、数字、特殊字符中的任意三种组成。特殊字符为!@$%^&()+。请您输入高强度密码并定期修改，以提高安全性，防止出现密码被暴力破解等安全风险。请妥善保管您的密码，因为系统将无法获取您的密码信息。 确认密码 必须和管理员密码相同。 数据透明加密 如您需要开启该功能，您需要先前往天翼云秘钥管理服务中创建秘钥，创建秘钥成功后，您可刷新查看相关秘钥信息并选择。 参数模板 如您需要在创建实例时选择实例要应用的自定义参数模板，可在此进行设置。如何创建参数模板，请参见 加入白名单 如您需要在创建实例时将所选VPC网段加入到实例白名单中，可在此将选项配置为“是”。如您选择“否”，实例开通后可能需要您在白名单管理中配置客户端机器ip方可正常连接使用。如何修改白名单请参考

本节主要介绍如何在智能视图服务控制台管理AI应用。 如果想使用智能分析服务，需要创建AI应用，并为要进行AI分析的设备绑定AI应用。 点击左侧导航栏的【AI管理AI应用】，可以查看平台的所有AI应用列表，包括算法类型、分析类型、描述、关联设备数等信息，用户可以进行查看/编辑/删除应用、查看分析结果和告警统计等操作。 创建AI应用 点击【新建AI应用】按钮，用户选择想要使用的AI算法，目前天翼云智能视图服务支持的算法包含人脸识别、人体识别和场景识别三种类别，也可以在右上角输入算法名称或者算法描述关键字进行搜索，找到目标算法后点击【选择】，进入下一步。 输入自定义应用名称并完成应用配置，包含以下配置项。 分析类型：包含分钟级、秒级和高算力型。 生效时段：支持配置AI分析时段，可选择全天或者指定时间段，支持添加多个生效时间段。 置信度：置信度越高，则会提升告警结果的准确率，但会存在漏检的情况；置信度越低，则可以捕捉到更多可能的告警，但会存在更多误检的情况。 告警配置：开启后可优化AI告警信息频繁的情况，自定义设置静默规则，包括告警周期、告警数量阈值和静默时间，可以压缩AI告警信息。

本文介绍云SSO用户的管理 创建用户 1. 登录云SSO控制台（++中国电信天翼云管理中心++）。 2. 左侧菜单栏点击“云SSO”用户 3. 点击右上角“创建用户” 4. 在创建用户面板，设置用户基本信息，然后单击确定 5. 选择密码初始化方式 向用户发送一封包含密码设置说明的邮件:用户可登录邮箱后自行设置密码 生成随机的一次性密码:由系统自动生成，云SSO用户创建完成后会弹窗显示 6. 为云SSO用户分配用户组； 7. 主账号进入云SSO用户的详情页，点击发送验证邮件（注意：请进入管理页面手动点击发送验证邮件）； 8. 登录云SSO用户的关联邮箱，完成云SSO用户的创建验证 9. 登录“云SSO控制台”“云SSO用户”选择该用户信息，点击“启用”按钮。 10. 完成创建。 查看用户详情 在云SSO用户页面，单击目标用户名称，可查看用户的以下信息： 用户名、用户ID、姓名、状态、邮件地址、创建时间、创建方式、更新时间等信息。 启用云SSO用户 1. 完成邮箱初始化验证的用户可以进行用户启用。 2. 主账号可进入云SSO用户详情页，点击发送验证邮件。 3. 在“云SSO控制台”“云SSO用户”选择该用户信息，点击“启用”按钮。 禁用云SSO用户 1. 在“云SSO控制台”“云SSO用户”选择该用户信息，点击“禁用”按钮 2. 禁用后，云SSO用户将无法登录组织内的成员账号。

本文介绍全站加速域名操作日志页面信息。 功能介绍 域名操作日志，是用于跟踪和记录由客户操作发起的域名新增及域名配置变更任务信息，方便跟进操作的进度以及追溯操作历史，辅助管理客户业务。当您在域名管理操作中，新增域名或对某个域名的配置进行了变更，编辑完成后，每提交一次任务，系统都会生成一条域名操作工单（编号唯一），该工单编号作为天翼云内部各系统对本次变更任务的跟踪管理和结果管理，且系统会实时更新工单的处理状态（进行中、成功、失败），通过【客户控制台】 【域名管理】【操作日志】展示出来，方便用户及时感知。 工单状态及处理建议： 1. 工单【状态】【成功】：常规域名变更任务，一般会在5~10分钟内部署完成，每当重新进入【工单列表】页签控制台会自动更新工单状态，可以看到工单【状态】变化，从【进行中】变更为【成功】，此时说明配置已全局部署并生效，工单闭环。 2. 工单【状态】【进行中】：如果等待10分钟以上，重新刷新【工单列表】其状态依然是【进行中】，而又比较着急的话，请通过提交工单（客服工单）联系天翼云客服，由其帮您定位域名操作工单（本文档所介绍的工单）的内部处理进展，直至闭环。 3. 工单【状态】【失败】：如果工单显示失败，请通过提交工单（客服工单）联系天翼云客服，由其帮您定位域名操作工单失败原因，直至闭环。

WAF如何解析/访问IPv6源站？ 当防护网站的源站地址配置为IPv6地址时，WAF直接通过IPv6地址访问源站。WAF默认在CNAME中增加IPv6地址解析，IPv6的所有访问请求将先流转到WAF，WAF检测并过滤恶意攻击流量后，将正常流量返回给源站，从而确保源站安全、稳定、可用。 WAF支持IPv6/IPv4双栈模式和NAT64机制，详细说明如下： Web应用防火墙支持IPv6/IPv4双栈，针对同一域名可以同时提供IPv6和IPv4的流量防护。 针对仍然使用IPv4协议栈的Web业务，Web应用防火墙支持NAT64机制（NAT64是一种通过网络地址转换（NAT）形式促成IPv6与IPv4主机间通信的IPv6转换机制），即WAF可以将外部IPv6访问流量转化成对内的IPv4流量。

变更配置后对计费的影响 如果您在购买按需计费实例后变更了实例配置，会产生一个新订单并开始按新配置的价格计费，旧订单自动失效。 如果您在一个小时内变更了实例配置，将会产生多条计费信息。每条计费信息的开始时间和结束时间对应不同配置在该小时内的生效时间。 例如，您在9:00:00购买了一台按需计费实例，实例规格为 4vCPUs 16GB，并在9:30:00升配为 8vCPUs 32GB，那么在9:00:00 ~ 10:00:00间会产生两条计费信息。 第一条对应9:00:00 ~ 9:30:00，实例规格按照 4vCPUs 16GB计费。 第二条对应9:30:00 ~ 10:00:00，实例规格按照 8vCPUs 32GB计费。 图4描述了按需计费GeminiDB Influx实例各个阶段的状态。购买后，在计费周期内实例正常运行，此阶段为有效期；当您的账号因按需GeminiDB Influx实例自动扣费导致欠费后，账号将变成欠费状态，实例将陆续进入宽限期和保留期。 图4 按需计费GeminiDB Influx实例生命周期 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账户被扣为负值时，我们将通过邮件、短信和站内信的方式通知到天翼云账号的创建者。 欠费后影响 当您的账号因按需GeminiDB Influx实例自动扣费导致欠费后，账号将变成欠费状态。欠费后，按需实例不会立即停止服务，实例进入宽限期。您需支付按需实例在宽限期内产生的费用，相关费用可在“管理控制台 > 费用中心 ＞ 总览”的“欠费金额”查看，天翼云将会在您充值时自动扣取欠费金额。 如果您在宽限期内仍未支付欠款，那么就会进入保留期，实例状态变为“已冻结”，您将无法对处于保留期的按需计费实例执行任何操作。 保留期到期后，若您仍未支付账户欠款，那么实例将被释放，数据无法恢复。

本章节介绍主子账号体系内容 概述 云原生网关目前已接入主子账号体系，通过主账号对子账号并对其分配访问权限，用户可以实现对企业中云服务和资源的访问及操作权限，避免账号滥用。主子帐号支持数据权限管理与功能权限管理，支持系统策略和自定义策略的授权方式。本章介绍如何使用主子账号体系进行权限管理。 术语解释 主账号 ：用户在天翼云注册后自动创建，该账号对其所拥有的资源具有完全的访问权限，可以重置用户密码、分配用户权限等。如果需要多人共同使用天翼云资源，由于账号是付费主体为了确保账号安全，建议创建子用户来进行日常管理工作。 子账号 ：主账号认证为企业账号后，在天翼云用户中心页面创建出来的账号。子账号的用户名、密码统一由主账号创建管理。子账号同样可以登录访问天翼云控制台，登录入口与主账号相同，受主账号赋予的权限限制。 企业项目： 将云资源、企业成员按项目进行管理，通过企业项目将云资源、带有权限的用户组绑定到一起，用户使用项目内云资源的权限受用户组的授权限制。 说明 一个实例只能归属一个企业项目（可变更），一个子账号可以同时在多个企业项目中。 策略： 是描述一组权限集的语言，它可以精确地描述被授权的资源集和操作集，通过策略，用户可以自由搭配需要授予的权限集。通过给用户组授予策略，用户组中的用户就能获得策略中定义的权限。 系统策略： 系统预置的常用权限集，主要针对不同云服务的只读权限或管理员权限，比如对组件的只读权限、普通用户权限和管理员权限等等；系统策略只能用于授权，不能编辑和修改。 云原生网关中提供了两种系统策略：cgw viewer只读权限，只能对实例资源进行读操作；cgw admin管理权限，可以对实例资源进行管理维护，包括读与写操作，等同于主账号访问权限。 自定义策略： 创建自定义策略可以支持更细粒度的授权，对于云原生网关，可以自定义功能访问权限以及资源访问权限。 数据权限： 看到的数据不一样。主账号看到所有实例，子账号只能看到所属项目中的实例。 功能权限： 主账号可以进行所有控制台操作，子账号对单个组件实例拥有的操作权限由主账号授权。 功能权限授权： 给子账号在企业项目A下增加一个策略，即代表该子账号对企业项目A下的实例拥有了策略中定义的权限，策略以外的操作会被禁止。

云点播产品割接IAM情况说明 综述 云点播自2024年11月13日起，从原先CDN+IAM切换至天翼云统一身份认证服务（以下简称“CTIAM”）。 通过CTIAM用户可以在统一的主子账号体系下对云点播产品的资源、权限进行管理，降低管理员维护的成本，保持天翼云账号权限管理的一致性。由于两者在使用习惯上存在一定的差异，无法做到无感知平移切换，特对两者的差异和割接后的注意事项说明。 割接升级公告 关于2024年11月13日媒体存储、云点播产品功能变更的公告 相关术语说明 增量子用户：自2024年11月13日后从CTIAM统一认证管理平台新增的子用户。 存量子用户：自2024年11月13日前主账号通过原CDN+IAM创建的子用户。 CDN+IAM和CTIAM的使用差异 CDN+IAM CTIAM 登陆入口 主、子账号登陆入口不同。主账号通过天翼云CTIAM登陆，子账号通过CDN+IAM入口登陆。 主子账号均通过CTIAM入口登陆。 登录凭证 CDN+IAM配置的虚拟邮箱，或手机号码登陆。手机号码在平行工作区内保持唯一性。 使用在天翼云CTIAM配置的认证邮箱、手机号码登陆。手机、邮箱在当前组织（企业）内保持唯一性。 存量子用户在迁移完成后，默认填入虚拟手机号码，该号码需修改为真实号码方可使用。 创建子用户 在CDN+IAM控制台创建。CDN+IAM控制台支持多个平行的组织（工作区），在不同组织创建的子用户权限不互通。 在CTIAM控制台创建。同一个主账号仅支持一个组织。 删除子用户 子用户在云点播的权限配置会被全量清理，且无法恢复。 子用户在云点播的权限配置会被全量清理，且无法恢复。 撤销子用户权限 无对应逻辑。 子用户在云点播的权限配置会被全量清理，且无法恢复。 冻结子用户 无对应逻辑。 子用户在云点播的权限配置会被冻结，相关权限信息保留，暂不清理。 主账号AK/SK 不接受CDN+IAM产生的AK/SK，用户使用云点播原生AK/SK调用接口。最多允许5组原生AK/SK。 仅接受CTIAM产生的AK/SK，云点播不再自行产生原生AK/SK密钥对。存量AK/SK仍然可用。CTIAM最多支持创建2组AK/SK。 子账号AK/SK 无子用户AK/SK。子用户使用主账号AK/SK操作API接口。 由CTIAM产生子用户的AK/SK，子用户在CTIAM控制台查看各自的密钥对。 子用户授权 无实体权限与CDN+IAM对接。 与CTIAM权限体系对接，后续会持续新增权限策略。

本文介绍天翼云云搜索OpenSearch实例自定义插件的安装方式。 当您需要使用自定义插件或系统默认插件中不包含的开源插件时，可通过云搜索服务的自定义插件上传与安装功能，在实例中上传并安装对应插件。 前提条件 1. 准备待上传的插件，并确保插件的可用性和安全性。 2. 建议在上传插件前，先在本地自建OpenSearch集群（与实例相同版本）上进行测试，成功后再进行上传。 3. 开通与云搜索实例同地域的对象存储服务，并上传好需要安装的插件至对象存储的桶中。 使用限制 1. 不支持安装与默认插件一样的插件，包括默认插件的其他版本。 2. 不支持同时安装/卸载两个以上的插件。 3. 云搜索服务不保留用户插件的安装文件，请您自行备份。 4. 插件文件后缀需要为.zip。 5. 不支持上传安装带权限属性的插件。 6. 目前云搜索已关闭该功能，仅版本号 “自定义插件”，单击上传插件按钮。 3. 在弹出的页面上填写： 1. 插件名称：仅支持字母、数字和字符，请和插件包名称保持一致。插件名称查询路径：插件包内properties文件中找到pluginName。 2. 插件地址：填写天翼云对象存储同地域资源池下的地址，获取路径为：对象存储控制台——点击对应桶名称进入详情——点击文件管理，找到对应的插件，点击右侧更多——复制URL。 3. 插件版本：插件目前的版本，格式为数字和点组合，如：7.10或2.19.1.0，非必填。 4. 插件描述：用于帮助用户识别插件功能，非必填。 注意 需要开启对应文件的可读权限。 4. 填写完毕后点击安装并重启，插件会先在实例安装，安装完毕后实例将自动进行重启。期间请勿对实例进行其他操作。 5. 当实例重启完成，插件状态变成“已安装”则表示插件已经安装完毕。若插件处于“未安装”状态，则说明安装失败，您可根据提示调填写内容再次重试或通过工单联系我们协助处理。您也可以删除该插件信息。 6. 已经安装完毕的插件，如果您不再使用，可单击插件右侧的卸载，卸载此插件。卸载插件如需再次安装，请参照前述步骤执行。

本章节主要介绍安全认证原理和认证机制。 功能 开启了 Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。 Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”，后来沿用作为安全认证的概念，使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。 结构 Kerberos的原理架构如下图所示，各模块的说明如下图所示。 原理架构 模块说明 模块 说明 Application Client 应用客户端，通常是需要提交任务（或者作业）的应用程序。 Application Server 应用服务端，通常是应用客户端需要访问的应用程序。 Kerberos 提供安全认证的服务。 KerberosAdmin 提供认证用户管理的进程。 KerberosServer 提供认证票据分发的进程。 步骤原理说明： 应用客户端（Application Client）可以是集群内某个服务，也可以是客户二次开发的一个应用程序，应用程序可以向应用服务提交任务或者作业。 1. 应用程序在提交任务或者作业前，需要向Kerberos服务申请TGT（TicketGranting Ticket），用于建立和Kerberos服务器的安全会话。 2. Kerberos服务在收到TGT请求后，会解析其中的参数来生成对应的TGT，使用客户端指定的用户名的密钥进行加密响应消息。 3. 应用客户端收到TGT响应消息后，解析获取TGT，此时，再由应用客户端（通常是rpc底层）向Kerberos服务获取应用服务端的ST（Server Ticket）。 4. Kerberos服务在收到ST请求后，校验其中的TGT合法后，生成对应的应用服务的ST，再使用应用服务密钥将响应消息进行加密处理。 5. 应用客户端收到ST响应消息后，将ST打包到发给应用服务的消息里面传输给对应的应用服务端（Application Server）。 6. 应用服务端收到请求后，使用本端应用服务对应的密钥解析其中的ST，并校验成功后，本次请求合法通过。

本章节介绍云主机DNS篡改故障演练。 背景介绍 DNS 篡改是一种常见的攻击手段或配置错误，它会导致域名被错误地解析到非预期的IP地址，从而引发流量劫持、服务中断或数据泄露等风险。本演练通过模拟 DNS 篡改场景，帮助您检验系统的安全防护机制、验证监控告警的有效性，并评估业务在域名解析被劫持时的表现。 基本原理 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令。 原理是通过修改本地DNS解析文件实现。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云主机 ，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云主机 实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择云主机。 添加实例 ：单击添加实例 ，勾选上一步中添加的云主机实例。 添加故障动作 ：单击立即添加 ，在列表中选择DNS篡改动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 域名：待篡改的域名。 映射IP：将目标域名解析到该IP地址。

本章节主要介绍翼MapReduce组件HBase支持的压缩算法。 HBase目前默认支持的压缩算法有snappy和gz，根据需要可以增加lzo、lz4、bzip2等算法支持。

本章节主要介绍MRS服务故障排除文档的预览和下载。 点此预览、下载：《翼MapReduce服务故障排除》

本章节介绍Eureka引擎告警管理功能 概述 通过实例的告警管理能力，您可以对实例状态进行实时监控，并在特定指标异常时，将消息以不同形式（短信、邮件、翼连）推送到相关负责人，以便及时感知问题、处理线上故障。 管理通知对象 在配置告警规则之前，您需要先添加通知对象。通知对象包括联系人、联系人组、翼连、WebHook集成四种形式。 联系人：一个告警规则所通知的“个人”，通知渠道包括该“个人”的手机短信和个人邮箱。 联系人组：多个联系人组成的逻辑团体。若告警通知到联系人组，将会通知联系人组下的每个联系人。 翼连：通知到翼连群。 WebHook集成：通过调用预先指定的地址进行告警通知。 下面以最简单的联系人为例，演示如何添加通知对象。 1.进入实例引擎控制台>告警管理>通知组页签，点击“新建联系人”按钮。 2.在弹出的窗口中，填写联系人的对应信息，即可完成创建。 管理告警规则 告警规则决定了一次告警发生的阈值、通知的对象和渠道，以及通知的内容。完成联系人创建后，进入实例引擎控制台>告警管理>告警规则页签，可以管理您的告警规则。 下面将演示如何创建一个“Eureka引擎注册服务健康实例数量占比过少”多告警并使其生效，触发告警。 1. 创建通知策略。进入实例引擎控制台>告警管理>通知策略页签，点击“创建通知策略”按钮，填写相关信息，并指定通知对象为上一步骤中创建的联系人，完成通知策略创建； 2. 点击“创建告警规则”按钮，在弹出的窗口中填写告警相关信息。其中，通知策略指定为步骤1中创建的通知策略，告警分组选择“Eureka引擎”，告警指标选择“健康实例数量占比”，根据您的需求选择合适的判断条件，告警等级。 3. 完成告警规则创建后，可在告警规则列表中查询到该条目。告警规则创建完毕后默认启用，可通过右侧“操作”中的“停止”来使该规则失效。 4. 告警规则生效后，可在实例引擎控制台>告警管理>告警事件历史页签中，对告警事件的当前状态进行追踪。

二、私有知识仓库构建 1. 安装向量数据库 检查python环境是否存在，不存在可参考安装 plaintext 检查是否存在python python version 安装python环境 apt install python3 ![42185f672a9c44fc9445c3b83848e4c6[1].png]( 安装向量数据库及与 ollama 交互的组件 plaintext  安装 Chroma 向量数据库，基于langchain开源框架解析文本 pip install langchainchroma  安装 Ollama 交互库 pip install langchainollama  安装 langchaincommunity 库 pip install langchain langchaincommunity ![2a5dc5f455324c999f5b4725cf99c0b9[1].png]( ![d74ff03be52c42b7acf30821dd243ff9[1].png]( ![7541ff18039f4b86b178f17d21fa4cdc[1].png]( 2. 安装文本解析插件，这里以pdf进行示例 plaintext pip install pdfplumber ![9c4c010d0bd741d2ab18ef8b7c61c74f[1].png]( 3.

本文为您介绍如何利用Java客户端访问OpenSearch实例 概述 使用 OpenSearch提供的Java客户端，用户可以通过Java应用与实例交互，进行索引管理、数据查询、插入文档等操作。适合大规模Java应用开发。 前提条件 已开通天翼云云搜索服务OpenSearch实例。 实例已绑定公网IP，具体可参考“实例公网访问”章节。 已在本地安装JDK（推荐JDK 8 及以上版本）。 已配置Maven或Gradle项目以支持OpenSearch Java客户端。 操作步骤 1. 在项目中引入OpenSearch客户端依赖。Maven依赖配置如下： org.opensearch.client opensearchresthighlevelclient 2.9.0 2. 使用以下代码连接到OpenSearch实例： import org.apache.http.HttpHost; import org.opensearch.client.RestClient; import org.opensearch.client.RestHighLevelClient; public class OpenSearchJavaClient { public static void main(String[] args) { // 初始化客户端 RestHighLevelClient client new RestHighLevelClient( RestClient.builder(new HttpHost(" ", 9200, "http")) .setDefaultCredentialsProvider(new BasicCredentialsProvider().setCredentials( AuthScope.ANY, new UsernamePasswordCredentials(" ", " ") ))); // 执行操作，例如创建索引等 // ... // 关闭客户端 client.close(); } } host：集群绑定的公网 IP。 user：OpenSearch 集群用户名，例如 admin。 password：用户密码，例如 admin 用户的密码。 3. 执行创建索引的操作： CreateIndexRequest request new CreateIndexRequest("myindex"); CreateIndexResponse createIndexResponse client.indices().create(request, RequestOptions.DEFAULT); 4. 操作完成后记得关闭客户端： client.close();

本章节主要介绍DataArts Studio的获取Rest Client算子返回值操作。 Rest Client算子可以执行RESTful请求。 本教程主要介绍如何获取Rest Client的返回值，包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值。 通过EL表达式获取返回值。 通过“响应消息体解析为传递参数定义”获取返回值 如下图所示，第一个Rest Client调用了MRS服务查询集群列表的API，下图为API返回值的JSON消息体。 使用场景：需要获取集群列表中第一个集群的cluster Id，然后作为参数传递给后面的节点使用。 关键配置：在第一个Rest Client的“响应消息体解析为传递参数定义”配置中，配置clusterIdclusters[0].clusterId，后续的Rest Client节点就可以用${clusterId}的方式引用到集群列表中的第一个集群的cluster Id。 Rest Clien作业样例1 JSON消息体 通过EL表达式获取返回值 Rest Client算子可与EL表达式相配合，根据具体的场景选择不同的EL表达式来实现更丰富的用法。您可以参考本教程，根据您的实际业务需要，开发您自己的作业。EL表达式用法可参考表达式概述。 如下图所示，Rest Client调用了MRS服务查询集群列表的API，然后执行Kafka Client发送消息。 使用场景：Kafka Client发送字符串消息，消息内容为集群列表中第一个集群的cluster Id。 关键配置：在Kafka Client中使用如下EL表达式获取Rest API返回消息体中的特定字段：

类型 限制项 默认配额 备注 数据查询 最大查询时间范围 11000 暂不支持调整 数据查询 单次接口查询超时时间 30秒 暂不支持调整 数据查询 单次查询最多扫描时间线数量 2万 可提交工单申请扩容，扩容不会对之前上报数据生效。 数据查询 单次查询扫描最大数据量 1000万 暂不支持调整 数据查询 单次查询返回的最大数据量 100万 暂不支持调整 数据查询 最大查询QPS 50QPS 暂不支持调整 数据采集和上报 每个数据点最大支持大小 32kB，超过会解析失败 暂不支持调整 数据采集和上报 每个用户最大时间线数量 实际上系统会在到达限额之前为您自动做相关的扩容，因此您无需关注该限制。 数据采集和上报 每次上报请求总数据量大小 不超过1MB（最多一次上报1024个指标，因此理论上不会超过） 不支持调整，超过1 MB数据会被全部丢弃。 数据采集和上报 单指标Label长度限制 Label Key或者Label Value字符串长度不超过256个字符。 不支持调整，超限会被调换为MAXTAGVALUELIMITED 数据采集和上报 单个指标的标签数限制 64个 超出可能会造成数据丢失 数据采集和上报 默认数据保存时长 Prometheus实例 for 云服务默认保存30天，其他类型实例默认保存15天。 您可在控制台自行调整数据存储时长。 数据采集和上报 Agent单副本默认配置（3核4 G）一次最多能采集的数据点数 350万 建议您扩容副本 数据采集和上报 Agent单副本默认配置（3核4 G）最大采集Target数 1000个 建议您扩容副本 数据采集和上报 1个Target 30秒内可以最大可采集的数据点数 60万 建议您扩容副本 数据采集和上报 Agent HPA最大副本数 20 若超限，您可在控制台手动增加副本数。 数据采集和上报 Agent 支持的ACK集群版本 待测 建议您升级Kubernetes版本 告警 告警规则查询返回结果数 500 其他 单集群Recording Rules数量上限 100 超限不限制使用，但是计算可能会有延迟 其他 共享版Grafana每个租户最多能创建的Folder数量 10

本文介绍日志聚类的使用方法。 背景信息 天翼云云日志服务提供日志聚类功能，可在采集日志时将相似度高的日志进行聚合，提取出共同的日志模式（Pattern），帮助您快速掌握日志全貌。 前提条件 已创建日志项目与日志单元。 已完成采集日志。 已配置索引。 开启日志聚类功能 1. 登录云日志服务控制台。 2. 在日志管理页面的日志项目列表中，点击已创建的日志单元名称，进入日志单元详情页面。 3. 在日志单元详情页面中，即可查看当前日志单元中的日志数据。 4. 点击右上角设置按钮，在设置面板中点击“查询配置”，打开“日志聚类”开关，点击“确定”保存当前配置。 查看聚类结果 1. 在日志查询分析页面，输入查询语句并设置时间范围，点击查询执行日志查询。 2. 点击“日志聚类”页签，即可查看当前的聚类结果。 3. 聚类结果中各字段含义说明如下： 参数 说明 Number 当前聚类序号 Count 当前指定的查询时间段与查询条件内，某个Pattern对应的日志条数。 Pattern 某一类日志的具体模式，每个聚类下均会有一个或多个子Pattern。

本章节介绍配置中心迁移方案 原生Nacos迁移至MSE MSE Nacos相对于开源Nacos额外提供了配置加密、推送轨迹等功能，保障高可用，并提供了丰富的运维工具，操作十分方便。本节介绍从开源Nacos迁移到天翼云Nacos实例。 前提条件 1. 已经创建Nacos实例，参考章节：创建Nacos实例。 2. 已经在Nacos实例上创建需要迁移的命名空间。 迁移配置 1. 在开源控制台导出需要迁移的配置。 登陆开源Nacos自带的原生控制台。 在配置列表页面选择命名空间，点击单选框选中需要迁移的配置。 在配置列表下方点击导出，然后选择导出选中的配置。 然后在下载中可以看到导出的压缩包文件nacosconfigexportxxxxx.zip。 2. 在MSE控制台页面导入配置。 登录微服务引擎MSE注册配置中心管理控制台，选择资源池。 在左侧导航栏，选择注册配置中心 > 实例列表。 在实例列表页面，单击目标实例ID、实例名称或者目标行“管理”按钮均可跳转至实例基础信息页面。 在基础信息页面，点击配置管理>配置列表，选择命名空间。 点击导入配置，在弹出的导入配置框中确认目标命名空间，选择相同配置的处理策略（策略详细介绍见同步配置），点击上传配置文件，最后点击确定，即可开始导入文件。 导入后查看配置列表，可以看到配置已经导入成功。 3. 在应用完成迁移以前，如果需要变更配置文件，则需要在两边同步更新，以避免业务出现不一致的情况。

本节主要介绍如何在智能视图服务控制台管理云端AI应用。 如果想使用云端智能分析服务，需要创建AI应用，并为要进行AI分析的设备绑定AI应用。 点击左侧导航栏的【AI管理AI应用】，可以查看平台的所有AI应用列表，包括算法类型、分析类型、描述、关联设备数等信息，用户可以进行查看/编辑/删除应用、查看分析结果和告警统计等操作。 创建AI应用 点击【新建AI应用】按钮，用户选择想要使用的AI算法，目前天翼云智能视图服务支持的算法包含人脸识别、人体识别和场景识别三种类别，也可以在右上角输入算法名称或者算法描述关键字进行搜索，找到目标算法后点击【选择】，进入下一步。 输入自定义应用名称并完成应用配置，包含以下配置项。 分析频率：包含分钟级、秒级和高算力型。 生效时段：支持配置AI分析时段，可选择全天或者指定时间段，支持添加多个生效时间段。 置信度：置信度越高，则会提升告警结果的准确率，但会存在漏检的情况；置信度越低，则可以捕捉到更多可能的告警，但会存在更多误检的情况。 告警配置：开启后可优化AI告警信息频繁的情况，自定义设置静默规则，包括告警周期、告警数量阈值和静默时间，可以压缩AI告警信息。

2.3 查看MinerU服务 启动服务后，可通过apptainer命令查看MinerU2.1服务的运行实例信息，确认服务进程状态，执行命令如下： plaintext $ apptainer instance list INSTANCE NAME PID IP IMAGE mineru 3237672 /mnt/nvme0n1/apptainer/mineru/mindie2.1.RC1800IA2py311openeuler24.03ltsmineru.sif 输出说明 ：INSTANCE NAME为服务实例名称（此处为mineru），PID为服务进程ID（此处为3237672），IMAGE为服务依赖的MindIE容器路径。 2.4 停止MinerU服务 若需停止MinerU2.1服务，仅需在服务目录执行停止脚本即可，操作命令如下： plaintext $ sh stop.sh INFO: Stopping mineru instance of /mnt/nvme0n1/apptainer/mineru/mindie2.1.RC1800IA2py311openeuler24.03ltsmineru.sif (PID3237672) 执行完成后，可再次通过apptainer instance list命令确认服务实例已停止（无mineru实例输出即为停止成功）。 3 调用Web API服务 MinerU2.1服务启动后，支持通过Web API进行调用，可通过浏览器访问API文档页面查看接口详情，具体操作如下： 在本地浏览器地址栏输入URL： 参数说明 ： 需替换为天翼云昇腾910B物理机实例的公网IP或内网IP（根据访问网络环境选择，内网访问需确保客户端与实例在同一天翼云私有网络内）。 访问成功后，将展示MinerU2.1服务的所有API接口列表，包括接口名称、请求参数、响应格式等信息，可根据文档指引发起API调用（如模型推理、服务状态查询等）。

本文为您介绍如何快速创建IPsec VPN连接。 环境要求 本地数据中心的网关设备必须配置公网IP地址。 本地数据中心的网关设备必须支持IKEv1或IKEv2协议，支持任意一种协议的设备均可以和VPN网关建立IPsec VPN连接。 本地数据中心和天翼云VPC间互通的网段没有重合。 使用流程 1. 创建VPN网关 创建VPN网关并开启IPsec VPN功能，一个VPN网关可以建立多条IPsec连接。 2. 创建用户网关 通过创建用户网关，您可以将本地数据中心VPN网关设备的信息注册到天翼云上。 3. 创建IPsec连接 IPsec连接是指VPN网关和本地数据中心VPN网关设备建立连接后的VPN隧道。只有在建立IPsec隧道后，本地数据中心才能使用VPN网关进行加密通信。 4. 配置VPN网关路由（可选） 当创建的IPsec连接配置的路由模式为“目的路由”时，您需要在VPN网关中配置路由，并发布路由到VPC路由表以实现本地数据中心和VPC的通信。 当创建的IPsec连接配置的路由模式为“感兴趣路由”时，无需执行此操作。 5. 配置本地网关设备 您需要在本地数据中心的网关设备中添加VPN配置。 6. 测试连通性 登录到天翼云VPC内一台弹性云主机实例，通过ping命令，ping本地数据中心内一台服务器的私网IP地址（未禁用ping探测），验证通信是否正常。

本节介绍分布式消息服务Kafka实例常见问题 为什么可用区不能选择2个？ Kafka 通常选择三个可用区而不是两个的原因在于数据的容错性和高可用性。通过将副本分布在三个可用区中，Kafka 能够实现更高级别的容错性和可用性，即使一个可用区发生故障，系统仍然可以继续正常运行。这种三个可用区的配置是为了提供更强大的冗余和容错能力，确保 Kafka 集群在面对故障时仍能保持数据的可靠性和可用性。 创建实例时为什么无法查看子网和安全组等信息？ 创建实例时，如果无法查看虚拟私有云、子网、安全组、弹性IP，可能原因是该用户还没创建相关网络实例，需要到对应天翼云网络产品购买相应的网络产品实例。 如何选择实例硬盘大小？ 磁盘大小：流量均值×存储时长×3（备份），建议在迁移上云过程中优化Topic以降低成本。 Kafka实例的超高IO和高IO如何选择？ 选择Kafka磁盘类型主要取决于应用的需求和预算。通常，对于Kafka来说，高IO磁盘是更常见的选择，因为它提供了更好的性能和吞吐量。更多信息请参考计费及购买类问题Kafka磁盘选择超高IO还是高IO？ Kafka服务端支持版本是多少？ 分布式消息服务Kafka支持2.132.8.2版本和2.133.6.2版本服务端。 Kafka实例是否支持修改访问端口？ 分布式消息服务Kafka支持在实例创建时指定访问端口。

对特定存储桶创建卷后，文件系统可以感知OOS侧的操作吗？ 不可以。卷创建完成后，云存储网关不会感知OOS侧对数据的增加或删改操作，为了避免出现数据不一致导致的云存储网关服务故障，请不要从OOS侧发起对已创建卷存储桶的操作。 如何获取部署网关的IP？ 在本地服务器执行如下命令，查看当前系统各网卡对应的IP信息。 ip a 网口作为与Service通信的端口，用户可选择其中一个inet字段对应IP地址作为网关IP。 云存储网关通过专线和OOS连接，需要怎么设置？ 首先查看云存储网关所在服务器和OOS进行专线连接时，分配给OOS的IP地址。 然后配置云存储网关所在服务器/etc/hosts，将OOS的域名指向到该IP地址。以对象存储网络为例： vim /etc/hosts 192.x.x.x ooscn.ctyunapi.cn 一个卷最多能允许多少客户端访问？ 一个卷只能被一个客户端访问。请勿将同一个iSCSI卷挂载到不同的客户端做共享访问使用，云存储网关不支持不同的客户端同时访问同一个iSCSI卷。 网关使用的缓存盘被人为卸载，会对网关有影响吗？ 网关使用的缓存盘如果被人为卸载，可能会造成数据丢失或者磁盘损坏，所以严禁人为卸载网关的缓存盘。如果想卸载网关缓存盘，请确保缓存盘关联的卷已经被删除，并联系天翼云工作人员进行支撑删除该缓存盘。

变更配置后对计费的影响 如果您在购买按需计费实例后变更了实例规格，会产生一个新订单并开始按新规格的价格计费，旧订单自动失效。 如果您在一个小时内变更了实例规格，将会产生多条计费信息。每条计费信息的开始时间和结束时间对应不同规格在该小时内的生效时间。 例如，您在9:00:00购买了一个按需计费实例，实例规格为rabbitmq.2u4g.cluster 3 ，并在9:30:00升配为rabbitmq.4u8g.cluster 3，那么在9:00:00 ~ 10:00:00间会产生两条计费信息。 第一条对应9:00:00 ~ 9:30:00，实例规格按照rabbitmq.2u4g.cluster 3计费。 第二条对应9:30:00 ~ 10:00:00，实例规格按照rabbitmq.4u8g.cluster 3计费。 欠费影响 图3描述了按需计费RabbitMQ实例各个阶段的状态。购买后，在计费周期内RabbitMQ实例正常运行，此阶段为有效期；当您的账号因按需RabbitMQ实例自动扣费导致欠费后，账号将变成欠费状态，RabbitMQ实例将陆续进入宽限期和保留期。 图3 按需计费RabbitMQ实例生命周期 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账户被扣为负值时，我们将通过邮件、短信和站内信的方式通知到天翼云账号的创建者。

本章节介绍如何启用Ranger权限。 操作场景 为构建统一、安全的数据治理体系，企业可使用Ranger对大数据平台进行集中化的细粒度权限管控。通过Ranger，管理员可以统一配置并管理用户对Hive、Spark、HDFS及Doris等核心组件的访问策略，实现从库、表、列到文件、目录级别的安全控制。 在部署Ranger组件后，需为上述服务逐一启用对应的Ranger权限插件，并完成相关服务的配置与重启操作，以使权限策略生效，从而确保数据访问的安全性与合规性。 操作步骤 1、登录翼MR管理控制台。 2、单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3、单击“翼MR Manager”tab，单击“前往翼MR Manager”。 4、进入到翼MR Manager操作界面，单击“集群服务”菜单。 5、选择Ranger服务，单击“插件启用”tab。 6、单击要启用的插件，启用后请参考说明进行配置修改或重启相关服务。 注意 重启服务时请选择合适的业务时间，避免影响存量作业运行，可考虑使用滚动重启或逐节点重启的方式，降低业务影响。 说明 1、Hive：插件启用成功后，请重启HiverServer2角色实例。 2、HDFS：插件启用成功后，请先前往配置管理页面同步hdfssite.xml最新配置，再重启NameNode角色实例。 3、Spark：插件启用成功后，请前往配置管理页面同步sparkdefaults.conf最新配置，同步后功能生效。若部署了Kyuubi服务，请重启Kyuubi。 4、Doris：插件启用成功后，请参考下述信息修改配置并进行同步，重启FE角色实例后，功能生效。 步骤1：上传Ranger的keytab文件到所有FE节点上（ansible/scp等方式），上传路径：/etc/security/keytabs/ranger.keytab，然后改成其他用户可读 步骤2：修改/usr/local/dorisfe/conf/rangerdorissecurity.xml文件中的配置，并确认配置项替换成功 shell RANGERADMINRESTADDRESSRanger Admin所在的IP与端口 RANGERADMINKEYTABPATH/etc/security/keytabs/ranger.keytab RANGERADMINPRINCIPAL$(klist kt /etc/security/keytabs/ranger.keytab grep m1 ranger/ sed E "s/. (ranger/[^[:space:]]+)./1/" tr d "n" xargs) sed i "sRANGERADMINRESTADDRESS$RANGERADMINRESTADDRESS" /usr/local/dorisfe/conf/rangerdorissecurity.xml sed i "sRANGERADMINKEYTABPATH$RANGERADMINKEYTABPATH" /usr/local/dorisfe/conf/rangerdorissecurity.xml sed i "sRANGERADMINPRINCIPAL$RANGERADMINPRINCIPAL" /usr/local/dorisfe/conf/rangerdorissecurity.xml 步骤3：在manager启用Ranger集群服务页面，启用Doris插件，并重启FE节点。

本章节介绍如何启用Ranger权限。 操作场景 为构建统一、安全的数据治理体系，企业可使用Ranger对大数据平台进行集中化的细粒度权限管控。通过Ranger，管理员可以统一配置并管理用户对Hive、Spark、HDFS及Doris等核心组件的访问策略，实现从库、表、列到文件、目录级别的安全控制。 在部署Ranger组件后，需为上述服务逐一启用对应的Ranger权限插件，并完成相关服务的配置与重启操作，以使权限策略生效，从而确保数据访问的安全性与合规性。 操作步骤 1、登录翼MR管理控制台。 2、单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3、单击“翼MR Manager”tab，单击“前往翼MR Manager”。 4、进入到翼MR Manager操作界面，单击“集群服务”菜单。 5、选择 anger服务，单击“插件启用”tab。 7、单击要启用的插件，启用后请参考说明进行配置修改或重启相关服务。 注意 重启服务时请选择合适的业务时间，避免影响存量作业运行，可考虑使用滚动重启或逐节点重启的方式，降低业务影响。 说明 1、Hive：插件启用成功后，请重启HiverServer2角色实例。 2、HDFS：插件启用成功后，请先前往配置管理页面同步hdfssite.xml最新配置，再重启NameNode角色实例。 3、Spark：插件启用成功后，请前往配置管理页面同步sparkdefaults.conf最新配置，同步后功能生效。若部署了Kyuubi服务，请重启Kyuubi。 4、Doris：插件启用成功后，请参考下述信息修改配置并进行同步，重启FE角色实例后，功能生效。 步骤1：上传 anger的keytab文件到所有 节点上（ansible/scp等方式），上传路径：/etc/security/keytabs/ranger.keytab，然后改成其他用户可读 步骤2：修改/usr/local/dorisfe/conf/rangerdorissecurity.xml文件中的配置，并确认配置项替换成功 shell RANGERADMINRESTADDRESS anger dmin所在的 与端口 RANGERADMINKEYTABPATH/etc/security/keytabs/ranger.keytab RANGERADMINPRINCIPAL$(klist kt /etc/security/keytabs/ranger.keytab grep m1 ranger/ sed E "s/. (ranger/[^[:space:]]+)./1/" tr d "n" xargs) sed i "sRANGERADMINRESTADDRESS$RANGERADMINRESTADDRESS" /usr/local/dorisfe/conf/rangerdorissecurity.xml sed i "sRANGERADMINKEYTABPATH$RANGERADMINKEYTABPATH" /usr/local/dorisfe/conf/rangerdorissecurity.xml sed i "sRANGERADMINPRINCIPAL$RANGERADMINPRINCIPAL" /usr/local/dorisfe/conf/rangerdorissecurity.xml 步骤3：在manager启用 anger集群服务页面，启用 oris插件，并重启 节点。

镜像描述 当前镜像处于公测阶段，您可在华东1资源池试用。如果您希望在其他资源池试用该镜像，可以提交工单申请。 openGauss 是面向数据基础设施的开源关系型数据库。openGauss 调优镜像由天翼云与 openGauss 社区联合推出，基于 AI 学习自动优化数据库参数，提供预装 openGauss 并配置最优参数的 ECS 镜像。使用该镜像，用户可快速部署 openGauss 数据库，并获得优于默认配置的性能表现。该镜像采用 NUMA（NonUniform Memory Access，非统一内存访问）分区优化、ARM 指令集加速等关键技术，并通过多轮测试数据训练性能预测模型，最终实现接近真实业务场景的自动化最优调参。 配置要求 推荐配置：vCPU ≥ 4 核，内存 ≥ 16 GB；建议使用鲲鹏架构的云服务器。 免责说明 免责声明：本镜像中集成的 openGauss 数据库来源于第三方开源社区，仅供用户参考和使用。本公司不对因不当使用该镜像所导致的任何损失或损害承担法律责任。用户应确保其使用行为符合相关法律法规，并遵守 openGauss 社区的相关协议。 实践指南 数据库镜像使用指导 您可在华东1云主机订购页市场镜像服务器软件分类 选择试用openGauss调优专用镜像。 自行安装说明（若使用天翼云 openGauss 调优专用镜像，可跳过此部分）。 plaintext 极简模式服务器单点参考： 下载数据库安装包(登录openGauss开源社区[](openGauss开源社区)，选择对应平台的最新安装包下载。对于个人开发者或非企业级环境，下载极简安装包（不安装OM等组件）即可)。 plaintext 下载链接： plaintext 考虑到 glibc 版本兼容性问题，CtyunOS操作系统需要下载 openEuler 22.03 对应的安装版本： x8664: arm64： 首次使用天翼云 openGauss 调优专用镜像开通云主机后需要执行以下步骤： 说明 由于 openGauss 要求使用非 root 普通用户进行安装和运行，该镜像已预置非 root 用户 omm。出于云主机安全考虑，omm 用户默认被禁止登录。 plaintext