前提条件
- 您已经完成添加服务域名,如果您未添加,请参考添加服务域名。
- 您已经购买爬虫管理扩展服务。
操作步骤
1.登录边缘安全加速控制台,选择【安全能力】-【Bot防护】,在域名列表中选中需要配置防护策略的域名。
Bot防护能力概览
下表将为您描述目前边缘安全加速平台-安全与加速服务在Bot防护模块具备的防护能力以及应用场景。
模块 防护能力 说明 应用场景 Bot防护 设置高频爬虫限制 防止攻击者盗用合法Cookie进行大量请求,限制不同粒度的访问速率 当出现搜索引擎爬取粒度过大导致服务宕机时,可以通过此功能限制爬虫频率 设置爬虫陷阱 在页面里面嵌入不可见链接,当爬虫触碰链接时进行防护 防护网页爬虫 设置人机识别 通过cookie挑战、跳转挑战、人机挑战等防爬策略,精准命中爬虫流量,拦截各类恶意爬虫 针对支持携带cookie的客户端请求,小程序、APP、API可能不支持;
对于无法正常执行跳转的请求,可以设置跳转挑战
设置爬虫情报规则 支持针对搜索引擎IP放行、针对恶意Bot请求IP封禁,目前爬虫情报库已维护接近10万条数据 对已知搜索引擎IP放行处理,不经过Bot防护策略,提升网站SEO权重;对已知恶意Bot请求IP拦截处理
设置IP情报规则 支持针对已维护的IP信誉库,从威胁类型维度(IDC服务器、傀儡机、漏洞利用等十几类)进行IP封禁,目前IP信誉库已维护接近120万条数据 对已知IDC IP进行封禁处理;拦截傀儡机、漏洞利用等已知恶意IP 防护白名单 设置Bot策略白名单 支持针对Bot防护策略设置白名单,则指定请求将不经过Bot防护策略的检测 明确不需要经过Bot防护策略的请求,可以在Bot功能模块中设置为白名单
注意目前控制台尚未开放人机识别、爬虫情报以及IP情报功能,如有防护需求请通过提交工单给天翼云客服,由其人工操作开启。
页面说明
防护域名
为您展示接入安全与加速服务的域名,并支持查看域名的Bot防护状态以及域名配置状态。点击防护域名数统计区域,可筛选域名列表已防护或未防护的域名,您也可以通过下方查询框对域名进行其他条件的筛选。
点击右上角【新增域名】可进入域名新增页面,点击支持收起域名列表。
注意当域名为配置中、已停用状态,不支持编辑防护配置。
流量分析
默认对近24小时爬虫流量进行统计并分析,当识别到爬虫流量时将在流量分析模块展示,并记录爬虫告警在攻击日志中。
基础信息
为您展示当前域名的基础信息,有CNAME、加速区域、产品类型、套餐版本、创建时间,并支持对域名进行基础配置。基础配置的功能介绍参见:基础配置。
防护能力
提供Bot防护能力及策略基本配置。
- Bot防护开关。为Bot防护策略的总开关,可配置拦截、告警、关闭。
- 客户端标识过期时间。可配置客户端标识即Cookie过期时间,默认为1天。
- 无需检测的静态文件。输入框中支持输入无需检测的文件后缀,多个用英文;分隔,输入并提交保存后,将不对这些文件类型进行检测。默认值:js;css;jpg;jpeg
- 防护能力。支持配置Bot策略白名单、高频爬虫限制、爬虫陷阱等Bot防护功能。