前提条件
已添加防护网站。
约束条件
- 本功能依赖浏览器的Cookie机制、JavaScript解析能力,如果客户端浏览器不支持Cookie,此功能无法使用。
- 添加或修改防护规则后,规则生效需要等待几分钟。规则生效后,您可以在“防护事件”页面查看防护效果。
- 如果您的业务接入了CDN服务,请谨慎使用此功能。
- 由于CDN缓存机制的影响,WAF的网站反爬虫特性将无法达到预期效果,并且有可能造成页面访问异常。
操作步骤
步骤1 登录管理控制台。
步骤2 单击管理控制台右上角的,选择区域或项目。
步骤3 单击页面左上方的,选择“安全 > Web应用防火墙(独享版)”。
步骤4 在左侧导航树中,选择“防护策略”,进入“防护策略”页面。
步骤5 单击目标策略名称,进入目标策略的防护配置页面。
步骤6 在“网站反爬虫”配置框中,用户可根据自己的需要更改网站反爬虫的“状态”,单击“BOT设置”,进入网站反爬虫规则配置页面。
说明如果当前业务接入CDN等类型的服务时,同时开启了“网站反爬虫”防护,则可能造成访问异常,此情况取决于CDN等服务的加速配置。
步骤 7 选择“特征反爬虫”页签,根据您的业务场景,开启合适的防护功能。
特征反爬虫规则提供了两种防护动作:
- 拦截:发现攻击行为后立即阻断并记录。
- 仅记录:默认防护动作,发现攻击行为后只记录不阻断攻击。
注意开启拦截后,可能会有以下影响:
拦截搜索引擎请求,可能影响网站的搜索引擎优化。
拦截脚本工具,可能会影响部分APP访问(部分APP的User-Agent未做修改,会匹配脚本工具类爬虫规则)。
默认开启“扫描器”防护检测,用户可根据业务需要,配置防护动作并开启其他需要防护的检测类型。
特征反爬虫检测项说明
检测项 说明 功能说明 搜索引擎 搜索引擎执行页面内容爬取任务,如Googlebot、Baiduspider。 开启后,WAF将检测并阻断搜索引擎爬虫。
说明如果不开启“搜索引擎”,WAF针对谷歌和百度爬虫不会拦截。
扫描器 执行漏洞扫描、病毒扫描等Web扫描任务,如OpenVAS、Nmap。 开启后,WAF将检测并阻断扫描器爬虫。 脚本工具 用于执行自动化任务、程序脚本等,如httpclient、okhttp、python程序等。 开启后,WAF将检测并阻断执行自动化任务、程序脚本等。 说明如果您的应用程序中使用了httpclient、okhttp、python程序等脚本工具,建议您关闭“脚本工具”,否则,WAF会将使用了httpclient、okhttp、python程序等脚本工具当成恶意爬虫,拦截该应用程序。
其他爬虫 各类用途的爬虫程序,如站点监控、访问代理、网页分析等。 说明“访问代理”是指当网站接入WAF后,为避免爬虫被WAF拦截,爬虫者使用大量IP代理实现爬虫的一种技术手段。
开启后,WAF将检测并阻断各类用途的爬虫程序。
步骤 8 选择“JS脚本反爬虫”页签,用户可根据业务需求更改JS脚本反爬虫的“状态”和“防护模式”。
默认关闭JS脚本反爬虫,单击,在弹出的“警告”提示框中,单击“确定”,开启JS脚本反爬虫。
说明
JS脚本反爬虫依赖浏览器的Cookie机制、JavaScript解析能力,如果客户端浏览器不支持Cookie,此功能无法使用。
如果您的业务接入了CDN服务,请谨慎使用JS脚本反爬虫。由于CDN缓存机制的影响,JS脚本反爬虫特性将无法达到预期效果,并且有可能造成页面访问异常。
步骤 9 根据业务配置JS脚本反爬虫规则。
JS脚本反爬虫规则提供了“防护所有请求”和“防护指定请求”两种防护动作。
- 除了指定路径以外,防护其他所有路径:“防护模式”选择“防护所有请求”,单击“添加排除请求规则”,配置防护路径后,单击“确认”。
- 只防护指定路径时:“防护模式”选择“防护指定请求”,单击“添加请求规则”,配置防护路径后,单击“确认”。
JS脚本反爬虫防护规则参数说明:
参数 参数说明 示例 规则名称 自定义规则名称。 wafjs 路径 设置JS脚本反爬虫的URL链接中的路径(不包含域名)。
URL用来定义网页的地址。基本的URL格式如下:
协议名://域名或IP地址[:端口号]/[路径名/…/文件名]。
例如,URL为“http://www.example.com/admin”,则“路径”设置为“/admin”。说明
该路径不支持正则。
路径里不能含有连续的多条斜线的配置,如“///admin”,WAF引擎会将“///”转为“/”。
/admin 逻辑 在“逻辑”下拉列表中选择需要的逻辑关系。 包含 规则描述 规则备注信息。 -
相关操作
- 规则添加成功后,默认的“规则状态”为“已开启”,若您暂时不想使该规则生效,可在目标规则所在行的“操作”列,单击“关闭”。
- 若需要修改添加的JS脚本反爬虫规则,可单击待修改的路径规则所在行的“修改”,修改该规则。
- 若需要删除添加的JS脚本反爬虫规则时,可单击待删除的路径规则所在行的“删除”,删除该规则。