设置爬虫情报规则 本文将介绍爬虫情报规则,从背景信息、相关配置项、相关操作帮助您更好地理解爬虫情报规则。 功能介绍 支持针对搜索引擎IP放行、针对恶意Bot请求IP封禁,目前爬虫情报库已维护接近10万条数据 注意 目前控制台尚未开放爬虫情报规则功能,如有防护需求请通过 前提条件 已开通Web应用防火墙(边缘云版) 已新增域名并成功接入WAF,具体操作请见WAF接入 开通Web应用防火墙(边缘云版)扩展服务Bot管理,支持使用Bot防护策略,具体请见套餐和版本说明 背景信息 边缘云WAF安全团队基于天翼云积累的海量威胁情报库,并经过离线分析技术,收集国内外公开的、已知的恶意爬虫IP;另外,通过反向解析技术,收录了众多SE类别的爬虫信息,两者结合形成爬虫情报库,内置近10万条友好爬虫与已知恶意爬虫IP信息,目前仍持续更新中。 针对已知爬虫,边缘云WAF为爬虫情报进行标识与分类,例如搜索引擎类的爬虫,分为谷歌爬虫、360爬虫、百度爬虫等各类标识,您可以仅针对其中的某类搜索引擎标识进行加白的动作,则后续此类爬虫IP将不经过边缘云WAF的Bot防护策略。对于恶意爬虫,您也可以对其进行一键封禁的操作,边缘云WAF将会对其进行拦截,避免网站业务遭受已知恶意爬虫的攻击。