揭秘BOT流量 防范新型攻击 腾讯安全 BOT 管理白皮书 序言 序言 BOT 流量是指在互联网上对 Web 网站、APP 应用、API 接口通过工具脚本、 爬虫程序或模拟器等非人工手动操作访问的自动化程序流量，一般也称为机器 人流量。据第三方调研报告统计，2021 年的 BOT 流量请求占比已经超过人工 的访问流量。而 BOT 流量也与我们日常生活密不可分，不管是抢票抢菜，还 是领券带货，我们甚至在不经意中就参与其中。当然，BOT 流量也并非都是 恶意的，也存在良好 BOT 流量，如搜索引擎、统计和广告程序等正常流量能 提升网站排名，进行网站监控提升用户体验。恶意的流量通过利用代理或秒拨 IP、手机群控等手段来爬取信息数据、抢刷接口、薅羊毛、外挂作弊等恶意攻 击行为，对业务带来信息泄露、资金损失等风险损害网站和用户的利益。 《白皮书》将从流量构成和攻击特征帮助企业了解和认识 BOT 流量，并深入 剖析常见的 BOT 类型、使用场景和恶意 BOT 的危害。同时，《白皮书》还将 介绍业界主流的 BOT 攻击对抗方案，为企业提供恶意 BOT 流量防护思路。最 后整体分析 BOT 的市场规模及发展趋势。 《白皮书》分为四个部分，第一部分，从流量构成和攻击特征介绍 BOT 流量; 第二部分，分析常见的 BOT 类型、使用场景以及恶意 BOT 的危害; 第三部 分，全面介绍业界主流的 BOT 攻击对抗方案，为企业提供恶意 BOT 流量防护 思路; 第四部分，分析 BOT 未来的市场规模及发展趋势。 目录 序言 2022 年上半年 BOT 流量分析主要观点 BOT 流量占比逐年上升 \ 02 BOT 攻击产业化、普及化、自动化 \ 03 BOT 常见类型与对抗手段 BOT 常见类型 \ 07 BOT 主要对抗手段 \ 10 2022 年上半年 BOT 流量现状分析 常规的 BOT 对抗方案 基于规则情报的 Anti-BOT 方案 \ 15 基于客户端风险的 Anti-BOT 方案 \ 16 基于机器学习+ AI 的 Anti-BOT 方案 \ 19 基于规则情报+客户端风险识别+机器学习+ AI 的 Anti-BOT 方案 \ 20 BOT 市场规模与行业分析 市场规模与预期 \ 22 疫情中 BOT 的趋势变化 \ 22 网络攻击成为 BOT 新兴攻击流量 \ 23 来自不同网络类型的流量分布更加均匀，来自基站的网络流量增加 \ 23 随着技术的不断迭代，滑动验证码在识别 BOT 流量上的效率有所降低 \ 24 游戏、零售和电子商务行业受到 BOT 攻击最多 \ 24 2022 年上半年 BOT流量 分析主要观点 BOT流量占比逐年上升 2022 年上半年平均每月 BOT 流量占整体流量63%，恶意 BOT 流量占整体流量 27%， 恶意 BOT 流量增长趋势迅猛多端混杂，攻击目标从业务资源型 BOT 逐步切换为针对 业务内容的 API 型 BOT，多端 BOT 流量混杂，对 BOT 防护的粒度有较大的要求。 2022 年上半年平均每月的 Web 应用的攻击流量中， BOT 与 CC 攻击流量占据整体网络攻击流量的 80% , 针对业务攻击流量远大于 Web 应用攻击流量， 环比 2021 上半年的攻击流量数据，BOT 攻击流量整体上 涨幅度为 5% 。 2022 年上半年 BOT 攻击流量平均每月达到110亿次数+攻击流量，CC攻击流量为63亿次数攻击流量。现网 上的主要攻击流量类型以业务攻击流量为主。 BOT 自动化攻击流量不再仅伪装浏览器发起，而是在多端混杂上更进一步。随着居家办公及移动办公的普 及，Web 应用上的流量不再仅仅局限于浏览器。小程序、APP 逐渐成为新生的流量载体，BOT 流量也随着时 代开始改变，BOT 自动化的攻击流量不再局限于伪装浏览器，网多端混杂更进一步。 1% 1% 1% 1%1% BOT 拦截 4% CC 策略拦截 自定义策略 17% IP 黑名单 攻击 TOP10 47% 恶意扫描 SQL 注入攻击 命令注入攻击 27% XSS 攻击 地域封禁拦截 2022 年上半年 BOT 流量分析主要观点 02 BOT 攻击产业化、普及化、自动化 2022 年上半年 BOT 上下游产业链密切配合持续丰富，攻击者提供的攻击服务产业 化，攻击者形成 BaaS（BOT as a Service） 趋势。 BOT 攻击者的上下游供应链继续丰富，云上提供的相关服务内容增多、除了攻击者常用喜 爱的 IDC、VPS 此类较传统的机器外，可选择使用路径更加多，如近几年新兴的云函数、 Serverless、无服务计算、云真机等等技术发展的兴起，部分攻击者使用的资源/机器资源切换 手段从老式的自己购买 VPS / IDC 搭建基础环境，变换为使用云函数、Serverless、无服 务计算、云真机进行低成本的机器资源的模拟及使用，并形成相关的服务信息。 BOT 使用供应链相关资源配置的丰富外，很多攻击者会使用一些来自商业化的配置工具 进行访问，如代理服务商、VPN 服务商、模拟器服务商、沙盒服务商等上下游资源供应 链。除了自建业务应用外，使用上下游成熟的业务也不在少数，BOT 攻击者通过购买现有 商业化的资源替换方案，通过商业化的模拟器、沙盒、IP 代理，实现业务资源的快速 Anti-BOT 对抗。 部分 BOT 攻击者整合了上下游供应链的信息，通过低代码的方式，为有需要的攻击者提 供自动化 IP 变换、自动对抗验证码、自动化沙盒等对抗技术，分摊降低 Anti-BOT 对抗 的成本，实现 BaaS（Bot as a Service 成为新宠儿）化服务方式。 2022 年上半年 BOT 流量分析主要观点 03 2022 年上半年 BOT 攻击的使用手段及技术更加普及，BOT 流量的发起也不再局限 于灰黑产业务中。 随着信息传播的加速，BOT 利 用工具也在不断的传播，BOT 工具使用人员不再局限于灰黑 产业务人员中。 信息技术不断发展，打造 BOT 工 具的门槛持续降低，部分用户选择 自建 BOT 工具发起 BOT 流量。 疫情下，网络空间的流量发展更进一 随着计算机信息技术的不断普及传播， 步，很多业务数据从线下实体，延伸 部分恶意用户尝试通过已有的技术，自 至线上服务。从之前的火车票抢订、 己编写 BOT 相关工具对业务进行重复 酒品抢购、医院挂号再到生活物资的 性 BOT 访问，并将这类 BOT 工具在公 购买 ， 都 逐 渐 从 线 下 逐 步 切 换 到 了 开代码平台、社交平台上进行传播，使 线上， “黄牛党”、 “羊毛党”等使用 得部分正常用户也会使用 BOT 工具， BOT 技术的人员群体为主要 BOT 流 在没意识到是攻击行为的情况下对业务 量发起者，但是随着时间的逐渐迁 进行 BOT 访问和攻击，从而影响了业 移，部分“黄牛党”将 BOT 工具通 务的正常运行。 过分销的形式进行售卖，并提供相关 技术支持，部分正常用户也可以通过 利用这种 BOT 程序，对业务进行恶 意 BOT 访问。 2022 年上半年 BOT 流量分析主要观点 04 2022 年上半年 BOT 技术手段变化多样，恶意 BOT 流量的识别和防护难度增加。 基础资源调度更加便利，随着 w i n 1 1 技术手段更进一步，随着 Chrome Devel- WSA（Windows Subsystem Android） op Protocol、Playwright 等操控自动化 这个新特性的发布，更多的攻击者通过利 操作工具的逐渐完善，在端上识别浏览 用 WSA 对业务进行拟真访问，解除了之 器被操控的难度逐渐增加，如果要完全 前的传统模拟器中系统应用版本低的问 处置此类 BOT 手法，会造成在移动端上 题，BOT 流量识别难度加大。 的大量碰撞，误伤正常用户，BOT 识别 难度加大。 最近一年中 BOT 攻击者的发起网络请求 BOT 相关工具广泛传播，正常用户也会 的位置更加偏向从住宅 IP 中发起，IP 类 使用 BOT 相关工具，如果配置不当，易 型从传统的 IDC、VPN 侧发起，逐渐变 造成相关客情舆论，造成防护规则难度 为混淆度极高的住宅 IP、基站 IP。BOT 加大。 攻击流量混淆在里面,处置攻击者的同时 更容易误伤正常访问用户。 2022 年上半年 网络攻击类更加自动化、武器化。 网络攻击者利用 BOT 对网络空间进行大面积的扫描攻击，从漏洞 POC 发现到 BOT 的自动化利用时间间隔 大幅度降低。需要强有力的对抗自动化网络武器的手段。 漏洞爆发迅速，攻击者利用 BOT 工具对网络进行大规模扫描，在漏洞爆出的初期，快速实现 Web 应用攻击 扫描，如在 2021 年底爆发的 Log4j2 漏洞，攻击者在漏洞公布后的几个小时内就已经开始全网大规模的扫描。 除了基础安全规则的防护外，需要一个更加有力的手段，用于对抗此类自动化的批量扫描工具。 除此之外，攻击者为了达成目的，会使用自动化模糊测试的手段，对敏感业务的接口字段进行安全防护绕过， 以获取相关的敏感业务资产信息。如果对此类绕过探测手段没有比较好的防护措施，将会使敏感的基础设施的 权限、数据敏感信息被黑客窃取，造成业务资产损失。 2022 年上半年 BOT 流量分析主要观点 05 BOT 常见类型 与对抗手段 BOT 常见类型 爬虫机器人，也称为网络蜘蛛或爬虫，通过跟踪超链接浏览网络，目的是检索和索 引网络内容。蜘蛛下载 HTML 和其他资源，例如 CSS、JavaScript 和图像，并使 用它们来处理站点内容。 爬虫机器人 如果您有大量网页，您可以将 robots.txt 文件放在您的网络服务器的根目录中，并 通过自定义设置并向爬虫机器人提供说明，指定它们可以抓取您网站的哪些部分以 及频率。 抓取机器人是从网站读取数据的机器人，目的是离线保存数据并使其能够重复使 用。抓取机器人可能抓去网页的全部内容或特定的 API 数据以获取特定的数据，例 如电子商务网站上产品的名称和价格以及详情图片。 抓取机器人 网页抓取是一个灰色地带，在某些情况下抓取是合法的，并且可能会得到网站所有 者的许可。在其他情况下，机器人操作员可能会违反网站使用条款，或者更糟糕的 是利用抓取来窃取敏感或受版权保护的内容。 垃圾邮件机器人是一种互联网应用程序，旨在收集垃圾邮件列表的电子邮件地址。 垃圾邮件机器人可以利用电子邮件地址的独特格式从网站、社交媒体网站、企业和 组织收集电子邮件。 在攻击者积累了大量电子邮件地址/或使