2016年互联网虚假流量报告

今年第五年的“Imperva Incapsula Bot Traffic Report”是对bot流量景观的统计研究。对于我们的最新报告，我们检查了在Incapsula网络上访问100,000个随机选择的域的16.7亿次访问，以解决以下问题：

• 漫游器产生多少网站流量？
• 如何在网络攻击中使用坏机器人？
• 什么驱动好的机器人访问各种网站和服务？
• 哪些是最活跃的坏机器人？

这些问题的答案见下图。在随附的评论中，我们仔细观察一些宏观趋势，这反映在最活跃的机器人原型的活动中。

大多数网站访问者都是Bots

在2015年，我们记录了我们网络上的机器人活动的下降，导致多年来首次下降到50％以下。在2016年，我们目睹了这一趋势的改正，机器人流量回升至51.8％，仅略高于2012年的水平。

如上图所示，这种变化归因于良好机器人活动的增加。在2016年，我们追踪了504个独特的好机器人，其中278个活跃，足以产生至少1,000次每日访问我们的网络。其中57.2％的活动增加，而其中29.4％的活动比去年同期下降。

这将导致更大的上涨，但是大多数（66.7％）的变化在-0.01％至0.01％的范围内。后者展示了bot流量的可预测性，特别是考虑到比较样本的不同性质。

这也一直被糟糕的机器人数字所反映，他们的活动继续波动30％左右，就像过去五年一样。

这里应该指出的是，不好的机器人访问（和一般的机器人访问）的相对数量较少被贩运的网站更高。例如，在最少的被贩运的网域中，十个人访客每天或更少的机器人经常访问的人数占访问总数的47.7％，而总漫游器总数达93.3％。

这些不成比例的数字是我们以前报告中描述的好坏坏机器人的不分青红皂白的活动的结果，这将在本文的最后一节进一步讨论。简单地说，好的机器人会抓住你的网站，坏的机器人会试图破解它，不管它是如何受欢迎的人类的民间。他们甚至会在没有人流量的情况下继续访问域名。

伪造者：教科书坏博客

在糟糕的机器人类别 – 连续第五年，模仿者机器人仍然是最活跃的罪犯。在2016年，他们负责网络上所有流量的24.3％和对Incapsula保护域名的所有坏机器人攻击的84％。

这种持续主导地位是以下两个因素的结果：

假冒是容易和值得的

造假者是攻击机器人，掩盖自己作为合法访客，以避免安全解决方案。显然，这种旁路功能可补充所有的恶意活动，并使模拟人员成为大多数自动化攻击的“选择武器”。更重要的是，因为基本的混淆程度比较容易实现。

因此，更原始的模仿者只是隐藏在假的“用户代理”后面的机器人 – 一个HTTP / S头，声明访问者对应用程序的身份。通过修改该标题的内容，这些攻击者将自己宣告为好的机器人或人类，希望这将足以获得访问权限。

更先进的犯罪者通过彻底修改其HTTP / S签名来模仿类似浏览器的行为，包括捕获Cookie和解析JavaScript的能力，使事情进一步发展。在许多情况下，他们同时做两个。

假冒者是完美的DDoS攻击

伪造者混淆技术非常适合DDoS违例者试图实现 – 超过具有大量似乎合法请求的服务器。例如：要求它每隔50,000次载入主页。

这就是大量假冒者活动的另一个原因。如果一个机器人访问（会话）足以使另一种类型的攻击成功，则DDoS肇事者需要发送数以千计的机器人来取消目标。

最活跃的坏机器人都是用于DDoS攻击的模仿者。其中之一是Nitol恶意软件，唯一最常见的坏机器人负责所有网站流量的0.12％。在2016年，绝大多数的Nitol攻击是由模仿者机器人浏览使用旧版本的Internet Explorer启动的。

Mozilla / 4.0（兼容; MSIE 7.0; Windows NT 5.1; SV1）
Mozilla / 4.0（兼容; MSIE 8.0; Windows NT 6.1; Trident / 4.0; .NET CLR 1.1.4322; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729）

Cyclone是第二常见的坏机器人，经常被用来模仿搜索引擎抓取工具，主要是Google和百度机器人。

Mozilla / 5.0（兼容; Googlebot / 2.1; + http：//www.google.com/bot.html）
Mozilla / 5.0（兼容; Baiduspider / 2.0; + http：//www.baidu.com/search/spider.html）

另一个例子是未来的恶意软件，最近被用来发起迄今为止最具破坏性的DDoS攻击之一。当用于HTTP洪水袭击时，未来也采用假冒战术，如伪装成Chrome或Safari浏览器。

Mozilla / 5.0（Windows NT 10.0; WOW64）AppleWebKit / 537.36（KHTML，像Gecko）Chrome / 51.0.2704.103 Safari / 537.36
Mozilla / 5.0（Macintosh; Intel Mac OS X 10_11_6）AppleWebKit / 601.7.7（KHTML，像Gecko）Version / 9.1.2 Safari / 601.7.7

应该提到的是，模仿机器人使用的身份是高度流动的。例如，在收集本报告数据时，我们记录了Nitol模拟人员使用超过14,000个不同的用户代理变体和17个不同的身份。

饲料饲料：好的动物去移动

好的机器人有许多方法支持业主的各种业务和运营目标 – 从个人用户到大型跨国公司。

然而，在更广泛的层面上，这些可以分为以下四组：

• Feed抓取器 – 将网站内容转发到移动和Web应用程序的Bots，然后他们显示给用户。
• 搜索引擎漫游器 – 收集搜索引擎算法信息的博客，然后用于进行排名决策。
• 商业爬行器 – 用于授权数据提取的蜘蛛，通常代表数字营销工具。
• 监控机器人 – 监控网站可用性和各种在线功能的正常运行的机器人。

在四个组中，搜索引擎漫游器可能是普通互联网用户更为人所知的。然而，它们并不像饲料饲料那样活跃，后者占2016年交通量的12.2％。

最活跃的Feed提取器和最活跃的机器人一般是与Facebook的移动应用程序相关联的。它会获取网站信息，以便在应用内浏览器中查看。总体而言，它是在Incapsula网络上所有网站流量的4.4％。这反映了Facebook移动用户基数的增长率，据报与去年同期相比增长了19％，并在2016年第三季度实现了超过16亿的活跃月度用户。

Android框架是第二个最活跃的Feed提取器，与移动用途类似，作为Dalvik和Android运行时进程的代理。所以是CFNetwork的机器人，在iPhone移动应用中使用的第三个最流行的饲料提取器机器人。

总体来说，与移动应用和服务相关的机器人占所有Feed抓取器流量的69％以上，用于说明移动革命对漫游器流量景观的影响。

94.2网站经历了僵尸攻击的百分比

本报告中最令人震惊的统计数字也是其持续观察趋势：过去五年来，每三位访客网站访问者都是一名攻击机器人。

这种趋势的影响是许多数字业主所感受到的，其中大多数人定期面临非人类攻击者。具体来说，在本次调查的10万个域中，94.2％在90天内遭受至少一次机器人攻击。

通常，这些攻击是网络犯罪分子投射广泛的网络的结果，一次一次针对数千个域的自动攻击。

虽然这些不分青红皂白的袭击并不像有针对性的攻击一样危险，但仍然有可能妥协许多无保护的网站。具有讽刺意味的是，这些网站的所有者往往忽视了机器人的最大的危险，错误地认为他们的网站太“小”，不被攻击。

正是这种鸵鸟心态帮助机器人攻击成功，激励网络犯罪分子继续发起更大更精细的自动攻击。

方法

这里提供的数据是基于从2016年8月9日至2016年11月6日期间收集的超过167亿个机器人和人为访问的样本。交通数据来自于Incapsula CDN上100,000个随机选择的域。

与之前的“Bot交通报告”收集的数据比较依赖于2015年7月24日至2015年10月21日期间90天内发生的超过190亿次人机和机器人访问的样本。收集了35,000个免疫障碍保护网站，每天最少流量至少10人。

在地理上，观测的交通量包括世界上所有的249个国家，地区或地理上的兴趣区域（按照ISO 3166-1标准提供的代码）。

该分析由Incapsula客户端分类引擎（一种专有技术）提供支持，该技术依靠交叉验证HTTP指纹，IP地址来源和行为模式等因素来识别和分类传入的Web流量。

推荐阅读：2016年bot流量报告出炉：机器人流量占比为51.8%

去年今日运营文章

1. 2023:  2023抖音电商全域营销招商方案(0)
2. 2023:  荣耀手机笔记导出为文档在哪里打开呢？如何转发别人？(0)
3. 2023:  私域流量运营工具：提升效率的10个选择(0)
4. 2023:  苹果手机备忘录内容删除了能恢复吗(0)
5. 2023:  精准营销：私域用户运营的成功之道(0)