假冒谷歌爬虫成为第三大DDoS攻击工具

在安全牛之前发布的文章《 Prolexic发布2014年第一季度全球DDoS攻击报告》中,我们了解到采用“反射放大”技术发起的攻击流量比上一季度增加了39%,同时攻击者也在不断发掘利用其他一些互联网基础服务来发动DDoS攻击,例如今年3月安全公司Sucuri发现 黑客利用超过16.2万WordPress网站的Pingback功能进行大规模DDoS放大攻击

近日,新的研究表明,假冒谷歌爬虫已经成为第三大DDoS攻击工具,详情如下:

Incapsula研究人员在调查了搜索引擎在1万家网站上的4亿次搜索访问后,发现超过23%的假冒谷歌爬虫被用于DDoS攻击,10.8%被用于窃取数据的恶意软件、垃圾邮件和扫描器。

 

分析结果中的一些亮点对于很多对于SEO专业人士和网站运营者来说非常有趣:

谷歌的web爬虫比其竞争对手(如MSN/Bing、百度和Yandex bots)的要活跃深入得多。

被谷歌爬虫访问次数多的网站,其自然流量份额并不会随之增长,这意味着谷歌对网站并没有特殊关照。

平均每个网站每天会被谷歌爬虫访问187次,每次访问平均抓取深度是4页。内容密集型以及频繁更新的网站,例如论坛、新闻站点、大型电商网站被爬虫光顾的次数较多。

由于谷歌依然是全球第一搜索引擎,因此绝大多数网站运营者都不会屏蔽谷歌爬虫,但遗憾的是,这也导致假冒谷歌爬虫得以大行其道,发起DDoS攻击、剽窃内容、发送垃圾信息甚至入侵系统。

假冒的谷歌爬虫能以谷歌的身份获取网站信息,它们利用了谷歌爬虫的HTTP(S)用户代理——功能相当于一个访客的ID。根据Incapsula收集的数据,超过4%的使用用户代理的爬虫都不是真正的谷歌爬虫。

通过分析5000万个假冒谷歌爬虫会话数据,Incapsula发现高达34.3%的假冒爬虫都是恶意的,其中23.5%被用于7层DDoS攻击。

假冒谷歌爬虫发起的DDoS攻击让网站经营者非常难办:要么屏蔽所有谷歌爬虫,从搜索引擎中消失,要么购买更多带宽来防范DDoS。

假冒谷歌爬虫的访问通常来自僵尸网络,排名靠前的流量大国依次是美国(25.2%)、中国(15.6%)、土耳其(14.7%)、巴西(13.49%)和印度(8.4%),而正牌的谷歌爬虫则98%都来自美国。

好消息是,人们如今可以通过一系列安全手段精确识别假冒谷歌爬虫,包括IP和ASN核对——一种通过来源地识别爬虫的技术流程,但遗憾的是,中小网站通常不掌握这些手段。