正如电子邮件垃圾邮件已将自己巩固到我们日常数字存在中的不可阻挡的祸害中,内容刮板通过减慢网站,窃取内容和一般运行Amok来污染网站。到目前为止,我们没有太多可以做到这一点。

基于弗吉尼亚州的阿灵顿的Arlington相信它有糟糕机器人的答案:它开发了一种检测机器人并防止Web刮擦的内容保护网络。该公司已经非常成功,它最近超过了10亿块的机器人,因为它在七个月前开始估计。

机器人影响在线网站的任何人。他们从数字出版商那样刮掉内容,如Venturebeat在他们自己的广告网站上重新开发它。机器人也可以用来收集智力,可以让您的竞争对手提供优势。机器人还增加了您网站的延迟和服务器负载,这导致合法访客的更糟糕的体验(以及您的末尾的更高账单)。

Distil不仅仅是阻止IP地址,通常是在线安全公司的第一个行动方案。这是秘密酱是如何识别机器人。

Rami Essaid,Stinl的创始人和行政长官指出,IP地址经常变化,因此它们不是阻止恶意人士的最佳方式。相反,该公司使用各种方法来发现机器人,包括行为分析,会话率限制以及指纹游客的独特方法。

“我们查看您的操作系统上的独特浏览器的组合,操作系统的浏览器和设置的设置,我们将其与您唯一对您唯一独特的东西,”Essaid在接受VentureBeat采访时解释说。“这是在服务器方面可跟踪的 - 在不追踪cookie开始是更大,更大的交易的年龄,您可以跟踪服务器端让我们控制我们跟踪谁以及如何运行。......我们在人们开始说我们正在侵入用户的隐私之前有2 - 3年。“

埃斯特图告诉我,蒸馏公司实际上并没有正式启动,但该公司实际上并没有开始计算它在几个月后拦截的机器人。在过去的一年里,他感谢该公司对网站的独特景色表示一些有趣的趋势:搜索引擎实际上将更多的流量发送到他们索引的站点更多(对于发布者来说有用的东西),大约30%的网站流量来自非搜索引擎机器人(包括恶意和良性机器人)和机器人喋喋不休通常占据来自住宅ISP等20%的流量,如康卡斯特和时代华纳。

“它可能达到了从机器人制造商成为目标的地步,”埃斯特别德说。他注意到已知机器人的职位列表,他要求申请人能够将软件写入“STERL网络的东西”。

尽管移动设备正在上升,但公司尚未注意到它们的任何显着的机器人活动。但是,由于它们通常总是打开并连接到数据源(并且每隔几个月更快地获得数据源(每隔几个月越来越快),因此有可能从智能手机攻击有趣的恶意攻击。

来自公司第一年的其他Tidbits:

蒸馏公司是最近的Techstars明星明星,到目前为止,从FF风险投资,IDEA基金合作伙伴,云电力基金和其他人筹集了200万美元。

至于BOT世界的下一步,Essaid期望从大型网络玩家忽略威胁的大型网络球员的重大转变:

“争夺恶意攻击的战斗走得太慢了......拒绝服务攻击[通常由机器人造成]变得越来越普遍,他们危及大型网络,”他说。“我们预测isps更加涉及捍卫的isps,以阻止更靠近它始身的边缘的东西,而不是目的地的边缘。...在接下来的3到5年里,您将看到思科或瞻博网络以一种方式在某种威胁协调系统中将所有ISP系在一起。“

相关文章