。

一般来说能够遵守robots协议来使用这项技术都是没问题的。

但事实上，网络上遍布的许多网络爬虫，干的都不是人事。

跟所有人息息相关网络爬虫案例就是黄牛抢票。

比如全球被各种网络爬虫光顾最多的就是12306。

每到节假日，尤其是五一、十一、春运这样的出行高峰，热门地区的火车票总会特别难抢，甚至是秒空。而且这个时候12306软件都很难打开，基本也都是拜这种网络爬虫所赐。

根据统计，华夏12306点击量最高峰曾达到59亿次/小时，平均每秒就有160多万次点击。显然不是正常用户能刷出来的数字。

官方程序也通过各种升级验证码，来防止黄牛抢票，甚至有一段时间，那些堪称变态级别的验证码甚至难道让一个普通人无所适从。

即便现在推出人票合一的功能了，但无数抢票软件依然利用加价购买抢票包的方式提供这种服务。

除此之外，各大航空公司也是非法网络爬虫的重灾区，尤其是经常放出特价机票的那些航司。几乎每次特价机票刚一放出就会被这种爬虫嗅探，然后直接预定但不付款。

对于航司来说，一般这种特价票预定之后会有半小时的时间给买家付款，半小时内不付款就会再次进入票池，但爬虫技术却能在这些特价票进入到票池后0.01秒之内再次抢到手，直到黄牛党找到愿意加价的买家，用买家身份信息购票并付款。

可以想象不管是12306还是各大航司，都恨透了这种爬虫。

毕竟黄牛的加价他们一分钱都赚不到，还增加了网络负载。

尤其是各大航司，本来是要让利给客户，增加客户粘性的，结果客户没享受到低价票，还会可能因为付了高价，没享受相对应的服务而恼火。

除了这种网络爬