爬虫是大数据时代非常受欢迎的工具，因为现在互联网上的数据非常庞大，而且每天都在不断的增加，所以信息采集脱离爬虫几乎是不可能的事情。
爬虫相当于一个访问网页的用户，但不是一个普通的用户，因为爬虫在采集过程中会发出大量请求，而服务器一般很不欢迎这样的用户，所以总是用各种手段发现和禁止，也就是网站的“反爬虫”机制。最常见的方法就是判断你访问的频率，因为普通人访问网页的频率是不会很快的，如果发现某个IP访问的过快就会将此IP封禁。
为了能让爬虫继续工作，就要更换它的IP，常用的更换IP的方法就是用代理IP来更换，但是代理IP也有很多种类型，不同类型的代理IP适合不同的场景，而最适合爬虫的则是高匿代理IP。所以，想让爬虫能够高效的工作，一定要选择
高匿代理IP。
