国内代理IP为了服务器的稳定性,会对API提取链接的调用频率进行限制,比如最小提取间隔10秒,或者5秒、1秒等。但有时候有的业务需求会要求更快的调用频率或者多机器同时调用API获取IP来完成任务。
搭建好了本地IP池,那么在使用代理IP的时候就再也不用受到最小提取间隔的限制了,也不用受单提数量的限制了,想一秒提取一次或者多次,想一次提取几个或多个,完全是自己说了算,对于代理IP的使用效率就更高了,对多线程爬虫来说,能爬取到更多的数据,更好的完成工作任务。
所以爬虫项目一般都会有代理ip,这样才能够保障爬虫过程中的代理ip资源够用。