如果你想从携程、去哪儿网上抓取实时价格来比价，那么就不得不面对一个问题：被限制访问。也许你前一秒还在兴高采烈地获取数据，下一秒你将眼睁睁地看着403错误页面弹出来。

这是旅游网站的惯用伎俩，它们有三重防御系统：IP限流系统，专门限制高频率发送请求的IP地址；行为检测系统，用来识别是否机器人访问；黑名单系统，专门封杀云服务器IP段。

面对此情此景，应该如何面对呢？这时候，就需要高效优质代理IP加上反反爬策略来应对了。

先要选择优质代理IP，不要云服务器IP段，也不要烂大街的代理IP（如免费代理IP资源），这些IP资源很有可能已经在旅游平台的黑名单系统里了，可能会直接被封杀。

然后要控制频率，不要使劲的用一个代理IP，每个代理IP发送多少次请求，就要切换，避免因请求频率过高或请求次数过多遭受限制。

还要注意模拟真人访问行为，绕过行为检测系统。比如模拟正常人类点击间隔和页面滚动轨迹，将数据请求藏进正常流量，这样可以避免被识别机器人。再严格的防御系统，总不能把真人都拒之门外吧，那样就没有访客了。

当然，这里只是最基础的介绍和说明，实际上各旅游平台的防御策略很复杂，而且经常会升级。在实际的抓取过程中，并不是使用了代理IP就一定能抓取到数据，要根据不同的平台的防御策略，制定相应的爬虫策略。不仅如此，还要时时关注目标网站的策略是否升级，若是升级了，也要相应是升级自己的爬虫策略。

虽然，代理IP技术加上合理的爬虫策略可以成功的抓取到数据，但并不能为所欲为，还要遵守规则，恪守原则。比如，只采集公开可见的信息，避开用户隐私数据等信息；还要控制请求频率，不要给平台服务器造成负担，影响正常运行。