作为一个活跃的社会网络平台，微博拥有大量的用户，每天都有数以千计的即时信息。这一信息的收集对于我们分析微博活动和微博事件很有帮助。这篇文章中分享了一些在微博上抓取微博数据的小窍门，希望对你有帮助。
1、设置cookies。
实际上，cookies是一些存储在用户终端上的加密数据，有些网站通过cookies识别用户身份，如果某个访问总是频繁地发送请求，网站很可能发现其可疑为爬虫，此时网站可以通过cookies找到该访问的用户，拒绝访问。
有两种方法可以解决这个问题，一种是定制cookie策略，防止cookierejected问题，或者禁止cookies。
2、修改IP，实际上，微博识别IP，而非帐户。
也就是说，在需要不断地抓取大量数据时，模拟登录就没有意义。只要是同一个IP，不管怎么换账号都无济于事，关键是IP地址。
webserver应对爬行器的一个策略是直接关闭IP或整个IP段，禁止访问。IP关闭后，需要使用代理IP来继续访问转换到其他IP。
获得IP地址的方法很多，最常见的就是从代理网站获得大量高质量的IP。象Brooks这样的自营服务器遍布全国，是个不错的选择。
3、修改用户代理，User-Agent是指包含浏览器信息作为系统信息的字符串，也称为特殊网络协议。
它可以判断当前的访问对象是浏览器、邮件客户端还是网络爬虫。特定的方法是将User-Agent的值更改为浏览器，甚至可以设置一个User-Agent池(list，数组，字典)，存储多个浏览器，每次爬取一个User-Agent设置request，使User-Agent不断改变，防止被屏蔽。
大家想尝试使用爬虫ip，可以进入品易http官网了解更多内容，提供高匿稳定代理ip，支持HTTP/HTTPS/SOCKS5代理协议，提供动态IP、静态IP等服务。百兆带宽，千万ip资源，保证爬虫数据传输安全性。快捷获取网站数据，现在还有免费测试，赠送ip的活动！
（推荐操作系统：windows7系统、Internet Explorer 11，DELL G3电脑。）
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/1542/viewspace-2828527/ ，如需转载，请注明出处，否则将追究法律责任。
