java实现的新浪微博爬虫系统，主要难点有四：
1.模拟登录，爬取时要带上cookie。
2.如果出现Sina Visitor System(新浪访客系统)，cookie中带上User-agent即可。
3.新浪微博采用js加载数据，采用httpClient无法获取到数据，可采用htmlunit来完成。
4.由于格式问题，解析麻烦。
代码：
http://pan.baidu.com/s/1eQjjVsm
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/29754888/viewspace-1787086/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
solr solrj Facet
下一篇：
Hello , Actor、Akka
请登录后发表评论
登录
全部评论
