我们来写个简单的爬虫####
需要用到的模块
需要用到python的urllib和lxml模块，urllib为python的自带模块，lxml需要自行安装：
pip install lxml
简单介绍urllib和lxml的使用
我们使用urllib来爬去一个网页比如：
In [1]: import urllib
In [2]: # 爬起豆瓣首页In [3]: html = urllib.urlopen("https://www.douban.com/").read()
In [4]: # 整个html打印出来太多，这里我们就保存在文件中，再查看In [5]: of = open("db_index.html","w")
In [6]: of.write(html)
In [7]: of.close()
使用lxml主要用于解析网页(这里只是简单示范)，比如：
In [8]: from lxml import etree In [9]: html = u'我是标题
哈哈哈哈
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/3244/viewspace-2809922/ ，如需转载，请注明出处，否则将追究法律责任。
下一篇：
Java 四种线程池的用法分析
请登录后发表评论
登录
全部评论
