1、分析网站
整个豆瓣的框架设计都是简单的静态页面，只需要页面代码参数。
urls=[]
pages=79 #可以根据页面数据来设定
for page in range(0,pages):
url = 'https://book.douban.com/subject/26369699/reviews?start={}'.format(page)
urls=urls.append(url)
通过观察每个页面的网站规则，可以推测start的计算公式，例如上面的代码自动生成所有数据的地址。
2、爬取网页
需要登录并将cookie传递给请求头，以便正常请求数据。您可以在开发人员模型的RequestHeaders中获得cookies值。
def getHTML(url):
headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36',
'Connection': 'keep-alive',
'Cookie': '', #你的cookies
'Referer': 'https://book.douban.com/subject/26369699/reviews',
}
request = urllib.request.Request(url,headers=headers)
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')
return content
以上就是用python爬虫获取豆瓣书评的方法，大家可以先就爬取的流程进行了解，然后再获取自己想要的书评。使用代理时结合ip能够有效的进行数据获取，如果大家想测试使用下，可以尝试品易云http代理ip，免费测试包含各种类ip资源，无限调用IP量！更多Python学习指路：python爬虫
本文教程操作环境：windows7系统、Python 3.9.1，DELL G3电脑。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/2548/viewspace-2829586/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
ps文件格式
下一篇：
python装饰器如何保留原函数信息
请登录后发表评论
登录
全部评论
