说明
默认情况下，在使用get请求时，会出现堵塞，需要很多时间等待，如果有很多请求url，速度会变慢。因为需要完成url请求，所以可以继续访问下一个url。
1、用异步机制提高爬虫类的速度。通过构建线程池和过程池完成异步爬虫。
2、使用多线程或多过程处理多个要求(其他过程或线程堵塞时)。
实例
import time
#串形
def getPage(url):
print("开始爬取网站",url)
time.sleep(2)#阻塞
print("爬取完成！！！",url)
urls = ['url1','url2','url3','url4','url5']
beginTime = time.time()#开始计时
for url in urls:
getPage(url)
endTime= time.time()#结束计时
print("完成时间%d"%(endTime - beginTime))
以上就是python异步爬虫机制的探究，希望对大家有所帮助。更多Python学习指路：python爬虫
本文教程操作环境：windows7系统、Python 3.9.1，DELL G3电脑。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/835/viewspace-2829526/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
centos中http代理的使用
下一篇：
java中并发和并行的概念
请登录后发表评论
登录
全部评论
