ITPub博客

首页 > IT职业 > IT图书 > python爬虫工具Pyppeteer怎么用?

python爬虫工具Pyppeteer怎么用?

IT图书 作者:castlight 时间:2021-09-11 10:02:06 0 删除 编辑


 

1.安装:

pip install pyppeteer

2.导入方式:

import pyppeteer

3.利用Pyppeteer实例操作:

import asyncio
from pyppeteer import launch
from lxml import etree
async def main():
    browser = await launch()
    page = await browser.newPage()
    await page.goto('')
    await page.waitForXPath('//table//a[@title]')
    doc = etree.HTML(await page.content())
    names = [element.attrib['title'] for element in doc.xpath('//table//a[@title]')]
    print('Names: ', names)
    await browser.close()
asyncio.get_event_loop().run_until_complete(main())

4.运行结果:

Names:  ['誓血五人组', '给我翅膀', '黑帮大佬和我的365日', '爱情人偶', '忠贞', '鲁邦三世 The First', '大饿', '火口的两人', '知晓天空之蓝的人啊', '野性的呼唤']

目前Chromium和它的衍生品几乎占据了80%以上的浏览器市场,另外pyppeteer针对selenium最大的优势是异步,因为它是基于asyncio实现的,所以如果有效率上的要求,又不限定浏览器的话,首选还是pyppeteer,大家可以多尝试使用。

(推荐操作系统:windows7系统、Python 3.9.1,DELL G3电脑。)

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/1470/viewspace-2831125/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-04-15

  • 博文量
    102
  • 访问量
    1238