ITPub博客

首页 > > > R语言爬虫:登录账号密码爬虫

R语言爬虫:登录账号密码爬虫

作者:浪花小雨滴 时间:2019-02-02 21:48:11 0 删除 编辑

作者:黄天元,复旦大学博士在读,热爱数据科学与R,热衷推广R在工业界与学术界的应用。邮箱:huang.tian-yuan@qq.com.欢迎合作交流


使用rvest爬虫的时候,有的时候需要账号和密码,但是不知道在R环境中怎么登录然后再爬,所以要寻找一定的办法。今天看一个帖子(Using rvest or httr to log in to non-standard forms on a webpage),原来rvest包自带的工具就能够登录,实在太棒了。

搬运一下核心代码:

library(rvest)

url       <-"http://www.perfectgame.org/"   ## page to spider
pgsession <-html_session(url)               ## 1 create session
pgform    <-html_form(pgsession)[[1]]       ## 2 pull form from session

# Note the new variable assignment 

filled_form <- set_values(pgform,
  `ctl00$Header2$HeaderTop1$tbUsername` = "myemail@gmail.com", 
  `ctl00$Header2$HeaderTop1$tbPassword` = "mypassword")  # 3

submit_form(pgsession,filled_form)  # 4

基本思路是:

1、在网址中找到登录的模块(session)

2、把模块提取出来

3、给模块的账号、密码部分进行赋值(即输入账号密码)

4、递交账号密码信息


那么需要账号密码的时候就能够直接突入了。

原文作者:;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2018-05-16

  • 博文量
    4259
  • 访问量
    39905