首页 > > > R语言爬虫:登录账号密码爬虫
作者:黄天元,复旦大学博士在读,热爱数据科学与R,热衷推广R在工业界与学术界的应用。邮箱:huang.tian-yuan@qq.com.欢迎合作交流
使用rvest爬虫的时候,有的时候需要账号和密码,但是不知道在R环境中怎么登录然后再爬,所以要寻找一定的办法。今天看一个帖子(Using rvest or httr to log in to non-standard forms on a webpage),原来rvest包自带的工具就能够登录,实在太棒了。
搬运一下核心代码:
library(rvest)
url <-"http://www.perfectgame.org/" ## page to spider
pgsession <-html_session(url) ## 1 create session
pgform <-html_form(pgsession)[[1]] ## 2 pull form from session
# Note the new variable assignment
filled_form <- set_values(pgform,
`ctl00$Header2$HeaderTop1$tbUsername` = "myemail@gmail.com",
`ctl00$Header2$HeaderTop1$tbPassword` = "mypassword") # 3
submit_form(pgsession,filled_form) # 4基本思路是:
1、在网址中找到登录的模块(session)
2、把模块提取出来
3、给模块的账号、密码部分进行赋值(即输入账号密码)
4、递交账号密码信息
那么需要账号密码的时候就能够直接突入了。
原文作者:;如有侵权,请联系管理员删除。