ITPub博客

首页 > > > Java使用Jsoup请求网页内容,网页中的页码部分请求不到

Java使用Jsoup请求网页内容,网页中的页码部分请求不到

作者:limiao 时间:2019-09-26 14:14:06 0 删除 编辑

# 使用的编程语言的工具

使用Java的一个解析网页库Jsoup获取网页中的html代码

```Java

Jsoup.connect("http://xxx.cn").get();

```

# 出现问题过程

首先有一个网页有一部分是这样

然后打开网页开发工具,可以看到这部分的代码

---华丽的分割线=----------------------------------------------------------

下面我需要使用程序获取这部分代码

主要代码如下,👇

```Java

//现在need_search是所有需要搜索关键字的链接了

for(String url : need_search){

Document doc = Jsoup.connect(url).get();

//先判断总体情况

Elements number_by_class = doc.getElementsByClass("num_nav");

System.out.println(number_by_class);

//Elements by_class = doc.getElementsByClass("normal_list2");

}

```

运行后输出这部分网页内容

是不是有一部分没有得到?

页码部分没有,(是想实现自动翻页爬取网页内容的功能,但是这部分卡住了)

# 我的猜想

可能是网页异步加载,这部分页码是通过脚本生成的,获取网页的时候没有加载完成,所以获取不到

# 请求帮助

请问如何获取这部分内容,我试过Java  URLConnection获取,结果还是一样

正在使用httpClient获取,但是挺麻烦的,不知道还有没有其它办法?请指教,感激不急!

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/4549/viewspace-3167266/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: List怎么添加数据
请登录后发表评论 登录
全部评论

注册时间:2019-07-10

  • 博文量
    190
  • 访问量
    1371