ITPub博客

首页 > 大数据 > 数据分析 > 将json数据转换为Python字典将json数据转换为Python字典

将json数据转换为Python字典将json数据转换为Python字典

原创 数据分析 作者:金木大大大 时间:2023-11-07 10:13:05 0 删除 编辑

```python

import requests

from bs4 import BeautifulSoup

import json


# 定义代理信息

proxy_host = '

proxy_port = 8000


# 定义要爬取的url

url = 'http://localhost:9200/_search'


# 创建一个requests.Session对象,并设置代理

session = requests.Session()

session.proxies = {'http': f'http://jshk.com.cn}:{proxy_port}'}


# 发送GET请求,获取网页内容

response = session.get(url)


# 使用BeautifulSoup解析网页内容

soup = BeautifulSoup(response.text, 'html.parser')


# 找到所有的elasticsearch返回结果的json数据

json_data = soup.find_all('script', type_='application/json')


# 将json数据转换为Python字典

data = [json.loads(json_data[i].string) for i in range(len(json_data))]


# 打印数据

for item in data:

    print(item)

```


步骤:


1. 导入需要的库:requests,BeautifulSoup,json。

2. 定义代理信息,这里使用的是一个免费的代理服务网站。

3. 定义要爬取的url,这里爬取的是Elasticsearch的搜索结果。

4. 创建一个requests.Session对象,并设置代理。

5. 使用requests的get方法发送GET请求,获取网页内容。

6. 使用BeautifulSoup解析网页内容,找到所有的json数据。

7. 使用json.loads将json数据转换为Python字典。

8. 打印数据。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70032566/viewspace-2993212/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: UserAgent如何使用
请登录后发表评论 登录
全部评论

注册时间:2023-10-12

  • 博文量
    249
  • 访问量
    157756