ITPub博客

首页 > 大数据 > 数据分析 > 出行平台采集机票价格信息

出行平台采集机票价格信息

原创 数据分析 作者:金木大大大 时间:2023-11-14 10:07:33 0 删除 编辑

在上述Python代码中,首先引入了所需的模块,然后设置了代理信息和模拟浏览器访问的网页请求头。随后,使用requests库发送代理请求,并将返回的网页内容解析为HTML。接着,从HTML中提取所需的信息,比如机票价格,并将提取的信息保存到DataFrame中。最后,打印出提取的信息。


这段代码展示了如何使用代理发送网络请求,并从返回的HTML中提取所需的数据。这对于需要爬取网页数据的情况非常有用。


# 导入需要的模块

import requests

import pandas as pd



# 设置网页请求头,模拟浏览器访问

headers = {

    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}


# 使用requests库发送代理请求

response = requests.get("https://jshk.com.cn", headers=headers, proxies={'http': f'http://{proxy_host}:{proxy_port}'})


# 将返回的网页内容解析为HTML

soup = BeautifulSoup(response.text, 'html.parser')


# 提取需要的信息,例如机票价格

price = soup.find('span', class_='price')


# 将提取的信息保存到DataFrame中

df = pd.DataFrame({'Price': [price.text]})


# 打印提取的信息

print(df)

以上代码中,首先导入了需要的模块。然后设置代理信息。接着设置网页请求头,模拟浏览器访问。使用requests库发送代理请求,并将返回的网页内容解析为HTML。提取需要的信息,例如机票价格,将提取的信息保存到DataFrame中,并打印提取的信息。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70032566/viewspace-2995140/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 猪酒店房价采集
请登录后发表评论 登录
全部评论

注册时间:2023-10-12

  • 博文量
    249
  • 访问量
    157731