ITPub博客

首页 > IT职业 > IT生活 > Python 万能代码模版:爬虫代码篇

Python 万能代码模版:爬虫代码篇

IT生活 作者:专注的阿熊 时间:2022-08-25 11:50:11 0 删除 编辑

# file_name: excel_crawler_urllib3.py

import urllib3

import pandas as pd

def download_content(url):

# 创建一个 PoolManager 对象,命名为 http

http = urllib3.PoolManager()

# 调用 http 对象的 request 方法,第一个参数传一个字符串 "GET"

# 第二个参数则是要下载的网址,也就是我们的 url 变量

# request 方法会返回一个 HTTPResponse 类的对象,我们命名为 response

response = http.request("GET", url)

# 获取 response 对象的 data 属性,存储在变量 response_data 中

response_data = response.data

# 调用 response_data 对象的 decode 方法,获得网页的内容,存储在 html_content

# 变量中

html_content = response_data.decode()

return html_content

def save_excel():

html_content = download_content("http://fx.cmbchina.com/Hq/")

# 调用 read_html 函数,传入网页的内容,并将结果存储在 cmb_table_list 中

# read_html 函数返回的是一个 DataFrame 的 list

cmb_table_list =外汇跟单gendan5.com pd.read_html(html_content)

# 通过打印每个 list 元素,确认我们所需要的是第二个,也就是下标 1

cmb_table_list[1].to_excel("tips2.xlsx")

def main():

save_excel()

if __name__ == '__main__':

main()

# file_name: excel_crawler_requests.py

import requests

import pandas as pd

from requests.exceptions import RequestException

def download_content(url):

try:

response = requests.get(url)

if response.status_code == 200:

return response.text

else:

return "None"

except RequestException as e:

return e

def save_excel(filename):

html_content = download_content("http://fx.cmbchina.com/Hq/")

# 调用 read_html 函数,传入网页的内容,并将结果存储在 cmb_table_list 中

# read_html 函数返回的是一个 DataFrame 的 list

cmb_table_list = pd.read_html(html_content)

# 通过打印每个 list 元素,确认我们所需要的是第二个,也就是下标 1

# print(cmb_table_list)

cmb_table_list[1].to_excel(filename)

def main():

filename = "tips2.xlsx"

save_excel(filename)

if __name__ == '__main__':

main()


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69946337/viewspace-2911969/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-08-23

  • 博文量
    410
  • 访问量
    276799