ITPub博客

首页 > IT职业 > IT职场 > Python教程 | 五种常见的数据存储方式

Python教程 | 五种常见的数据存储方式

原创 IT职场 作者:li_zhi521 时间:2019-02-14 14:42:52 0 删除 编辑

大数据时代下,生活和数据息息相关,越来越多的行业和个人都需要大数据的帮助。这样的背景下,爬虫采集成为主流。爬虫过程中主要使用的是Python语言,而在Python开发中,数据存储、读取是必不可少的环节,而且可以采用的存储方式也很多,常用的方法有json文件、csv文件、MySQL数据库、Redis数据库以及Mongdb数据库等。

1、json文件存储数据

json是一种轻量级的数据交换格式,采用完全独立于编程语言的文本格式来存储和表示数据,可以轻松解决py2和py3的编码问题,内容结构类似于python中的字典和列表,层次结构简洁而清晰,易于人阅读和编写,同时也易于机器解析和生成,并有效地提升网络传输效率。

2、csv文件  

Python可以将数据存储为CSV文件格式,我们可以用excel打开CSV文档,进行数据的浏览,十分方便,以下是将数据存储到test.csv文件的相关实例:

      

3、MySQL数据库

MySQL数据库存储方式是使用Python数据存储最常用的存储方式,Python标准数据库接口为Python DB-API,Python DB-API为开发人员提供了数据库应用程序接口,MySQLdb 是用于Python链接Mysql数据库的接口。MySQL数据库存储过程是引入API模块、获取与数据库的连接、执行SQL语句和存储过程,最后关闭数据库连接。

4、Redis数据库

使用Python数据存储为Redis数据库,优点是方便、速度快,但是取出的数据是二进制数据,一般需要转为字符串再操作,以下是具体实例:

      

5、Mongdb数据库

使用Python数据存储为Mongdb数据库,优点是不在乎数据结构,需要注意的是取出来的时候需要写个脚本整理一下,以下是具体实例:

      

以上是使用Python进行数据储存的五种方法和使用方法的简单介绍,感兴趣的可以深入学习更多用法!当然了,无论使用哪种方法存储数据,同一个IP频繁操作,必然会导致IP受限,不过现在这也不算问题,因为市面上的代理IP基本都可以解决这个问题。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31561225/viewspace-2633478/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-11-07

  • 博文量
    23
  • 访问量
    22919