ITPub博客

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速,Spark是一种与Hadoop相似的开源集群计算环境,Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。

在一个shard server内部，MongoDB还是会把数据分为chunks，每个chunk代表这个shard server内部一部分数据。

MySQL InnoDB版本一览

MySQL 在 5.6 版本中显著提高了它的性能和可用性、集成度、查询性能，可支持下一代 Web、嵌入式和云计算应用程序。

批量最主要就是产生总帐,进行总分核对，再次就是进行大批量交易，如:结息,计提,代收付等(这一步可以在各分布平台做)。再次就是生成报表,导出流水数据等。

MySQL show status命令输出结果详解

mysqldump如何只备份表结构

MySQL数据库高并发下的参数配置优化案例

4.0版本以下，varchar(50)，指的是50字节，如果存放UTF8汉字时，只能存16个（每个中文3字节） 5.0版本以上，varchar(50)，指的是50字符，无论存放的是数字、字母还是UTF8中文（每个中文3字节），都可以存放50个

本文介绍如何在MongoDB实现mysql show variables like 'xx';?方式查看参数值

SQL分类： DDL—数据定义语言(CREATE，ALTER，DROP，DECLARE) DML—数据操纵语言(SELECT，DELETE，UPDATE，INSERT) DCL—数据控制语言(GRANT，REVOKE，COMMIT，ROLLBACK)

Chunks默认的大小是64M

Oracle DBA需要掌握的技术

MySQL修复坏块参数innodb_force_recovery的解释

默认情况下，MongoDB的ensureIndex()是阻塞型操作，会暂停数据库上所有正在进行的其他操作，直到创建索引完成。但是，在高于或等于1.3.2版本的MongoDB中，提供了可选的后台创建索引的选项。

双方建立交互的连接，但是并不是一直存在数据交互，有些连接会在数据交互完毕后，主动释放连接，而有些不会，那么在长时间无数据交互的时间段内， 交互双方都有可能出现掉电、死机、异常重启等各种意外，当这些意外发生之后，这些TCP连接并未来得及正常释放，那么，连接的另一方并不知道对端的情况， 它会一直维护这个连接，长时间的积累会导致非常多的半打开连接，造成端系统资源的消耗和浪费，为了解决这个问题，在传输层可以利用TCP的保活报文来实现。

使用Linux find命令来帮你找到那些很久之前访问过的历史文件

MongoDB是一个NoSQL数据库系统：一个数据库可以包含多个集合（Collection），每个集合对应于关系数据库中的表；而每个集合中可以存储一组由列标识的记录，列是可以自由定义的，非常灵活，由一组列标识的实体的集合对应于关系数据库表中的行。

MongoDB索引的元信息（描述信息）存储在local数据库的集合system.indexes中，这是系统提供的保留集合（创建数据库时），我们不能对其进行插入或删除操作,我们可以从中查看索引定义的相关信息。

停止MongoDB进程的两种方法可以向MongoDB进程发送信号:1).SIGINT信号2).SIGTERM信号