Spark学习之路 (一)Spark初识
目录一、官网介绍1、什么是Spark二、Spark的四大特性1、高效性2、易用性3、通用性4、兼容性三、Spark的组成四、应用场景正文一、官网介绍1、什么是Spark官网地址:http://spark.apache.org/ApacheSpark™是用于大规模数据处理的统一分析引擎。从右侧最后一条
Spark学习笔记
Spark架构,运行原理,任务调度和资源调度分析,内存管理分析,SparkSQL,SparkSreaming与kafaka,数据倾斜的解决,调优。Spark简介Spark是美国加州大学伯克利分校的AMP实验室(主要创始人lester和Matei)开发的通用的大数据处理框架。ApacheSpark™是
Spark学习之路 (一)Spark初识
目录一、官网介绍1、什么是Spark二、Spark的四大特性1、高效性2、易用性3、通用性4、兼容性三、Spark的组成四、应用场景正文一、官网介绍1、什么是Spark官网地址:http://spark.apache.org/ApacheSpark™是用于大规模数据处理的统一分析引擎。从右侧最后一条
PostgreSQL 常用函数
PostgreSQL内置函数也称为聚合函数,用于对字符串或数字数据执行处理。下面是所有通用PostgreSQL内置函数的列表:COUNT函数:用于计算数据库表中的行数。MAX函数:用于查询某一特定列中最大值。MIN函数:用于查询某一特定列中最小值。AVG函数:用于计算某一特定列中平均值。SUM函数:
PostgreSQL 时间/日期函数和操作符
日期/时间操做符下表演示了基本算术操作符的行为(+,*,等):操作符例子结果+date'2001-09-28'+integer'7'date'2001-10-05'+date'2001-09-28'+interval'1hour'timestamp'2001-09-2801:00:00'+date'
PostgreSQL PRIVILEGES(权限)
无论何时创建数据库对象,都会为其分配一个所有者,所有者通常是执行create语句的人。对于大多数类型的对象,初始状态是只有所有者(或超级用户)才能修改或删除对象。要允许其他角色或用户使用它,必须为该用户设置权限。在PostgreSQL中,权限分为以下几种:SELECTINSERTUPDATEDELE
PostgreSQL AUTO INCREMENT(自动增长)
AUTOINCREMENT(自动增长)会在新记录插入表中时生成一个唯一的数字。PostgreSQL使用序列来标识分区的自增长,数据类型有smallserial,serial和bigserial。这些属性数据库MySQL数据库支持的AUTO_INCREMENT属性。使用MySQL设置自动增长的语句如下
PostgreSQL 子查询
子查询或称为内部查询、嵌套查询,指的是在PostgreSQL查询中的WHERE子句中嵌入查询语句。一个SELECT语句的查询结果能够作为另一个语句的输入值。子查询可以与SELECT、INSERT、UPDATE和DELETE语句一起使用,并可使用运算符如=、<、>、>=、<=、
PostgreSQL LOCK(锁)
锁主要是为了保持数据库数据的一致性,可以阻止用户修改一行或整个表,一般用在并发较高的数据库中。在多个用户访问数据库的时候若对并发操作不加控制就可能会读取和存储不正确的数据,破坏数据库的一致性。数据库中有两种基本的锁:排它锁(ExclusiveLocks)和共享锁(ShareLocks)。如果数据对象
PostgreSQL TRANSACTION(事务)
TRANSACTION(事务)是数据库管理系统执行过程中的一个逻辑单位,由一个有限的数据库操作序列构成。数据库事务通常包含了一个序列的对数据库的读/写操作。包含有以下两个目的:为数据库操作序列提供了一个从失败中恢复到正常状态的方法,同时提供了数据库即使在异常状态下仍能保持一致性的方法。当多个应用程序
PostgreSQL View(视图)
View(视图)是一张假表,只不过是通过相关的名称存储在数据库中的一个PostgreSQL语句。View(视图)实际上是一个以预定义的PostgreSQL查询形式存在的表的组合。View(视图)可以包含一个表的所有行或从一个或多个表选定行。View(视图)可以从一个或多个表创建,这取决于要创建视图的
PostgreSQL TRUNCATE TABLE
PostgreSQL中TRUNCATETABLE用于删除表的数据,但不删除表结构。也可以用DROPTABLE删除表,但是这个命令会连表的结构一起删除,如果想插入数据,需要重新建立这张表。TRUNCATETABLE与DELETE具有相同的效果,但是由于它实际上并不扫描表,所以速度更快。此外,TRUNC
PostgreSQL ALTER TABLE 命令
在PostgreSQL中,ALTERTABLE命令用于添加,修改,删除一张已经存在表的列。另外你也可以用ALTERTABLE命令添加和删除约束。语法用ALTERTABLE在一张已存在的表上添加列的语法如下:ALTERTABLEtable_nameADDcolumn_namedatatype;在一张已
PostgreSQL 索引
索引是加速搜索引擎检索数据的一种特殊表查询。简单地说,索引是一个指向表中数据的指针。一个数据库中的索引与一本书的索引目录是非常相似的。拿汉语字典的目录页(索引)打比方,我们可以按拼音、笔画、偏旁部首等排序的目录(索引)快速查找到需要的字。索引有助于加快SELECT查询和WHERE子句,但它会减慢使用
PostgreSQL 触发器
PostgreSQL触发器是数据库的回调函数,它会在指定的数据库事件发生时自动执行/调用。下面是关于PostgreSQL触发器几个比较重要的点:PostgreSQL触发器可以在下面几种情况下触发:在执行操作之前(在检查约束并尝试插入、更新或删除之前)。在执行操作之后(在检查约束并插入、更新或删除完成
PostgreSQL 别名
我们可以用SQL重命名一张表或者一个字段的名称,这个名称就叫着该表或该字段的别名。创建别名是为了让表名或列名的可读性更强。SQL中使用AS来创建别名。语法表的别名语法:SELECTcolumn1,column2....FROMtable_nameASalias_nameWHERE[condition
PostgreSQL NULL 值
NULL值代表遗漏的未知数据。默认地,表的列可以存放NULL值。本章讲解ISNULL和ISNOTNULL操作符。语法当创建表时,NULL的基本语法如下:CREATETABLECOMPANY(IDINTPRIMARYKEYNOTNULL,NAMETEXTNOTNULL,AGEINTNOTNULL,AD
PostgreSQL UNION 操作符
PostgreSQLUNION操作符合并两个或多个SELECT语句的结果。UNION操作符用于合并两个或多个SELECT语句的结果集。请注意,UNION内部的每个SELECT语句必须拥有相同数量的列。列也必须拥有相似的数据类型。同时,每个SELECT语句中的列的顺序必须相同。语法UNIONS基础语法
PostgreSQL连接(JOIN)
PostgreSQLJOIN子句用于把两个或多个表的行结合起来,基于这些表之间的共同变量。在PostgreSQL中,JOIN有五种连接类型:CROSSJOIN:交叉连接内连接:内连接LEFTOUTERJOIN:左外连接右外连接:右外连接FULLOUTERJOIN:全外连接接下来让我们创建两张表COM
PostgreSQL 约束
PostgreSQL约束PostgreSQL约束用于规定表中的数据规则。如果存在违反约束的数据行为,行为会被约束终止。约束可以在创建表时规定(通过CREATETABLE语句),或者在表创建之后规定(通过ALTERTABLE语句)。约束确保了数据库中数据的准确性和可靠性。约束可以是列级或表级。列级约束