ITPub博客

sparkStreaming简介spark Streaming和Storm区别Spark Streaming算子Spark checkpointingSpark和kafka整合SparkStreaming是一种流式处理框架，是SparkAPI的扩展，支持可扩展、高吞吐、容错的准实时数据处理，实时数据的来源可以事：Kafka、Flume、Twitter，zeroMQ或者TCP sockets；并且可

首先要建立一个概念，复杂的sql语句也是最基本的sql语句连接而成，所以最重要的是先要理清思路和逻辑，弄清自己要查哪几张表，要用哪几个字段，表之间如何关联，将这些弄清，然后由简单到复杂，从最基本的sql写起，通过找共同点，实现表关联等。0.确定表：确定字段：确定连接方式等。1.使用基本的查询逻辑2。多使用函数，如nvl 处理，聚集函数nvl 处理：只有待替换的整列值都为空（null), 才能替换成

今天在使用COPY的时候，发现了copy with header 原来是字段头， copy 是不带字段头的。 OK。

使用复制模式，选择对应的是按照序号复制  单元格，序列方式填充仅仅填充格式几乎用不到不带格式填充几乎用不到智能填充是根据之前的数据做出智能处理。2.构造数据：先分类，再聚合3.最后入库：3.1 列插入模式：COPY对应的列即可插入数据，依次插入完成，但是有一个不好的地方是：只能按照空的模式进行插入PS： 可以将元数据备份，插入之后再导入3.2 行模式插入一般的数据插入模式，有数据的时候，

一级分类idpid二级分类(2位)三级分类（3位）idpid上海10松江41三级分类北京20泗泾74河南30郑州53洛阳63洛龙85这样的分类模式即可，生成对应的SQL文件即可。

    1. group by是分组函数，partition by是分析函数(然后像sum()等是聚合函数)；           from > where > group by > having > order by&nbs

一.oralce 索引失效1使用否定关键字!=, ,not in,not existselect * fromdrama where id 1，Mysql不会：2.单独使用不等式关键字直接用>或3使用null关键字is null或is not null 可能会失效4左模糊或全模糊like %放在前面5索引列用函数6条件中字符型字段赋值数字7使用复合索引，

Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink 不仅可以运行在包括 YARN、 Mesos、Kubernetes 在内的多种资源管理框架上，还支持在裸机集群上独立部署。在启用高可用选项的情况下，它不存在单点失效问题。事实证明，Flink 已经可以扩展到数千核心，其状态可以

select 1 from table:1. select 1 from table;2. select xxx(表中的任意一行） from table;3. select * from table；从作用上来说是没有差别的，都是查看表中是否有记录，且一般是作条件查询用的。select * from student stuA where exists (select 1 from stuA.id

分析：主要是拆解法：将SQL进行一部分的拆解和运行：最后组合关联查询进行查询的建立。宏观分析法：        什么是宏观分析法？ 我是这么定义它的： 从事物的整体来看，先不必在意其中具体的细节，而是从大体方略层层往内渗透，先探究其整体结构，而后才去具体化，最后深入到具体细节的过程就是宏观分析。推荐阅读：https://cloud.tencent.com/d

1.启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh1、查看指定目录下内容Hadoopdfs –ls [文件目录]2、打开某个已存在文件hadoop dfs –cat [file_path]3、将本地文件存储至hadoophadoop fs –put [本地地址] [h

1.注意点：distinct   只能放在字段的前面，这是我为什么在测试时报这个ora-01436的原因。2.因为数据库是记录的是按照行单位的记录的，所以distnct * 的比较的c是下一个记录和上一个记录的记录。不重复即可。这就是为什么我查了一下为什么还是全量的数据原因，而我认为是各个数据的字段不一样呢，还是理解的不一样。

区别：在删除table的时候，内部表删除Hadoop上的数据，外部表不删除数据$HIVE -e "use ${WIFI};                                      &

使用excel 的数据重复问题，尽然没有提示完全，但是自己做了是可以的，不知道什么区别。当然还有一个比对功能挺好的。

Notepad++:2.查找替换，[查找目标]填写“_([a-z])”，[替换为]填写“\U\1\E”，[查找模式]选择[正则表达式]，然后全部替换即可。效果图如下：转换前：=LEFT(A1,1)&MID(SUBSTITUTE(PROPER(A1),"_",""),2,1000)推荐阅读：https://blog.csdn.net/WeiHao024

自己写一个plsql转吧pljson 工具等。

SparkStreaming是流式处理框架，是Spark API的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka, Flume, Twitter, ZeroMQ或者TCP sockets，并且可以使用高级功能的复杂算子来处理流数据。例如：map,reduce,join,window 。最终，处理后的数据可以存放在文件系统，数据库等，方便实时展现。让我们从创建St

在左边的SQL命令中输入要优化的SQL语句，在右边点击执行。根据你的SQL及数据库表设计，会生成不同的方案，选择一个方案，并点击实施，我一般选择索引，有可能不需要优化或者有其他情况。应该尽可能的调大 SGA 的大小，因为 SGA 会通过更多的在内存中处理来减少磁盘 IO，也就是减少更多的物理读SGA 的划分，共享池，数据库高速缓冲区，日志缓冲区，其实可能还有 java pool 之类的。其实只要看

Storm 是一个分布式的，可靠的，容错的数据流处理系统storm中服务器节点分为主节点和从节点,Nimbus为主节点和Supervisor为从节点。以及若干组件构成。下面为对一些术语进行简单的介绍: Nimbus：主节点，是一个调度中心，负责分发任务 Supervisor：从节点，任务执行的地方 Worker：任务工作进程，一个Supervisor中可以有多个Wor

学习SQL很长时间了，但是复杂的sql 我写的很少，更多的是简单的sql.对于复杂sql 感觉自己还是很弱的。对于复杂sql 的处理，我认为有以下方式：分离开，逐步累加或是直接关联目前就这样吧。接触SQL 都大概十年了，但还是写的一塌糊涂，需加强。