ITPub博客

由于Spark采用Scala语言进行开发，因此，建议采用Scala语言进行Spark应用程序的编写。Scala是一门现代的多范式编程语言，平滑地集成了面向对象和函数式语言的特性，旨在以简练、优雅的方式来表达常用编程模式。Scala语言的名称来自于“可伸展的语言”，从写个小脚本到建立个大系统的编程任务均可胜任。Scala运行于Java平台（JVM，Java 虚拟机）上，并兼容现有的Java程序。在实

1.今天除了客户回收信息更改之外，其他没有了，都是在评审代码。这里有个对应的分行客户号信息：都是根据分行查询一下信息：主要就是start connec by with 的用法： 条件1 是根结点的限定语句，当然可以放宽限定条件，以取得多个根结点，实际就是多棵树。        条件2 是连接条件，其中用PRIOR表示上一条记录，比如 CONNECT

今天中午去附近的大厦面试了，我自己简单介绍了几分。面者让我去对应的面试步骤：面试简单介绍，职业经历自我的关心的问题：项目的主要内容是什么？技术栈是什么？工作职责是什么？PS：政府，oracle,本质支持，统计展示等，其他支持技术面试官1：SQL 怎么样？技术面试官2： 数据迁移的实现方式和种类：综述一般：

WaterdropWaterdrop 是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品，架构于Apache Spark 和 Apache Flink之上。Waterdrop尽所能为您解决可能遇到的问题：数据丢失与重复任务堆积与延迟吞吐量低应用到生产环境周期长缺少应用运行状态监控Waterdrop 使用场景海量数据ETL海量数据聚合多源数据处理Waterdrop 的特性简单易用，灵

一、schemaschema 参考链接：数据库对象的集合，一个用户唯一对应schema存放着这个对象的数据，相当于用户的文件夹二、tablespacetablespace 参考链接、参考链接1：用户=商家、表=商品、表空间=仓库一个商家能有很多商品，1个商品只能属于一个商家。一个商品可以放到仓库A，也可以放到仓库B，但不能同时放入A和B。仓库不属于任何商家。商家都有一个默认的仓

GROUP BY 语句用于结合聚合函数，根据一个或多个列对结果集进行分组。SELECT column_name, aggregate_function(column_name)FROM table_nameWHERE column_name operator valueGROUP BY column_name;2、GroupBy语句从英文的字面意义上理解就是“根据by一定的规则进行分组Group”

MapReduceMapReduce是为能够在集群上分布式处理海量数据而量身订做的框架，MapReduce job可以分为三次连续过程。Map 将输入数据划分为key-value集合Shuffle 将Map产生的结果传输给ReduceReduce 则对接收到的key-value进一步处理MapReduce的最大工作单元便是job，每个job又会被分割成map task或reduce task。最经

明确表结构：将负载sql进行的分解：在每次进行的查询时，其实构造一个selelect 的开发环境。依次累计，--然后注释，分别时第一个任务，接着进行下次执行最后在回滚。他们对的也u留守，还不知道什么意思。

对应的数据的处理：重复项配置：高亮显示重复项清楚高亮拒绝录入重复项删除重复项：通常对数据重复进行处理。记录单不知道有用不？下次试试？

sparkStreaming简介spark Streaming和Storm区别Spark Streaming算子Spark checkpointingSpark和kafka整合SparkStreaming是一种流式处理框架，是SparkAPI的扩展，支持可扩展、高吞吐、容错的准实时数据处理，实时数据的来源可以事：Kafka、Flume、Twitter，zeroMQ或者TCP sockets；并且可

首先要建立一个概念，复杂的sql语句也是最基本的sql语句连接而成，所以最重要的是先要理清思路和逻辑，弄清自己要查哪几张表，要用哪几个字段，表之间如何关联，将这些弄清，然后由简单到复杂，从最基本的sql写起，通过找共同点，实现表关联等。0.确定表：确定字段：确定连接方式等。1.使用基本的查询逻辑2。多使用函数，如nvl 处理，聚集函数nvl 处理：只有待替换的整列值都为空（null), 才能替换成

今天在使用COPY的时候，发现了copy with header 原来是字段头， copy 是不带字段头的。 OK。

使用复制模式，选择对应的是按照序号复制  单元格，序列方式填充仅仅填充格式几乎用不到不带格式填充几乎用不到智能填充是根据之前的数据做出智能处理。2.构造数据：先分类，再聚合3.最后入库：3.1 列插入模式：COPY对应的列即可插入数据，依次插入完成，但是有一个不好的地方是：只能按照空的模式进行插入PS： 可以将元数据备份，插入之后再导入3.2 行模式插入一般的数据插入模式，有数据的时候，

一级分类idpid二级分类(2位)三级分类（3位）idpid上海10松江41三级分类北京20泗泾74河南30郑州53洛阳63洛龙85这样的分类模式即可，生成对应的SQL文件即可。

    1. group by是分组函数，partition by是分析函数(然后像sum()等是聚合函数)；           from > where > group by > having > order by&nbs

一.oralce 索引失效1使用否定关键字!=, ,not in,not existselect * fromdrama where id 1，Mysql不会：2.单独使用不等式关键字直接用>或3使用null关键字is null或is not null 可能会失效4左模糊或全模糊like %放在前面5索引列用函数6条件中字符型字段赋值数字7使用复合索引，

Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink 不仅可以运行在包括 YARN、 Mesos、Kubernetes 在内的多种资源管理框架上，还支持在裸机集群上独立部署。在启用高可用选项的情况下，它不存在单点失效问题。事实证明，Flink 已经可以扩展到数千核心，其状态可以

select 1 from table:1. select 1 from table;2. select xxx(表中的任意一行） from table;3. select * from table；从作用上来说是没有差别的，都是查看表中是否有记录，且一般是作条件查询用的。select * from student stuA where exists (select 1 from stuA.id

分析：主要是拆解法：将SQL进行一部分的拆解和运行：最后组合关联查询进行查询的建立。宏观分析法：        什么是宏观分析法？ 我是这么定义它的： 从事物的整体来看，先不必在意其中具体的细节，而是从大体方略层层往内渗透，先探究其整体结构，而后才去具体化，最后深入到具体细节的过程就是宏观分析。推荐阅读：https://cloud.tencent.com/d

1.启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh1、查看指定目录下内容Hadoopdfs –ls [文件目录]2、打开某个已存在文件hadoop dfs –cat [file_path]3、将本地文件存储至hadoophadoop fs –put [本地地址] [h