ITPub博客

1.注意点：distinct   只能放在字段的前面，这是我为什么在测试时报这个ora-01436的原因。2.因为数据库是记录的是按照行单位的记录的，所以distnct * 的比较的c是下一个记录和上一个记录的记录。不重复即可。这就是为什么我查了一下为什么还是全量的数据原因，而我认为是各个数据的字段不一样呢，还是理解的不一样。

区别：在删除table的时候，内部表删除Hadoop上的数据，外部表不删除数据$HIVE -e "use ${WIFI};                                      &

使用excel 的数据重复问题，尽然没有提示完全，但是自己做了是可以的，不知道什么区别。当然还有一个比对功能挺好的。

Notepad++:2.查找替换，[查找目标]填写“_([a-z])”，[替换为]填写“\U\1\E”，[查找模式]选择[正则表达式]，然后全部替换即可。效果图如下：转换前：=LEFT(A1,1)&MID(SUBSTITUTE(PROPER(A1),"_",""),2,1000)推荐阅读：https://blog.csdn.net/WeiHao024

自己写一个plsql转吧pljson 工具等。

SparkStreaming是流式处理框架，是Spark API的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka, Flume, Twitter, ZeroMQ或者TCP sockets，并且可以使用高级功能的复杂算子来处理流数据。例如：map,reduce,join,window 。最终，处理后的数据可以存放在文件系统，数据库等，方便实时展现。让我们从创建St

在左边的SQL命令中输入要优化的SQL语句，在右边点击执行。根据你的SQL及数据库表设计，会生成不同的方案，选择一个方案，并点击实施，我一般选择索引，有可能不需要优化或者有其他情况。应该尽可能的调大 SGA 的大小，因为 SGA 会通过更多的在内存中处理来减少磁盘 IO，也就是减少更多的物理读SGA 的划分，共享池，数据库高速缓冲区，日志缓冲区，其实可能还有 java pool 之类的。其实只要看

Storm 是一个分布式的，可靠的，容错的数据流处理系统storm中服务器节点分为主节点和从节点,Nimbus为主节点和Supervisor为从节点。以及若干组件构成。下面为对一些术语进行简单的介绍: Nimbus：主节点，是一个调度中心，负责分发任务 Supervisor：从节点，任务执行的地方 Worker：任务工作进程，一个Supervisor中可以有多个Wor

学习SQL很长时间了，但是复杂的sql 我写的很少，更多的是简单的sql.对于复杂sql 感觉自己还是很弱的。对于复杂sql 的处理，我认为有以下方式：分离开，逐步累加或是直接关联目前就这样吧。接触SQL 都大概十年了，但还是写的一塌糊涂，需加强。

如果要编写一个程序启动的脚本大概是这样子的：yong grep 搜索对应的进程号 并awk 打印使用kill 命令杀死进程no haoop 启动后台服务并追加到logtail -f 加载log 即可。

Q：Spark和Hadoop的架构区别A：Hadoop:MapRedcue由Map和Reduce两个阶段，并通过shuffle将两个阶段连接起来的。但是套用MapReduce模型解决问题，不得不将问题分解为若干个有依赖关系的子问题，每个子问题对应一个MapReduce作业，最终所有这些作业形成一个DAG。Spark:是通用的DAG框架，可以将多个有依赖关系的作业转换为一个大的DAG。核心思想是将M

首先明确数据表之间的关系字段之间的数据关联关系，这个不难，使用图示法可以解决。表有哪些，关系是什么？=》sql 语句单表的插入关系是什么另一个维度考虑全量更新，批量更新，还是单笔更新呢

    Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流，像Hadoop批量处理大数据一样，Storm可以实时处理数据。storm 不处理静态数据,但它处理连续的流数据。1.Storm用于实时计算，Hadoop用于离线计算。2. Storm处理的数据保存在内存中，源源不断；Hadoop处理的数据保存在文件系统中，一批一批。3.&

用对应的plsql 导出数据时，可以导出不同的数据格式sql 文件insert into ，通常导出的是这个。csv 文件xls 文件html 文件这些都是比较常见的做法。数据生成器：如果我们知道数据业务规则，我们可以生成对应的业务数据。利用数据生成器生成批量生成对应的数据推荐阅读：https://www.modb.pro/db/327289

Spark Core：包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的Spark SQL：提供通过Apache Hive的SQL变体Hive查询语言（HiveQL）与Spark进行交互的API。每个数据库表被当做一个RDD，Spark SQL查询被转换为Spark操作。Spark Streaming：对实时数

plsql / developmer 下拉框竟然可以切换视图。我之前竟然不知道，这样就可以切换视图了。

在mysql数据库中，关于时间的使用是datetime类型，而在开发中使用string类型datetime类型是规范的格式，储存空间8 bytes，YYYY-MM-DD HH:MM:SS格式固定，在特定查找下效率更高String类型储存空间为14+ bytes ，格式多种转化:3.在开发中使用String类型也可以转换为Date类型，SimpleDateFormat需要将String类型的时间转换

Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。它操作简单，基于浏览器的用户界面可以快速创建仪表板（dashboard）实时显示Elasticsearch查询动态。二、Kibana安装与配置root@server5 ~]

18. 用表连接替换EXISTS当提交一个包含对多表信息（比如部门表和雇员表）的查询时，避免在SELECT子句中使用DISTINCT。 一般可以考虑用EXIST替换。EXISTS 使查询更为迅速，因为RDBMS核心模块将在子查询的条件一旦满足后，立刻返回结果。下面的SQL工具可以找出低效SQL，前提是需要DBA权限，否则查询不了。另外也可以使用SQL Trace工具来收集正在执行的SQL的性能状态

工作很长时间了，总结一下对应的数据库设计规范。设置数据库字典表，后缀名等统一规范便于查询设计规范金融类number(16,2)增加扩展字段增加创建时间和修改时间，描述字段等一律大小增加注释基本就这样。如下就是表结构了：请参看oracle 建表的官方文档。